Server Arguments

vllm serve 命令用於啟動 OpenAI 相容的伺服器。

CLI Arguments

vllm serve 命令用於啟動 OpenAI 相容的伺服器。要檢視可用選項，請參閱 CLI Reference！

Configuration file

您可以透過 YAML 配置檔案載入 CLI 引數。引數名稱必須是 上面 列出的長形式。

例如

# config.yaml

model: meta-llama/Llama-3.1-8B-Instruct
host: "127.0.0.1"
port: 6379
uvicorn-log-level: "info"

To use the above config file

vllm serve --config config.yaml

注意

如果一個引數同時透過命令列和配置檔案提供，命令列中的值將具有優先權。優先順序是 命令列 > 配置檔案值 > 預設值。例如，vllm serve SOME_MODEL --config config.yaml，SOME_MODEL 的優先順序高於配置檔案中的 model。