伺服器引數

vllm serve 命令用於啟動 OpenAI 相容伺服器。

CLI 引數

vllm serve 命令用於啟動 OpenAI 相容伺服器。要檢視可用選項，請參閱CLI 參考！

配置檔案

您可以透過 YAML 配置檔案載入 CLI 引數。引數名稱必須是 上面列出的引數的完整形式。

例如

# config.yaml

model: meta-llama/Llama-3.1-8B-Instruct
host: "127.0.0.1"
port: 6379
uvicorn-log-level: "info"

要使用上述配置檔案

vllm serve --config config.yaml

注意

如果一個引數同時透過命令列和配置檔案提供，則命令列中的值將具有優先權。優先順序順序為 命令列 > 配置檔案值 > 預設值。例如，vllm serve SOME_MODEL --config config.yaml 中，SOME_MODEL 優先於配置檔案中的 model。