vllm chat

引數

--url

執行的 OpenAI 相容 RESTful API 伺服器的 URL

預設: https://:8000/v1

--model-name

用於提示完成的模型名稱，預設為 list models API 呼叫中的第一個模型。

預設值: None

--api-key

OpenAI 服務的 API 金鑰。如果提供，此 API 金鑰將覆蓋透過環境變數獲取的 API 金鑰。需要注意的是，此選項僅適用於 OpenAI 相容的 API 端點，而不適用於伺服器中可能存在的其他端點。有關更多詳細資訊，請參閱 vLLM 文件中的安全指南。

預設值: None

--system-prompt

新增到聊天模板的系統提示，用於支援系統提示的模型。

預設值: None

-q, --quick

將單個提示作為 MESSAGE 傳送並列印響應，然後退出。

預設值: None