vllm complete

引數

--url

正在執行的 OpenAI 相容 RESTful API 伺服器的 url

預設: https://:8000/v1

--model-name

在提示完成中使用的模型名稱，預設為 list models API 呼叫中的第一個模型。

預設值: None

--api-key

OpenAI 服務的 API 金鑰。如果提供，此 API 金鑰將覆蓋透過環境變數獲取的 API 金鑰。需要注意的是，此選項僅適用於 OpenAI 相容的 API 端點，而不適用於伺服器中可能存在的其他端點。有關更多詳細資訊，請參閱 vLLM 文件中的安全指南。

預設值: None

--max-tokens

每個輸出序列要生成的最大 token 數。

預設值: None

-q, --quick

傳送單個提示並列印完成輸出，然後退出。

預設值: None