使用 vLLM

首先，必須先在 Python 或 Docker 環境中為您的裝置 安裝 vLLM。

然後，vLLM 支援以下使用模式：

• 推理和部署：執行單個模型例項。
• 部署：為生產環境擴充套件模型例項。
• 訓練：訓練或微調模型。