使用 vLLM

vLLM 支援以下使用模式

• 推理與服務：執行模型的單個例項。
• 部署：為生產環境擴充套件模型例項。
• 訓練：訓練或微調模型。