KServe

vLLM 可以透過 KServe 部署到 Kubernetes 上，以實現高度可擴充套件的分散式模型服務。

請參閱此指南，瞭解有關將 vLLM 與 KServe 結合使用的更多詳細資訊。