KServe

vLLM 可以部署在 Kubernetes 上的 KServe 中，以實現高度可擴充套件的分散式模型服務。

有關將 vLLM 與 KServe 結合使用的更多詳細資訊，請參閱 本指南。