KubeAI

KubeAI 是一個 Kubernetes 運算子，使您能夠在 Kubernetes 上部署和管理 AI 模型。它提供了一種簡單且可擴充套件的方式來在生產環境中部署 vLLM。零外部依賴即可開箱即用地提供從零擴充套件、基於負載的自動伸縮、模型快取等功能。

請參閱安裝指南以獲取特定環境的說明

• 任何 Kubernetes 叢集
• EKS
• GKE

安裝 KubeAI 後，您可以使用 vLLM配置文字生成模型。