KubeAI¶

KubeAI 是一個 Kubernetes 運算元，可讓您在 Kubernetes 上部署和管理 AI 模型。它提供了一種簡單且可擴充套件的方式，可在生產環境中部署 vLLM。諸如零啟動擴充套件、基於負載的自動伸縮、模型快取等功能均開箱即用，無需任何外部依賴。

請參閱安裝指南以獲取特定環境的說明。