KubeRay

KubeRay 提供了一種 Kubernetes 原生方式，可在 Ray 叢集上執行 vLLM 工作負載。Ray 叢集可在 YAML 中宣告，然後由操作員處理 Pod 排程、網路配置、重啟和藍綠部署——所有這些都同時保留了熟悉的 Kubernetes 體驗。

為什麼要用 KubeRay 而不是手動指令碼？

功能	手動指令碼	KubeRay
叢集引導	手動 SSH 到每個節點並執行指令碼	一個命令即可建立或更新整個叢集：kubectl apply -f cluster.yaml
自動擴縮容	手動	自動修補 CRD 以調整叢集大小
升級	手動拆除並重新建立	支援藍綠部署更新
宣告式配置	Bash 標誌和環境變數	GitOps 友好型 YAML CRD（RayCluster/RayService）

使用 KubeRay 減少了操作負擔，並簡化了 Ray + vLLM 與現有 Kubernetes 工作流（CI/CD、秘密、儲存類等）的整合。

瞭解更多

• "使用 Ray Serve LLM 在 Kubernetes 上提供大型語言模型" - 一個關於如何使用 vLLM、KubeRay 和 Ray Serve 來提供模型的端到端示例。
• KubeRay 文件