KubeRay¶
KubeRay 提供了一種 Kubernetes 原生的方式，可以在 Ray 叢集上執行 vLLM 工作負載。Ray 叢集可以透過 YAML 進行宣告，然後由運算子處理 Pod 排程、網路配置、重啟和藍綠部署——所有這些都保留了熟悉的 Kubernetes 體驗。
為何選擇 KubeRay 而非手動指令碼？¶
| 功能 | 手動指令碼 | KubeRay |
|---|---|---|
| 叢集引導 | 手動 SSH 進入每個節點並執行指令碼 | 一個命令建立或更新整個叢集：kubectl apply -f cluster.yaml |
| 自動擴縮容 | 手動 | 自動修補 CRD 以調整叢集大小 |
| 升級 | 手動拆除和重新建立 | 支援藍綠部署更新 |
| 宣告式配置 | Bash 標誌和環境變數 | GitOps 友好的 YAML CRD (RayCluster/RayService) |
使用 KubeRay 可以降低運維負擔，並簡化 Ray + vLLM 與現有 Kubernetes 工作流（CI/CD、Secrets、Storage Classes 等）的整合。
瞭解更多¶
- "在 Kubernetes 上使用 Ray Serve LLM 部署大型語言模型" - 一個端到端的示例，展示如何使用 vLLM、KubeRay 和 Ray Serve 部署模型。
- KubeRay 文件