跳到內容

Anyscale

Anyscale 是由 Ray 的建立者開發的託管式多雲平臺。

Anyscale 可在您的 AWS、GCP 或 Azure 賬戶中自動完成 Ray 叢集的整個生命週期管理,提供開源 Ray 的靈活性,同時避免了維護 Kubernetes 控制平面、配置自動伸縮器、管理可觀測性堆疊,或使用輔助指令碼(如 examples/online_serving/run_cluster.sh)手動管理頭節點和工作節點所帶來的操作負擔。

使用 vLLM 提供大型語言模型服務時,Anyscale 可以快速部署生產就緒的 HTTPS 端點容錯的批次推理作業

Anyscale 上可用於生產環境的 vLLM 快速入門