Anyscale¶
Anyscale 是由 Ray 的建立者開發的託管式多雲平臺。
Anyscale 可在您的 AWS、GCP 或 Azure 賬戶中自動處理 Ray 叢集的整個生命週期,提供開源 Ray 的靈活性,而無需維護 Kubernetes 控制平面、配置自動擴充套件器、管理可觀察性堆疊或手動管理主節點和工作節點(使用 等輔助指令碼等操作開銷。
透過 vLLM 為大型語言模型提供服務時,Anyscale 可以快速配置生產就緒的 HTTPS 端點或容錯批處理推理作業。
Anyscale 是由 Ray 的建立者開發的託管式多雲平臺。
Anyscale 可在您的 AWS、GCP 或 Azure 賬戶中自動處理 Ray 叢集的整個生命週期,提供開源 Ray 的靈活性,而無需維護 Kubernetes 控制平面、配置自動擴充套件器、管理可觀察性堆疊或手動管理主節點和工作節點(使用 等輔助指令碼等操作開銷。
透過 vLLM 為大型語言模型提供服務時,Anyscale 可以快速配置生產就緒的 HTTPS 端點或容錯批處理推理作業。