跳到內容

Modal

vLLM 可以在雲端 GPU 上執行,藉助 Modal,這是一個為快速自動擴縮容而設計的無伺服器計算平臺。

有關如何在 Modal 上部署 vLLM 的詳細資訊,請參閱 Modal 文件中的本教程