llmaz

llmaz 是一個易於使用且先進的大型語言模型在 Kubernetes 上的推理平臺，旨在用於生產環境。它預設使用 vLLM 作為模型服務後端。

有關更多詳細資訊，請參閱 快速入門。