llmaz

llmaz 是一個易於使用且先進的 Kubernetes 大語言模型推理平臺，專為生產環境設計。它使用 vLLM 作為預設的模型服務後端。

請參閱快速入門瞭解更多詳情。