KAITO¶

KAITO 是一個 Kubernetes Operator，支援使用 vLLM 部署和提供 LLM。它提供透過內建 OpenAI 相容推理的容器映象管理大型模型，自動配置 GPU 節點和精選的模型預設。