Chatbox¶
Chatbox 是適用於LLM的桌面客戶端，可在Windows、Mac、Linux上使用。
它允許您將 vLLM 作為後端部署大型語言模型 (LLM) 伺服器，該伺服器公開與 OpenAI 相容的端點。
先決條件¶
- 設定 vLLM 環境
部署¶
- 啟動支援聊天完成模型的 vLLM 伺服器，例如
-
下載並安裝Chatbox桌面版。
-
在設定左下角，新增自定義提供商
- API模式：
OpenAI API Compatible - 名稱：vllm
- API主機：
http://{vllm server host}:{vllm server port}/v1 - API路徑：
/chat/completions - 模型：
qwen/Qwen1.5-0.5B-Chat
- 前往
Just chat，然後開始聊天
