Chatbox

Chatbox 是一個桌面 LLM 客戶端，支援 Windows、Mac、Linux。

它允許您將 vLLM 作為後端部署大型語言模型 (LLM) 伺服器，該伺服器公開與 OpenAI 相容的端點。

先決條件

設定 vLLM 環境

pip install vllm

部署

1. 啟動支援聊天完成模型的 vLLM 伺服器，例如

   vllm serve qwen/Qwen1.5-0.5B-Chat
   

2. 下載並安裝 Chatbox 桌面版。

3. 在設定的左下角，新增自定義提供商

   • API 模式: OpenAI API 相容
   • 名稱: vllm
   • API 主機: http://{vllm 伺服器主機}:{vllm 伺服器埠}/v1
   • API 路徑: /chat/completions
   • 模型: qwen/Qwen1.5-0.5B-Chat

   

4. 前往 Just chat，開始聊天