AnythingLLM

AnythingLLM 是一個全棧應用程式，可讓您將任何文件、資源或內容轉化為任何 LLM 在聊天時可以作為參考的上下文。

它允許您將 vLLM 作為後端部署大型語言模型 (LLM) 伺服器，該伺服器公開與 OpenAI 相容的端點。

先決條件

設定 vLLM 環境

pip install vllm

部署

1. 使用支援的聊天補全模型啟動 vLLM 伺服器，例如

   vllm serve Qwen/Qwen1.5-32B-Chat-AWQ --max-model-len 4096
   

2. 下載並安裝 AnythingLLM Desktop。

3. 配置 AI 提供商

   • 在底部，點選 🔧 扳手圖示 -> 開啟設定 -> AI 提供商 -> LLM。
   • 輸入以下值
     • LLM 提供商: Generic OpenAI
     • 基礎 URL: http://{vllm server host}:{vllm server port}/v1
     • 聊天模型名稱: Qwen/Qwen1.5-32B-Chat-AWQ

   

4. 建立一個工作區

   1. 在底部，點選 ↺ 返回圖示，然後返回工作區。
   2. 建立一個工作區（例如，vllm）並開始聊天。

   

5. 新增文件。

   1. 點選 📎 附件圖示。
   2. 上傳文件。
   3. 選擇文件並將其移動到您的工作區。
   4. 儲存並嵌入它。

   

6. 使用您的文件作為上下文進行聊天。