Anything LLM

Anything LLM 是一個全棧應用程式，它可以將任何文件、資源或內容轉化為上下文，供任何大語言模型（LLM）在聊天時用作參考。

它允許您將 vLLM 作為後端部署大型語言模型 (LLM) 伺服器，該伺服器公開與 OpenAI 相容的端點。

先決條件

• 設定 vLLM 環境

部署

• 啟動支援聊天完成模型的 vLLM 伺服器，例如

vllm serve Qwen/Qwen1.5-32B-Chat-AWQ --max-model-len 4096

• 下載並安裝 Anything LLM 桌面版。

• 在左下角開啟設定，AI 提供商 --> LLM

• LLM 提供商：通用 OpenAI
• 基礎 URL：http://{vllm server host}:{vllm server port}/v1
• 聊天模型名稱：Qwen/Qwen1.5-32B-Chat-AWQ

• 返回主頁，新建工作區 --> 建立 vllm 工作區，並開始聊天

• 點選上傳按鈕
• 上傳文件
• 選擇文件並將其移至工作區
• 儲存並嵌入

• 再次聊天