Dify

Dify 是一個開源的 LLM 應用開發平臺。其直觀的介面結合了智慧體工作流、RAG 管道、智慧體能力、模型管理、可觀測性功能等，讓您能夠快速從原型開發過渡到生產部署。

它支援 vLLM 作為模型提供者，以高效地服務大型語言模型。

本指南將引導您完成使用 vLLM 後端部署 Dify 的過程。

先決條件

設定 vLLM 環境

pip install vllm

並安裝 Docker 和 Docker Compose。

部署

1. 啟動支援聊天完成模型的 vLLM 伺服器，例如

   vllm serve Qwen/Qwen1.5-7B-Chat
   

2. 使用 docker compose 啟動 Dify 伺服器（詳情）

   git clone https://github.com/langgenius/dify.git
   cd dify
   cd docker
   cp .env.example .env
   docker compose up -d
   

3. 在瀏覽器中訪問 https:///install，配置基本登入資訊並登入。

4. 在右上角的使用者選單（在個人資料圖示下）中，轉到“設定”，然後點選“模型提供者”，找到“vLLM”提供者並安裝它。

5. 填寫模型提供者詳細資訊，如下所示：

   • 模型型別：LLM
   • 模型名稱：Qwen/Qwen1.5-7B-Chat
   • API 端點 URL：http://{vllm_server_host}:{vllm_server_port}/v1
   • API 端點模型名稱：Qwen/Qwen1.5-7B-Chat
   • 補全模式：Completion

   

6. 要建立測試聊天機器人，請轉到“Studio → Chatbot → Create from Blank”，然後選擇 Chatbot 作為型別。

   

7. 點選您剛建立的聊天機器人以開啟聊天介面並開始與模型進行互動。