Streamlit

Streamlit 可以在幾分鐘內將 Python 指令碼轉換為互動式 Web 應用程式，而不是幾周。構建儀表板、生成報告或建立聊天應用程式。

它可以快速與 vLLM 整合作為後端 API 伺服器，從而透過 API 呼叫實現強大的 LLM 推理。

先決條件

透過安裝所有必需的軟體包來設定 vLLM 環境

pip install vllm streamlit openai

部署

1. 使用支援的聊天完成模型啟動 vLLM 伺服器，例如：

   vllm serve Qwen/Qwen1.5-0.5B-Chat
   

2. 使用指令碼： examples/online_serving/streamlit_openai_chatbot_webserver.py

3. 啟動 streamlit Web UI 並開始聊天

   streamlit run streamlit_openai_chatbot_webserver.py
   
   # or specify the VLLM_API_BASE or VLLM_API_KEY
   VLLM_API_BASE="http://vllm-server-host:vllm-server-port/v1" \
       streamlit run streamlit_openai_chatbot_webserver.py
   
   # start with debug mode to view more details
   streamlit run streamlit_openai_chatbot_webserver.py --logger.level=debug