從人類反饋中強化學習

從人類反饋中強化學習 (RLHF) 是一種利用人類生成的偏好資料來微調語言模型的技術，以使模型輸出與期望的行為保持一致。vLLM 可用於為 RLHF 生成補全。

以下開源 RL 庫使用 vLLM 進行快速 rollout（按字母順序排列，不詳盡）

• Cosmos-RL
• ms-swift
• NeMo-RL
• Open Instruct
• OpenRLHF
• PipelineRL
• Prime-RL
• SkyRL
• TRL
• Unsloth
• verl

如果您不想使用現有庫，請參閱以下基本示例以開始

• 訓練和推理過程位於單獨的 GPU 上（受 OpenRLHF 啟發）
• 使用 Ray 將訓練和推理過程放置在同一 GPU 上
• 使用 vLLM 進行 RLHF 的實用程式

參閱以下 Notebook，瞭解如何將 vLLM 用於 GRPO

• TRL 中使用 GRPO 和 vLLM 進行高效線上訓練
• Qwen-3 4B GRPO 使用 Unsloth + vLLM