跳到內容

模型解析

vLLM 透過檢查模型倉庫 config.json 檔案中的 architectures 欄位，並查詢已註冊到 vLLM 的相應實現來載入 HuggingFace 相容模型。儘管如此，我們的模型解析仍可能因以下原因而失敗：

  • 模型倉庫的 config.json 檔案缺少 architectures 欄位。
  • 非官方倉庫使用 vLLM 未記錄的替代名稱引用模型。
  • 相同的架構名稱用於多個模型，導致載入哪個模型存在歧義。

要解決此問題，請透過向 hf_overrides 選項傳遞 config.json 覆蓋項來顯式指定模型架構。例如：

from vllm import LLM

llm = LLM(
    model="cerebras/Cerebras-GPT-1.3B",
    hf_overrides={"architectures": ["GPT2LMHeadModel"]},  # GPT-2
)

我們 支援的模型列表 顯示了 vLLM 識別的模型架構。