模型解析

vLLM 透過檢查模型倉庫中 HuggingFace 相容模型的 config.json 檔案中的 architectures 欄位，並查詢 vLLM 註冊的相應實現來載入模型。然而，我們的模型解析可能會因以下原因而失敗：

• 模型倉庫的 config.json 檔案缺少 architectures 欄位。
• 非官方倉庫使用未在 vLLM 中記錄的替代名稱引用模型。
• 相同的架構名稱用於多個模型，導致在載入哪個模型時出現歧義。

為了解決這個問題，可以透過將 config.json 覆蓋傳遞給 hf_overrides 選項來明確指定模型架構。例如：

from vllm import LLM

llm = LLM(
    model="cerebras/Cerebras-GPT-1.3B",
    hf_overrides={"architectures": ["GPT2LMHeadModel"]},  # GPT-2
)

我們的支援模型列表顯示了 vLLM 可識別的模型架構。