跳到內容

XPU - Intel® GPU

已驗證硬體

硬體
Intel® Arc™ Pro B 系列顯示卡

支援的模型

僅文字語言模型

模型 架構 FP16 動態 FP8 MXFP4
openai/gpt-oss-20b GPTForCausalLM ✅
openai/gpt-oss-120b GPTForCausalLM ✅
deepseek-ai/DeepSeek-R1-Distill-Llama-8B LlamaForCausalLM ✅ ✅
deepseek-ai/DeepSeek-R1-Distill-Qwen-14B QwenForCausalLM ✅ ✅
deepseek-ai/DeepSeek-R1-Distill-Qwen-32B QwenForCausalLM ✅ ✅
deepseek-ai/DeepSeek-R1-Distill-Llama-70B LlamaForCausalLM ✅ ✅
Qwen/Qwen2.5-72B-Instruct Qwen2ForCausalLM ✅ ✅
Qwen/Qwen3-14B Qwen3ForCausalLM ✅ ✅
Qwen/Qwen3-32B Qwen3ForCausalLM ✅ ✅
Qwen/Qwen3-30B-A3B Qwen3ForCausalLM ✅ ✅
Qwen/Qwen3-30B-A3B-GPTQ-Int4 Qwen3ForCausalLM ✅ ✅
Qwen/Qwen3-coder-30B-A3B-Instruct Qwen3ForCausalLM ✅ ✅
Qwen/QwQ-32B QwenForCausalLM ✅ ✅
deepseek-ai/DeepSeek-V2-Lite DeepSeekForCausalLM ✅ ✅
meta-llama/Llama-3.1-8B-Instruct LlamaForCausalLM ✅ ✅
baichuan-inc/Baichuan2-13B-Chat BaichuanForCausalLM ✅ ✅
THUDM/GLM-4-9B-chat GLMForCausalLM ✅ ✅
THUDM/CodeGeex4-All-9B CodeGeexForCausalLM ✅ ✅
chuhac/TeleChat2-35B LlamaForCausalLM (TeleChat2 基於 Llama 架構) ✅ ✅
01-ai/Yi1.5-34B-Chat YiForCausalLM ✅ ✅
THUDM/CodeGeex4-All-9B CodeGeexForCausalLM ✅ ✅
deepseek-ai/DeepSeek-Coder-33B-base DeepSeekCoderForCausalLM ✅ ✅
baichuan-inc/Baichuan2-13B-Chat BaichuanForCausalLM ✅ ✅
meta-llama/Llama-2-13b-chat-hf LlamaForCausalLM ✅ ✅
THUDM/CodeGeex4-All-9B CodeGeexForCausalLM ✅ ✅
Qwen/Qwen1.5-14B-Chat QwenForCausalLM ✅ ✅
Qwen/Qwen1.5-32B-Chat QwenForCausalLM ✅ ✅

多模態語言模型

模型 架構 FP16 動態 FP8 MXFP4
OpenGVLab/InternVL3_5-8B InternVLForConditionalGeneration ✅ ✅
OpenGVLab/InternVL3_5-14B InternVLForConditionalGeneration ✅ ✅
OpenGVLab/InternVL3_5-38B InternVLForConditionalGeneration ✅ ✅
Qwen/Qwen2-VL-7B-Instruct Qwen2VLForConditionalGeneration ✅ ✅
Qwen/Qwen2.5-VL-72B-Instruct Qwen2VLForConditionalGeneration ✅ ✅
Qwen/Qwen2.5-VL-32B-Instruct Qwen2VLForConditionalGeneration ✅ ✅
THUDM/GLM-4v-9B GLM4vForConditionalGeneration ✅ ✅
openbmb/MiniCPM-V-4 MiniCPMVForConditionalGeneration ✅ ✅

嵌入和重排語言模型

模型 架構 FP16 動態 FP8 MXFP4
Qwen/Qwen3-Embedding-8B Qwen3ForTextEmbedding ✅ ✅
Qwen/Qwen3-Reranker-8B Qwen3ForSequenceClassification ✅ ✅

✅ 執行並已最佳化。
🟨 執行正確但尚未最佳化到綠色狀態。
❌ 未透過準確性測試或無法執行。