AutoRound

AutoRound 是英特爾的先進量化演算法，旨在生成高效的 INT2、INT3、INT4 和 INT8 量化大語言模型，在準確性和部署效能之間取得最佳平衡。

AutoRound 對基於 Transformer 的模型應用權重僅量化，能夠在保持接近原始準確率的同時，顯著節省記憶體並加快推理速度。它支援多種硬體平臺，包括 CPU、Intel GPU、HPU 和支援 CUDA 的裝置。

有關更多詳細資訊，請參閱 AutoRound 指南。

主要特性

✅ 支援 AutoRound、AutoAWQ、AutoGPTQ 和 GGUF

✅ 支援 10+ 視覺語言模型 (VLM)

✅ 支援 每層混合位量化 以進行精細控制

✅ 支援 RTN（四捨五入到最近）模式，可快速量化但準確率略有損失

✅ 支援 多種量化方案：best、base 和 light

✅ 高階實用功能，例如即時打包和對 10+ 後端 的支援

安裝

uv pip install auto-round

模型量化

對於 VLM，請在 CLI 用法中更改為 auto-round-mllm，在 API 用法中更改為 AutoRoundMLLM。

CLI 用法

auto-round \
    --model Qwen/Qwen3-0.6B \
    --bits 4 \
    --group_size 128 \
    --format "auto_round" \
    --output_dir ./tmp_autoround

auto-round \
    --model Qwen/Qwen3-0.6B \
    --format "gguf:q4_k_m" \
    --output_dir ./tmp_autoround

API 用法

from transformers import AutoModelForCausalLM, AutoTokenizer
from auto_round import AutoRound

model_name = "Qwen/Qwen3-0.6B"
model = AutoModelForCausalLM.from_pretrained(model_name, dtype="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

bits, group_size, sym = 4, 128, True
autoround = AutoRound(model, tokenizer, bits=bits, group_size=group_size, sym=sym)

# the best accuracy, 4-5X slower, low_gpu_mem_usage could save ~20G but ~30% slower
# autoround = AutoRound(model, tokenizer, nsamples=512, iters=1000, low_gpu_mem_usage=True, bits=bits, group_size=group_size, sym=sym)

# 2-3X speedup, slight accuracy drop at W4G128
# autoround = AutoRound(model, tokenizer, nsamples=128, iters=50, lr=5e-3, bits=bits, group_size=group_size, sym=sym )

output_dir = "./tmp_autoround"
# format= 'auto_round'(default), 'auto_gptq', 'auto_awq'
autoround.quantize_and_save(output_dir, format="auto_round")

使用 vLLM 執行量化模型

以下是使用 vLLM 執行 auto-round 格式的一些示例程式碼

from vllm import LLM, SamplingParams

prompts = [
    "Hello, my name is",
]
sampling_params = SamplingParams(temperature=0.6, top_p=0.95)
model_name = "Intel/DeepSeek-R1-0528-Qwen3-8B-int4-AutoRound"
llm = LLM(model=model_name)

outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

致謝

特別感謝 AutoGPTQ、AutoAWQ、GPTQModel、Triton、Marlin 和 ExLLaMAV2 等開源低精度庫，它們提供了低精度 CUDA 核心，AutoRound 利用了這些核心。