跳到內容

使用 fastsafetensors 載入模型權重

使用 fastsafetensors 庫可以透過利用 GPU 直接儲存將模型權重載入到 GPU 記憶體中。有關更多詳細資訊,請參閱他們的 GitHub 倉庫

要啟用此功能,請使用 --load-format fastsafetensors 命令列引數