使用 fastsafetensors 載入模型權重¶
使用 fastsafetensors 庫可以透過利用 GPU 直接儲存來將模型權重載入到 GPU 記憶體中。有關更多詳細資訊，請參閱他們的 GitHub 倉庫。要啟用此功能，請將環境變數 USE_FASTSAFETENSOR 設定為 true
使用 fastsafetensors 庫可以透過利用 GPU 直接儲存來將模型權重載入到 GPU 記憶體中。有關更多詳細資訊，請參閱他們的 GitHub 倉庫。要啟用此功能，請將環境變數 USE_FASTSAFETENSOR 設定為 true