使用情況統計

vLLM 預設收集匿名使用資料，以幫助工程團隊更好地瞭解哪些硬體和模型配置被廣泛使用。這些資料使他們能夠優先處理最常見的工作負載。收集的資料是透明的，不包含任何敏感資訊。

清洗和聚合後，部分資料將公開發布，以供社群受益。例如，您可以在此處檢視 2024 年使用情況報告。

收集哪些資料？

可以在此處找到最新版本 vLLM 收集的資料列表：vllm/usage/usage_lib.py

以下是 v0.4.0 版本的示例

{
  "uuid": "fbe880e9-084d-4cab-a395-8984c50f1109",
  "provider": "GCP",
  "num_cpu": 24,
  "cpu_type": "Intel(R) Xeon(R) CPU @ 2.20GHz",
  "cpu_family_model_stepping": "6,85,7",
  "total_memory": 101261135872,
  "architecture": "x86_64",
  "platform": "Linux-5.10.0-28-cloud-amd64-x86_64-with-glibc2.31",
  "gpu_count": 2,
  "gpu_type": "NVIDIA L4",
  "gpu_memory_per_device": 23580639232,
  "model_architecture": "OPTForCausalLM",
  "vllm_version": "0.3.2+cu123",
  "context": "LLM_CLASS",
  "log_time": 1711663373492490000,
  "source": "production",
  "dtype": "torch.float16",
  "tensor_parallel_size": 1,
  "block_size": 16,
  "gpu_memory_utilization": 0.9,
  "quantization": null,
  "kv_cache_dtype": "auto",
  "enable_lora": false,
  "enable_prefix_caching": false,
  "enforce_eager": false,
  "disable_custom_all_reduce": true
}

您可以透過執行以下命令預覽收集的資料

tail ~/.config/vllm/usage_stats.json

選擇退出

您可以透過設定 VLLM_NO_USAGE_STATS 或 DO_NOT_TRACK 環境變數，或透過建立 ~/.config/vllm/do_not_track 檔案來選擇退出使用情況統計收集

# Any of the following methods can disable usage stats collection
export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1
mkdir -p ~/.config/vllm && touch ~/.config/vllm/do_not_track