基準測試套件#
vLLM 包含兩組基準測試
效能基準測試#
效能基準測試用於開發，以確認新更改是否提高了各種工作負載下的效能。 它們在每次提交時都會觸發，同時帶有 perf-benchmarks 和 ready 標籤，以及當 PR 合併到 vLLM 時。
最新的效能結果託管在公共 vLLM 效能儀表板 上。
有關效能基準測試及其引數的更多資訊，請點選此處。
夜間基準測試#
這些基準測試在 vLLM 進行重大更新時（例如，升級到新版本）比較 vLLM 與其他替代方案（tgi、 trt-llm 和 lmdeploy）的效能。 它們主要供消費者評估何時選擇 vLLM 而不是其他選項，並在每次提交時觸發，同時帶有 perf-benchmarks 和 nightly-benchmarks 標籤。
最新的夜間基準測試結果在主要版本部落格文章中分享，例如 vLLM v0.6.0。
有關夜間基準測試及其引數的更多資訊，請點選此處。