基準測試套件¶
vLLM 包含兩套基準測試
效能基準測試¶
效能基準測試用於開發，以確認新更改在各種工作負載下是否提高了效能。它們在每次提交時（帶有 `perf-benchmarks` 和 `ready` 標籤）以及當 PR 合併到 vLLM 時觸發。
最新的效能結果託管在公開的 vLLM 效能儀表板上。
有關效能基準測試及其引數的更多資訊，請此處檢視。
夜間基準測試¶
當 vLLM 有重大更新（例如，升級到新版本）時，這些基準測試會比較 vLLM 與其他替代方案（`tgi`、`trt-llm` 和 `lmdeploy`）的效能。它們主要旨在供使用者評估何時選擇 vLLM 而非其他選項，並在每次提交時（帶有 `perf-benchmarks` 和 `nightly-benchmarks` 標籤）觸發。
最新的夜間基準測試結果在主要版本部落格文章中分享，例如vLLM v0.6.0。
有關夜間基準測試及其引數的更多資訊，請此處檢視。