vllm bench sweep serve

JSON 命令列引數

當傳遞 JSON 命令列引數時，以下幾組引數是等效的

• --json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'
• --json-arg.key1 value1 --json-arg.key2.key3 value2

此外，列表元素可以使用 + 單獨傳遞

• --json-arg '{"key4": ["value3", "value4", "value5"]}'
• --json-arg.key4+ value3 --json-arg.key4+='value4,value5'

引數

--serve-cmd

用於執行伺服器的命令：vllm serve ...

預設值: None

--bench-cmd

用於執行基準測試的命令：vllm bench serve ...

預設值: None

--after-bench-cmd

基準測試執行完成後，呼叫此命令而不是預設的 ServerWrapper.clear_cache()。

預設值: None

--show-stdout

如果設定，則記錄子命令的標準輸出。這對於除錯很有用，但可能會產生大量輸出。

預設值: False

--serve-params

包含 vllm serve 命令引數組合的 JSON 檔案路徑。可以是字典列表，也可以是字典（其中鍵是基準測試名稱）。如果同時給出了 serve_params 和 bench_params，則指令碼將遍歷它們的笛卡爾積。

預設值: None

--bench-params

包含 vllm bench serve 命令引數組合的 JSON 檔案路徑。可以是字典列表，也可以是字典（其中鍵是基準測試名稱）。如果同時給出了 serve_params 和 bench_params，則指令碼將遍歷它們的笛卡爾積。

預設值: None

-o, --output-dir

結果寫入的目錄。

預設值：results

--num-runs

每個引數組合的執行次數。

預設值：3

--dry-run

如果設定，則列印要執行的命令，然後退出而不執行它們。

預設值: False

--resume

將此設定為 output_dir 下的目錄名稱（通常是時間戳），以恢復指令碼的先前執行，即僅執行仍沒有輸出檔案的引數組合。

預設值: None

--link-vars

伺服器和基準測試之間連結變數的逗號分隔列表，例如 max_num_seqs=max_concurrency,max_model_len=random_input_len

預設值: ""