vllm bench sweep plot

JSON 命令列引數

當傳遞 JSON 命令列引數時，以下幾組引數是等效的

• --json-arg '{"key1": "value1", "key2": {"key3": "value2"}}'
• --json-arg.key1 value1 --json-arg.key2.key3 value2

此外，列表元素可以使用 + 單獨傳遞

• --json-arg '{"key4": ["value3", "value4", "value5"]}'
• --json-arg.key4+ value3 --json-arg.key4+='value4,value5'

引數

--fig-dir

用於儲存圖表的目錄，相對於 OUTPUT_DIR。預設情況下，使用同一目錄。

預設值: ""

--fig-by

一組用逗號分隔的變數，將為這些變數的每種組合建立一個單獨的圖表。

預設值: ""

--row-by

一組用逗號分隔的變數，將為這些變數的每種組合建立一個單獨的行。

預設值: ""

--col-by

一組用逗號分隔的變數，將為這些變數的每種組合建立一個單獨的列。

預設值: ""

--curve-by

一組用逗號分隔的變數，將為這些變數的每種組合建立一個單獨的曲線。

預設值: None

--var-x

x 軸的變數。

預設值：request_throughput

--var-y

y 軸的變數

預設值：p99_e2el_ms

--filter-by

一組用逗號分隔的語句，指示要過濾的值。這有助於移除異常值。例如：max_concurrency<1000,max_num_batched_tokens<=4096 表示僅繪製 max_concurrency 小於 1000 且 max_num_batched_tokens 不大於 4096 的點。

預設值: ""

--bin-by

一組用逗號分隔的語句，指示要分組的值。這有助於避免繪製過於靠近的點。例如：request_throughput%%1 表示對 request_throughput 變數使用 1 的分組大小。

預設值: ""

--scale-x

x 軸使用的刻度。目前僅接受字串值，例如 'log' 和 'sqrt'。另請參閱：https://seaborn.pydata.org/generated/seaborn.objects.Plot.scale.html

預設值: None

--scale-y

y 軸使用的刻度。目前僅接受字串值，例如 'log' 和 'sqrt'。另請參閱：https://seaborn.pydata.org/generated/seaborn.objects.Plot.scale.html

預設值: None

--fig-name

輸出圖表檔案的名稱字首。如果存在，則始終附加組資料。預設值：'FIGURE'。例如：--fig-name my_performance_plot

預設值：FIGURE

--no-error-bars

如果設定，則停用圖表上的誤差線。預設情況下，會顯示誤差線。

預設值: False

--fig-height

每個子圖的高度（以英寸為單位）。預設值：6.4

預設值：6.4

--fig-dpi

輸出圖表的解析度（以每英寸點數為單位）。預設值：300

預設值：300

--dry-run

如果設定，則列印有關每個要繪製的圖表的資訊，然後退出而不繪製它們。

預設值: False