Skip to content

Commit ec40340

Browse files
committed
knowledge(vllm-omni): 1 change(s) from intake
1 parent 86991a7 commit ec40340

2 files changed

Lines changed: 20 additions & 0 deletions

File tree

‎knowledge/repos/vllm-omni/components/configuration/_index.md‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -58,3 +58,4 @@ sources: ["claude-workflow-starter-private@296ea45", vllm_omni/config/]
5858
- [部署 platform overlay 的最终配置合同](rules-platform-overlays.md)。
5959
- [配置规则 — CUDA graph 显存预留与 KV 预算](rules-cudagraph-kv-reserve.md)
6060
- [XPU eager pins 与 Intel 支持验证](rules-xpu-eager-pins.md)
61+
- [性能基准扩档与基线推导规则](rules-perf-baseline-derivation.md)
Lines changed: 19 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,19 @@
1+
---
2+
title: "性能基准扩档与基线推导规则"
3+
created: 2026-10-14
4+
updated: 2026-10-14
5+
type: rule
6+
tags: [vllm-omni, components, config]
7+
sources: ["PR #8720"]
8+
---
9+
10+
# 性能基准扩档与基线推导规则
11+
12+
## VLLM-OMNI-PR8720-PERF-BASELINES — 扩并发性能基线必须保留既有参考并按正确余量方向推导
13+
14+
- 触发:修改 `tests/dfx/perf/tests/` 下的性能基准 JSON(如 `test_minicpmo_4_5.json`、`test_minicpmo_4_5_duplex_seed_tts.json`):新增并发档位(C16/C32)或 prompt 规模、为某硬件派生 baseline 数值、启用 `seed_tts_wer_eval` 或调整 duplex sweep。
15+
- 强制:扩档不得触碰既有参考——未重算的 H100/A3 chat C1/C4/C8 与 A2 原档位必须原样保留,即使单次历史跑值与参考不一致也不得借机放宽,回归另行调查。新档位参考只能取真实历史硬件测量,并在 JSON `description` 中引用 Buildkite build 与 commit SHA,注明这是历史参考测量、非当前 head 验证;余量方向固定:吞吐 × 0.90、延迟与 audio RTF × 1.10,四舍五入到 4 位小数。未测量硬件(本例 B200)必须删除占位 baseline 桶但保留 workload 执行;runner 的 `assert_result` 独立强制全部请求完成与每 duplex session 四个音频 turn、不数值断言性能基线——基线缺失或宽松不得削弱完成性检查。WER 在固定数据集与 ASR 下重复测量出校准阈值之前只是采集,不构成质量门槛。
16+
- 禁止:扩档时顺手重算或放宽既有基线;把吞吐余量方向写反(× 1.10,本次已修正);保留无测量依据的占位 baseline;以历史 build 绿灯冒充当前 head 的 serving 验证;宣称启用 WER 评估即建立质量阈值,或用基线数值校验代替请求完成性断言。
17+
- 验收:逐硬件断言既有档位数值与父配置逐位一致;新增档位每个数值可由 cited build 测量按 ×0.90/×1.10 与 4 位舍入复算;未测量硬件无 baseline 字段但仍在 sweep 中执行;duplex 的请求数与每 session 四个音频 turn 由 `assert_result` 独立断言,不依赖 baseline。^[PR #8720]
18+
19+
<!-- kb:rule status=active since=v0.30.0 -->

0 commit comments

Comments
 (0)