Benchmark: 固化必选 MBA runtime 的可复核 A/B 基线与性能门槛

[TATP-233]

Parent: #1259

Evidence: #1253, #1255, #1256, #1257

一句话问题

#1253 给出了重要的 MBA/main collector 差值，但原始结果、完整软件环境和重复运行离散度没有保留下来，而且当前 dev 已合入 #1258，尚无可作为后续各优化共同基准的最新 pinned baseline。

为什么现在做

• Benchmark: 测量 go2_joystick_flat / g1_walk_flat / g1_motion_tracking 的 collector 吞吐 #1253 的 7 个 case 全部测成，但结果只能解释为 branch-level delta，不能把 MuJoCo per-substep dispatch 等执行差异统称为纯 manager abstraction overhead。
• 排查：MBA observation / update_state 路径开销定位（2.2-2.4 倍） #1256 的复测出现两个 FlashSAC/MuJoCo case 漂移，说明单次运行不足以定义最终性能 gate。
• reset、update_state 和 MuJoCo 三条优化线将并行推进；没有共同 baseline 时，各 PR 的收益不能汇总。

最小交付结果

在同一硬件上固定 main direct 与最新 MBA dev SHA，对 #1253 的 7 个 case 各独立运行至少三次，保存原始 JSON/CSV、完整环境和 median/离散度；由 maintainer 据此确认最终 MBA 性能门槛。direct 只作 benchmark baseline，不是候选 production 模式。

In scope

• 固定 commit SHA、Hydra owner config、num_envs、warmup/measure steps、replay capacity 和线程设置。
• 记录 OS/kernel、Python、NumPy、Torch、MuJoCo、mujoco_uni_runtime、Motrix 版本及硬件。
• 7 个 case 每侧至少三次独立运行，原始文件作为一次性 issue 附件保存。
• 分开报告 collector、physics、update_state、reset_done，明确 branch-level 与局部归因口径。
• 给出建议门槛与未达到门槛时的例外清单，由 maintainer 做产品决定。

Non-goals

• 不修改 benchmark 测量语义，不做任何性能优化。
• 不新增常规 CI、dashboard、长期 artifact 服务或新的 benchmark framework。
• 不用 direct fallback、配置切换或改变 MBA 语义换数字。

Owner 与预计改动

• Owner：benchmark / Env performance；暂不指派。
• 纯测量，预计零代码、零 PR；若现有入口无法完成即触发 Stop，不在本 issue 改脚本。
• 可与 排查：MBA observation / update_state 路径开销定位（2.2-2.4 倍） #1256、MotionCommand reset 优化和 MuJoCo capability 调查并行，但同一物理机器上的正式 benchmark 必须串行运行，避免资源争用。

Acceptance criteria

• 7 case × 2 branch × ≥3 runs 全部有原始结果；失败不静默跳过。
• 每组给出 median、min/max 或等价离散度，环境与 SHA 完整。
• Benchmark: 测量 go2_joystick_flat / g1_walk_flat / g1_motion_tracking 的 collector 吞吐 #1253 的 branch-level 口径得到明确修正。
• maintainer 明确记录建议 90% 目标是否成为 gate，以及任何接受的 case 例外。

Stop conditions

• 复现需要修改 collector/runner/backend/manager 或 benchmark 测量语义。
• 两分支有效 task/config 已无法对齐，或同机重复波动大到无法判断优化收益。
• 需要新增长期 evidence/CI infrastructure 才能完成。

[TATP-233]

Pinned baseline：main direct vs MBA dev（7 case × 2 branch × 3 runs）

环境

• 硬件：AMD Ryzen 9 9950X3D（16C/32T）、60 GB 内存、NVIDIA RTX 4090 48 GB，Linux kernel 7.0.0-30-generic
• 注意：与 Benchmark: 测量 go2_joystick_flat / g1_walk_flat / g1_motion_tracking 的 collector 吞吐 #1253 的 Xeon w5-3435X / RTX 6000 Ada 不是同一台机器，绝对值不可跨机比较；本 baseline 供后续在本机执行的优化 PR 做 before/after 对比
• SHA：main direct = 60c2ce7c；MBA dev = 2a3bcea7（含 feat: instrument MBA reset path with fine-grained sub-step timing (#1255) #1258 reset 插桩、fix: pin get_body_*_vel_b to analytical body-frame semantics across backends #1254 get_body_*_vel_b 语义修复）
• 软件：Python 3.13.14、NumPy 2.4.4、Torch 2.7.0+cu128、MuJoCo 3.10.0、mujoco-uni-runtime 0.3.1、motrixsim-core 0.8.2（两分支各自 make sync，版本一致）
• 参数：num_envs=8192、warmup=10、measure=100 vector steps、replay_capacity=64 steps、collector torch threads=8；全部运行在同一台机器上严格串行，无其他负载
• 原始数据（运行机本地，gitignored）：scripts/benchmark/outputs/offpolicy_collector_active/issue1260_{dev,main}_run{1,2,3}.{json,csv}；7×2×3 = 42 次运行全部成功，无失败跳过

吞吐：median [min, max]（env steps/s，3 次独立运行）

Case	main direct	dev MBA	MBA/main (median)
flashsac/go2_joystick_flat/mujoco	312,512 [309,302, 316,332]	201,133 [201,020, 201,382]	0.644
flashsac/g1_walk_flat/mujoco	113,794 [113,602, 114,097]	61,673 [60,912, 62,869]	0.542
flashsac/g1_walk_flat/motrix	100,799 [100,253, 101,546]	81,535 [76,192, 82,014]	0.809
sac/g1_walk_flat/mujoco	110,693 [110,508, 110,794]	66,299 [61,830, 66,431]	0.599
sac/g1_walk_flat/motrix	102,037 [92,271, 102,501]	74,630 [63,724, 75,652]	0.731
sac/g1_motion_tracking/mujoco	82,191 [82,153, 82,951]	53,504 [50,682, 54,089]	0.651
sac/g1_motion_tracking/motrix	88,351 [86,184, 88,362]	40,110 [38,094, 44,494]	0.454

Phase 分解：median（ms / vector step，main → dev）

Case	env_step	physics	step_core	update_state	reset_done
flashsac/go2/mujoco	25.8 → 40.2	22.3 → 29.6	22.8 → 32.5	2.9 → 7.5	~0 → ~0
flashsac/g1_walk/mujoco	71.0 → 131.8	64.8 → 105.0	65.3 → 117.0	3.0 → 8.6	2.3 → 5.9
flashsac/g1_walk/motrix	80.2 → 99.4	70.3 → 75.2	71.5 → 78.9	5.8 → 12.3	2.5 → 8.3
sac/g1_walk/mujoco	73.1 → 122.5	64.7 → 98.2	65.3 → 107.4	5.1 → 8.8	2.4 → 6.1
sac/g1_walk/motrix	79.2 → 108.7	70.6 → 75.1	71.6 → 83.0	4.6 → 16.8	2.4 → 12.2
sac/g1_motion/mujoco	97.7 → 150.9	73.2 → 84.0	77.3 → 94.7	14.7 → 31.8	5.6 → 23.2
sac/g1_motion/motrix	90.7 → 202.1	67.4 → 69.4	68.6 → 75.7	16.0 → 77.4	6.0 → 48.9

离散度观察

• mujoco 三个 case 两侧都很稳：main 极差 <0.5%，dev <4%。
• motrix 波动明显更大：sac/g1_walk_flat/motrix dev 63.7–75.7k（约 ±9%），sac/g1_motion_tracking/motrix dev 38.1–44.5k（约 ±8%）；main 侧 sac/g1_walk_flat/motrix run3 也掉到 92k（-10%）。
• 跨批次漂移：排查：MBA observation / update_state 路径开销定位（2.2-2.4 倍） #1256 插桩批次（同代码 + 计时插桩，同一台机器稍后运行）的 sac/g1_motion_tracking/motrix 跑到 52.0–52.8k，比本 baseline 批次的 38.1–44.5k 高 ~30%。插桩本身只会增加开销，说明该 case 存在批次级系统性漂移，run 间波动已超过多数单项优化的预期收益。建议门槛判定用 median-of-N，并对该 case 单独标注或增加 run 数。

branch-level 口径修正（相对 #1253）

• 本机 physics_ms 的 main→dev 差值：mujoco case 仍系统性偏高（g1_walk 64.8→105.0 / 64.7→98.2，go2 22.3→29.6，motion 73.2→84.0），motrix 基本持平（±7% 内，motion/motrix 67.4→69.4）。与 Benchmark: 测量 go2_joystick_flat / g1_walk_flat / g1_motion_tracking 的 collector 吞吐 #1253 事实 2、排查：mujoco physics_ms 在 MBA 分支系统性偏高（+23-43%）归因 #1257 结论一致：不是 physics 数学差异，而是 MuJoCo 多次 pool dispatch 的执行差异。
• update_state 本机 main→dev：walk 3–6ms → 8–17ms，motion 15–16ms → 32–77ms，与 Benchmark: 测量 go2_joystick_flat / g1_walk_flat / g1_motion_tracking 的 collector 吞吐 #1253 的 2.2–2.4 倍同向；term 级分解见 排查：MBA observation / update_state 路径开销定位（2.2-2.4 倍） #1256。
• reset_done 本机 main→dev：walk 2.3–2.5ms → 5.9–12.2ms，motion 5.6–6.0ms → 23.2–48.9ms，与 Benchmark: 测量 go2_joystick_flat / g1_walk_flat / g1_motion_tracking 的 collector 吞吐 #1253/排查：MBA reset / event manager 路径开销定位（reset_done 慢 5-6 倍） #1255 同向。
• 结论：Benchmark: 测量 go2_joystick_flat / g1_walk_flat / g1_motion_tracking 的 collector 吞吐 #1253 的 branch-level 差值可分解为 MuJoCo per-substep dispatch（排查：mujoco physics_ms 在 MBA 分支系统性偏高（+23-43%）归因 #1257）+ update_state manager 开销（排查：MBA observation / update_state 路径开销定位（2.2-2.4 倍） #1256）+ reset_done（排查：MBA reset / event manager 路径开销定位（reset_done 慢 5-6 倍） #1255）三块，不能统称为纯 manager abstraction overhead。

建议门槛（maintainer 决策）

按 umbrella 建议的 90% 工作目标，本机 7 个 case 的 MBA/main median 为 0.454–0.809，全部未达 90%。请 maintainer 决定：

1. 90% 是否成为最终 gate；
2. sac/g1_motion_tracking/motrix 的高漂移如何处置（更多 run 数 / 单独例外 / 排除出 gate）；
3. 例外 case 清单（如有）。

[TATP-233]

测量交付已完成：main 60c2ce7 与 MBA 2a3bcea 的 7 case × 2 branch × 3 runs 共 42 次全部成功，环境、median、离散度和 branch-level 口径均已记录。尚未作出的 90% gate、motion/motrix 高漂移及例外决定已统一迁移到 #1263 的剩余 TODO；本 issue 不再重复保持 open。