Repository navigation
test(prompts): align checks with original input and heartbeat contracts - #7664
Conversation
Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>
loopx-agent
left a comment
There was a problem hiding this comment.
Reviewer: actor_kind=model_agent; model=gpt-6.1-sol; provider=OpenAI; declaration_source=runtime_reported; reasoning_effort=max
Approval conclusion (author-owned PR; GitHub blocks formal self-approval)
动机 / Motivation
维护者运行发布回归时会遇到这五项提示词检查误报。 同一组 243 项检查在主干有 5 项失败;修正消费者后全部通过,压掉换行、丢掉首次选择指引和未解释正文增长仍会失败。 测试接受现行原文和 guard 契约,同时继续拦住内容丢失与未解释增长。
本次只交付测试及归因文档,不修改运行时、权限、生产提示词或整版发布资格。 长 Windows 路径的 Brief 正文仍为 5,776,超过既有 5,400 预算;最终发布候选、原生模型和渠道资格继续由原发布工作验收。
改动思路 / Approach
不改会继续要求生产代码恢复旧的单行输入,单纯刷新哈希则只会冻结下一版文案。当前方案就地修消费者:HTTP 到原生协议仍走同一 session/Turn,Brief 检查明确义务与完整渲染,四个 Goal 宿主继续独立检查回归余量与 4,000 字符硬边界。没有新配置、包装器或平行 smoke。
固定四宿主输入的指引增量为 63 字符,当前最大归一化正文为 3,262;3,300 留 38 字符余量。完整生产 payload 与 Brief JSON/Markdown 在 base/head 逐字节相等;新增 64 字符的无解释增长仍会失败。没有用删义务换取尺寸通过。
具体改动 / Changes
已核对完整远端 diff 和四个文件:test_steering_updates_the_existing_task_without_replaying_start_prompt 保留输入换行、单次 start、同一 Turn 和去重;test_brief_keeps_complete_routes_with_128_character_windows_root 移除过时整段哈希,保留全部命令路由、JSON 读回、正文完整渲染及 guard 只出现一次,并增加准入、权限、结算和继续义务检查;Goal 宿主测试保留独立硬上限;文档交代测量和取舍。
规格依据为 docs/development/testing-and-quality.md,spec_revision=3344f540f6f4992d95de1c04d50ba586d64deddd,采用本次新增说明之前的预算规则:
- Measure the same contract:同一 243 项及同一四宿主输入对照,保留原失败;已实现。
- Inspect information value and redundancy:保留首次选择、原文、完整路由和结算含义,反向删除仍被拦住;已实现。
- Choose and disclose the tradeoff:只校准固定测试的 3,200→3,300 回归预算,披露 38 字符余量,硬上限和冻结结果保持原状;已实现。
已检索现有覆盖及最近 20 个同 GitHub 作者 PR;#7659、#7654、#7633、#7648 的文件和合同各异。本次没有重复新建 scaffold。现有测试负责稳定边界,不再将整段历史文案哈希当作语义验收。
对主干的风险 / Risks
主要风险是测试过松。PASS:在精确 head 8d91d472d5dc5ef9860ae895a1ac821fbf116057,相同六模块共 243 项通过、无跳过;同输入主干保留 5 失败、238 通过。隔离反例中,折叠原文产生 3 项预期断言失败,删除首次指引和增加无解释增长各产生 1 项预期失败。真实本地 HTTP、文件存储及协议子进程被执行,模型由合成协议对端替代,不能据此宣称真实模型效果或原生 Windows 资格。
PASS:标准预合并为 5 项直接、3 项 catalog、8 项风险及 1 项公开边界检查;精确质量收据 cqr_340247c3bdf2f1c930ad 有效。Ruff、编译、RFC 双语门和四文件边界扫描通过。按当前政策未查询或等待远端 CI。
FAIL(既有独立诊断):相同 128 字符 Windows 拼写下,base/head 的 Brief 正文均为 5,776 / 5,400,完整 payload 相等;该超限在本PR前后都存在。本PR没有修改正文预算,也不把修复消费者后的绿色检查冒充该诊断通过。整版发布继续保留这个缺口。
我的整体评价 / Verdict
这是 justified_increment:五项已证明的消费者漂移得到完整修复,后续正文预算和整版验收仍沿既有发布工作继续。long_horizon=preserved,生产执行、持久结果与继续语义未改变;user_experience=preserved,同一更正请求没有增加准备、导航或确认步骤。没有新增共享词汇、权限、schema 或运行时 owner。
本PR只改测试与开发文档,未改变任何渲染页面;已检查四个实际 diff 路径和生成的 CLI 文本。 整体 App、Lark 及真实模型效果不在本次检查范围。
未发现本次 diff 的阻塞问题。批准结论只覆盖此精确 head 的测试与文档增量,不授予合并、bypass 或发布权限。
English verdict: APPROVE — head 8d91d47; five stale consumer failures are repaired, 243 matched tests and required local gates pass. Existing long-route body overflow and full release qualification remain open.
当前主干的 5 项提示词检查仍冻结旧的单行输入、整段文案哈希和首次 guard 指引加入前的字符预算,导致现行契约被误判。
本次只修测试及预算归因文档:
Current user message:后的原始换行;继续检查单次 start、同一 Turn、原文更正及重复去重。验证(head
8d91d472d5dc5ef9860ae895a1ac821fbf116057,base3344f540f6f4992d95de1c04d50ba586d64deddd):边界:这是现行检查的修复,不是整版发布资格。另测得同一 128 字符 Windows 拼写下 Brief 正文为 5,776,超过现有 5,400 正文回归预算;该既有问题保留,未改预算或伪称通过。这里的 Windows 路径为合成拼写,实际执行环境为 macOS;没有新模型调用。