Skip to content

test(prompts): align checks with original input and heartbeat contracts - #7664

Merged
huangruiteng merged 1 commit into
mainfrom
codex/prompt-contract-consumers-20261029
Oct 29, 2026
Merged

huangruiteng merged 1 commit into
mainfrom
codex/prompt-contract-consumers-20261029

Conversation

@loopx-agent

Copy link
Copy Markdown
Collaborator

当前主干的 5 项提示词检查仍冻结旧的单行输入、整段文案哈希和首次 guard 指引加入前的字符预算,导致现行契约被误判。

本次只修测试及预算归因文档:

  • 原生 steering 保留 Current user message: 后的原始换行;继续检查单次 start、同一 Turn、原文更正及重复去重。
  • Brief 用明确的准入、权限、结算和继续条件检查替代过时全文哈希;完整正文、可执行 guard 只出现一次、128 字符 Windows 路径、JSON 读回和原有输出上限均保留。
  • 四个固定 Goal 宿主输入因已知 Todo 的首次 guard 指引增加 63 字符,最大归一化正文为 3,262。仅把该测试回归余量从 3,200 校准为 3,300;生产正文及 4,000 字符宿主上限不变。

验证(head 8d91d472d5dc5ef9860ae895a1ac821fbf116057,base 3344f540f6f4992d95de1c04d50ba586d64deddd):

  • 相同六个模块的 243 项:基线 5 失败、238 通过;修后全通过,无跳过。
  • 三组隔离反例:折叠原生输入换行产生 3 项预期失败;删首次 guard 指引、加入无解释正文增长各产生 1 项预期失败。
  • 完整提示词 payload、Brief JSON/Markdown 修前修后逐字节一致;Ruff、编译、双语 RFC 检查及四文件公开边界扫描通过。
  • 精确范围 change-quality 及标准 premerge(5 项直接检查、3 项 catalog、8 项风险检查及 1 项公开边界检查)通过,无失败、跳过或 manual hold。

边界:这是现行检查的修复,不是整版发布资格。另测得同一 128 字符 Windows 拼写下 Brief 正文为 5,776,超过现有 5,400 正文回归预算;该既有问题保留,未改预算或伪称通过。这里的 Windows 路径为合成拼写,实际执行环境为 macOS;没有新模型调用。

Signed-off-by: LoopX Agent <337587101+loopx-agent@users.noreply.github.com>

@loopx-agent loopx-agent left a comment

Copy link
Copy Markdown
Collaborator Author

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Reviewer: actor_kind=model_agent; model=gpt-6.1-sol; provider=OpenAI; declaration_source=runtime_reported; reasoning_effort=max

Approval conclusion (author-owned PR; GitHub blocks formal self-approval)

动机 / Motivation

维护者运行发布回归时会遇到这五项提示词检查误报。 同一组 243 项检查在主干有 5 项失败;修正消费者后全部通过,压掉换行、丢掉首次选择指引和未解释正文增长仍会失败。 测试接受现行原文和 guard 契约,同时继续拦住内容丢失与未解释增长。

本次只交付测试及归因文档,不修改运行时、权限、生产提示词或整版发布资格。 长 Windows 路径的 Brief 正文仍为 5,776,超过既有 5,400 预算;最终发布候选、原生模型和渠道资格继续由原发布工作验收。

改动思路 / Approach

不改会继续要求生产代码恢复旧的单行输入,单纯刷新哈希则只会冻结下一版文案。当前方案就地修消费者:HTTP 到原生协议仍走同一 session/Turn,Brief 检查明确义务与完整渲染,四个 Goal 宿主继续独立检查回归余量与 4,000 字符硬边界。没有新配置、包装器或平行 smoke。

固定四宿主输入的指引增量为 63 字符,当前最大归一化正文为 3,262;3,300 留 38 字符余量。完整生产 payload 与 Brief JSON/Markdown 在 base/head 逐字节相等;新增 64 字符的无解释增长仍会失败。没有用删义务换取尺寸通过。

具体改动 / Changes

已核对完整远端 diff 和四个文件:test_steering_updates_the_existing_task_without_replaying_start_prompt 保留输入换行、单次 start、同一 Turn 和去重;test_brief_keeps_complete_routes_with_128_character_windows_root 移除过时整段哈希,保留全部命令路由、JSON 读回、正文完整渲染及 guard 只出现一次,并增加准入、权限、结算和继续义务检查;Goal 宿主测试保留独立硬上限;文档交代测量和取舍。

规格依据为 docs/development/testing-and-quality.md,spec_revision=3344f540f6f4992d95de1c04d50ba586d64deddd,采用本次新增说明之前的预算规则:

  • Measure the same contract:同一 243 项及同一四宿主输入对照,保留原失败;已实现。
  • Inspect information value and redundancy:保留首次选择、原文、完整路由和结算含义,反向删除仍被拦住;已实现。
  • Choose and disclose the tradeoff:只校准固定测试的 3,200→3,300 回归预算,披露 38 字符余量,硬上限和冻结结果保持原状;已实现。

已检索现有覆盖及最近 20 个同 GitHub 作者 PR;#7659、#7654、#7633、#7648 的文件和合同各异。本次没有重复新建 scaffold。现有测试负责稳定边界,不再将整段历史文案哈希当作语义验收。

对主干的风险 / Risks

主要风险是测试过松。PASS:在精确 head 8d91d472d5dc5ef9860ae895a1ac821fbf116057,相同六模块共 243 项通过、无跳过;同输入主干保留 5 失败、238 通过。隔离反例中,折叠原文产生 3 项预期断言失败,删除首次指引和增加无解释增长各产生 1 项预期失败。真实本地 HTTP、文件存储及协议子进程被执行,模型由合成协议对端替代,不能据此宣称真实模型效果或原生 Windows 资格。

PASS:标准预合并为 5 项直接、3 项 catalog、8 项风险及 1 项公开边界检查;精确质量收据 cqr_340247c3bdf2f1c930ad 有效。Ruff、编译、RFC 双语门和四文件边界扫描通过。按当前政策未查询或等待远端 CI。

FAIL(既有独立诊断):相同 128 字符 Windows 拼写下,base/head 的 Brief 正文均为 5,776 / 5,400,完整 payload 相等;该超限在本PR前后都存在。本PR没有修改正文预算,也不把修复消费者后的绿色检查冒充该诊断通过。整版发布继续保留这个缺口。

我的整体评价 / Verdict

这是 justified_increment:五项已证明的消费者漂移得到完整修复,后续正文预算和整版验收仍沿既有发布工作继续。long_horizon=preserved,生产执行、持久结果与继续语义未改变;user_experience=preserved,同一更正请求没有增加准备、导航或确认步骤。没有新增共享词汇、权限、schema 或运行时 owner。

本PR只改测试与开发文档,未改变任何渲染页面;已检查四个实际 diff 路径和生成的 CLI 文本。 整体 App、Lark 及真实模型效果不在本次检查范围。

未发现本次 diff 的阻塞问题。批准结论只覆盖此精确 head 的测试与文档增量,不授予合并、bypass 或发布权限。

English verdict: APPROVE — head 8d91d47; five stale consumer failures are repaired, 243 matched tests and required local gates pass. Existing long-route body overflow and full release qualification remain open.

@huangruiteng
huangruiteng merged commit cc8bd2f into main Oct 29, 2026
5 of 6 checks passed
@huangruiteng
huangruiteng deleted the codex/prompt-contract-consumers-20261029 branch October 29, 2026 11:51
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants