Skip to content

eval: record bounded version-audit paired check, no runtime promotion #89

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Merged
Air000000 merged 2 commits into from
Oct 18, 2026
Merged

eval: record bounded version-audit paired check, no runtime promotion #89

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
2 commits
Select commit Hold shift + click to select a range
214eb8d
eval: freeze bounded six-case version audit paired check
Air000000 Oct 17, 2026
8d696bc
docs: record partial version audit gain without runtime promotion
Air000000 Oct 17, 2026
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
8 changes: 6 additions & 2 deletions README.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -298,7 +298,7 @@ Hybrid 检索（同一租户/分类、已索引当前版本，最多 Top14）

## 3.3 集成验收状态（2026-10-17）

**当前不接受为已验收发布版。** 已补齐仓库声明的评测测试依赖，在隔离 Windows / Python 3.12.4 环境运行完整 `tests/`：最新 640 项通过、零失败/跳过；不只原重点回归集。主 pytest 进程禁止外部 socket 与读取项目私有 `data/`，测试使用临时数据；CI 包含相同完整离线检查。离线成功不是模型质量验收。
**当前不接受为已验收发布版。** 已补齐仓库声明的评测测试依赖，在隔离 Windows / Python 3.12.4 环境运行完整 `tests/`：最新 656 项通过、零失败/跳过；不只原重点回归集。主 pytest 进程禁止外部 socket 与读取项目私有 `data/`，测试使用临时数据；CI 包含相同完整离线检查。离线成功不是模型质量验收。

真实问答计划复用同一脚本，默认仍然零调用：

Expand All @@ -321,7 +321,11 @@ python -m scripts.smoke_hybrid_runtime --ask --execute --env-file .env

复测仍有版本审计语义警示：NovaVPN 1.0 的显式版本约束仍被标成 `NOT_REQUIRED`；AcornExpense 2.0 的版本覆盖被标成 `SUPPORTED`，理由却承认来源只覆盖 1.0。后者整体因其他检查为 `MISSING` 而正确拒答，但不能据此认定每项审计可靠。保留这两项警示；该次复测未针对案例改提示词或规则，历史 NO_PROMOTION / FAIL 不变。

新增离线 [v5.3.1 版本审计澄清候选](experiments/evals/refusal_version_audit_clarification.py)：只追加通用说明，区分“来源声明自己的版本范围”和“证据满足问题所需版本”，保留可见兼容性依据，不退回版本关键词/字符串匹配。没有加入上述验收案例答案，沿用原输入、状态与严格引用解析器，不修补或重标模型输出。6 类手写虚构边界及两类错误输出回放只检查接线与限制，**不证明模型已改正判断**；未进行候选真实调用，未接入 API，现有 `v5_3_experimental` 提示词、运行行为与历史报告均不变。
新增离线 [v5.3.1 版本审计澄清候选](experiments/evals/refusal_version_audit_clarification.py)：只追加通用说明，区分“来源声明自己的版本范围”和“证据满足问题所需版本”，保留可见兼容性依据，不退回版本关键词/字符串匹配。没有加入上述验收案例答案，沿用原输入、状态与严格引用解析器，不修补或重标模型输出。手写边界测试只证明接线与限制；候选未接入 API，现有 `v5_3_experimental` 提示词、运行行为与历史报告均不变。

随后单独授权完成一次[6 题分类配对开发检查](docs/reports/version_audit_paired_2026-10-17.json)：输入、预期与请求守卫在调用前提交冻结，新旧提示词使用相同输入/参数、交替首跑顺序。版本审计符合预期为 v5.3 **3/6**、v5.3.1 **5/6**；整体放行/拒答均 **6/6**，没有决策差异。候选在版本不符、兼容范围两题改善分项审计，但仍把“版本已匹配、功能信息缺失”的版本检查标成 `NOT_REQUIRED`。这只是少量已知虚构开发场景，不是独立验收，也不证明回答准确率提升；不改预期、不重标结果、不因局部改善切换服务策略。

本次仅 12 次新加坡分类，均 HTTP 200，无重试；usage 合计 27481 tokens，请求体 119304 bytes，没有重跑检索或生成。`python -m scripts.probe_version_audit` 默认只输出零调用计划；真实执行还要求事先授权、配置专用新加坡凭据并绑定计划哈希。单次/累计请求体上限为 24/192 KiB，最多 12 次调用；发送守卫逐次比对完整请求体，预期标签不进入模型请求。任何网络、提供方或解析异常即停，不自动续跑。候选仅部分有效，下一步应先判断审计改进的收益，不自动进入新一轮付费调参。

只读检查确认 Docker 引擎仍不可连接；真实运行服务 HTTP、容器重启/持久化与回退验收均未完成。本次使用临时 ASGI 应用、SQL 和 Chroma，不是部署验收；Ticket Agent 仍使用 Dense，不声明全链 Hybrid，默认开关保持关闭。下一步仍需处理版本审计一致性与运行环境验收，而不是因 8 类流程通过就晋级发布。

Expand Down
Loading
Loading