Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
12 changes: 8 additions & 4 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -298,7 +298,7 @@ Hybrid 检索(同一租户/分类、已索引当前版本,最多 Top14)

## 3.3 集成验收状态(2026-10-17)

**当前不接受为已验收发布版。** 已补齐仓库声明的评测测试依赖,在隔离 Windows / Python 3.12.4 环境运行完整 `tests/`:622 项通过、零失败/跳过;不只原重点回归集。主 pytest 进程禁止外部 socket 与读取项目私有 `data/`,测试使用临时数据;CI 增加相同完整离线检查。离线成功不是模型质量验收。
**当前不接受为已验收发布版。** 已补齐仓库声明的评测测试依赖,在隔离 Windows / Python 3.12.4 环境运行完整 `tests/`:最新 632 项通过、零失败/跳过;不只原重点回归集。主 pytest 进程禁止外部 socket 与读取项目私有 `data/`,测试使用临时数据;CI 包含相同完整离线检查。离线成功不是模型质量验收。

真实问答计划复用同一脚本,默认仍然零调用:

Expand All @@ -310,14 +310,18 @@ python -m scripts.smoke_hybrid_runtime --ask --execute --env-file .env

固定 7 篇虚构文档、8 类案例,预期标签只在本地检查。独立上限为 14 次北京 embedding、6 次新加坡重排、6 次新加坡分类、2 次北京生成,禁用重试和重定向;请求体最多 24 KiB、累计 96 KiB,保守预算 ¥2 而非账单硬限额。生成只获准用于两个预设可回答案例;若负例错误放行,发送守卫会阻断生成并判验收失败,不改写为正常拒答。旧搜索模式仍保留原 8/3 上限。

本次获授权执行一次,在首个可回答案例停止:9 次 embedding、1 次重排、1 次分类均 HTTP 200;生成尝试约 30 秒未获得可用响应,接口 HTTP 503。已报告 usage 合计 2639 tokens,**生成用量未知,可能计费,不能当作零费用**。剩余 7 类真实案例未执行,没有重试;[完整失败记录](docs/reports/hybrid_acceptance_2026-10-17.json) 保留输出、调用计数及执行时脚本哈希。
首次获授权执行一次,在首个可回答案例停止:9 次 embedding、1 次重排、1 次分类均 HTTP 200;生成尝试约 30 秒未获得可用响应,接口 HTTP 503。已报告 usage 合计 2639 tokens,**该次生成用量未知,可能计费,不能当作零费用**。当时剩余 7 类真实案例未执行,没有重试;[完整失败记录](docs/reports/hybrid_acceptance_2026-10-17.json) 保留输出、调用计数及执行时脚本哈希,不被后续复测覆盖。

另有语义警示:问题明确指定版本 1.0,分类器却把 `version_and_time` 标为 `NOT_REQUIRED`。来源确实覆盖该版本,但这个审计判断不符合提示词约定,格式和引用通过不能证明语义判断可靠。
该次生成请求没有显式关闭思考模式,而 [官方文档](https://www.alibabacloud.com/help/en/model-studio/deep-thinking) 说明 Qwen3.5 Plus 默认开启思考。这是配置风险,**不是本次超时唯一原因的证据**。

随后修复显式关闭 Qwen3.5 Plus 生成思考模式,并补齐脱敏诊断。验收脚本区分等待响应头、读取响应体、读取完成,保留已收到的 HTTP 状态、异常类型链、usage 分项及 `finish_reason`;不记录隐藏思考或提供方错误正文。等待响应头不代表服务器已接受请求,超时缺少 usage 时仍不能推断零计费。30 秒超时、输出上限、重试策略、提示词与拒答规则均未变;仅完成离线验证,未再次真实调用,也未改写上述失败记录或消除版本审计警示。
随后修复显式关闭 Qwen3.5 Plus 生成思考模式,并补齐脱敏诊断。验收脚本区分等待响应头、读取响应体、读取完成,保留已收到的 HTTP 状态、异常类型链、usage 分项及 `finish_reason`;不记录隐藏思考或提供方错误正文。等待响应头不代表服务器已接受请求,超时缺少 usage 时仍不能推断零计费。30 秒超时、输出上限、重试策略、提示词与拒答规则均未变。

上次验收时 Docker 引擎不可连接,真实 HTTP 服务、容器重启/持久化与回退验收均未完成;Ticket Agent 仍使用 Dense,不声明全链 Hybrid。下一步需单独授权真实复测;当前保持默认开关关闭。
修复后另获授权执行一次[真实提供方复测](docs/reports/hybrid_acceptance_retest_2026-10-17.json):8 类流程检查均通过(英文/中文可回答各 1、缺资料/版本不符/冲突/无关拒答各 1、空范围/删除后无上下文各 1)。实际 14 次 embedding、6 次重排、6 次分类、2 次生成,共 28 次,全部 HTTP 200,无重试;usage 合计 14525 tokens,请求体合计 63541 bytes。两次生成分别 3480 / 1889 ms,正常结束;本次未复现超时,但单次成功不证明历史超时的唯一原因或稳定延迟,也不等于总体答案准确率。

复测仍有版本审计语义警示:NovaVPN 1.0 的显式版本约束仍被标成 `NOT_REQUIRED`;AcornExpense 2.0 的版本覆盖被标成 `SUPPORTED`,理由却承认来源只覆盖 1.0。后者整体因其他检查为 `MISSING` 而正确拒答,但不能据此认定每项审计可靠。保留这两项警示,不针对本组案例改提示词或规则,不改写历史 NO_PROMOTION / FAIL。

只读检查确认 Docker 引擎仍不可连接;真实运行服务 HTTP、容器重启/持久化与回退验收均未完成。本次使用临时 ASGI 应用、SQL 和 Chroma,不是部署验收;Ticket Agent 仍使用 Dense,不声明全链 Hybrid,默认开关保持关闭。下一步仍需处理版本审计一致性与运行环境验收,而不是因 8 类流程通过就晋级发布。

---

Expand Down
Loading
Loading