Pr/rust vr subtitle overlay

[KKTIME2024]

加了什么

• vr_overlay/:原生 SteamVR 浮层客户端(Rust)。WebSocket 接收字幕 snapshot, DirectWrite 渲染中英日混排,进程由主程序拉起/守护。
• VR 旁路镜像(vr_subtitle_mirror.py):把头显字幕订阅到桌面浮窗消费的同一条广播流,内容与桌面天然一致。
• 入口:Settings 里新增"VR 浮层"开关(热切换;开启时桌面浮窗自动让位,关闭自动恢复)。
• 打包:CI/本地构建自动产出包含 RinBridgeOverlay.exe + openvr_api.dll 的 Windows 发布包;缺 Rust 产物时仅告警,不阻塞构建。
• 测试:pytest 503 条全绿(含 VR 协议、生命周期、显示模型、配对回归),cargo test 全绿。

VR 字幕设计

显示:两行,各行独立顶替。

┌──────────────┬─────────────────────────────────┬──────────────────────┐
│ 行 │ 内容 │ 顶替规则 │
├──────────────┼─────────────────────────────────┼──────────────────────┤
│ 译文行(大字) │ 最近一句的译文(含 LLM 精译覆盖) │ 只有新译文出现才顶 │
├──────────────┼─────────────────────────────────┼──────────────────────┤
│ 原文行(小字) │ 正在说的原文,live 逐字增长 │ 新句原文直接顶旧原文 │
└──────────────┴─────────────────────────────────┴──────────────────────┘

说 A(原文逐字长)→ A 译文到(进大字行)→ 说 B(只有小字行被顶掉,A 译文不动)→ B 译文到(顶掉 A 译文)。任意时刻画面就两行。

数据:镜像而非第二条管线。 VR 旁路订阅 /ws 的 update / refine_result / clear(桌面浮窗吃的同一份数据)

分句:共用模型 + 后端句 id。 从桌面浮窗抽出共用的 subtitle_model.py(浮窗行为不变);VR 侧额外启用按后端 SentencePairing 盖章的 llm_sentence_id 分行——新句直接换行、live 草稿不会并进已定稿句
子、迟到的译文按 id 归位到自己的句子。桌面端保持原有启发式分句,行为不变。

渲染:恒定单块。 整帧始终是一个 snapshot block(固定身份),槽位写穿更新,位置和缓存全程不动——不会跳动、重叠。

怎么使用

1. Windows + SteamVR(头显在运行)。
2. 启动 RealtimeSubtitle,正常配置识别/翻译(与桌面用法完全一致)。
3. 打开 Settings → VR 浮层,戴上头显即可。浮层跟随头部视野(头锁定,略低于视线中心)。
4. 可选环境变量:VR_OVERLAY_EXE(指定浮层 exe)、VR_OVERLAY_TOKEN(bridge 鉴权 token)、VR_MIRROR_MODE=false(调试用,回退旧事件线)。
5. 排查:vr-push.log 与 overlay-logs/ 落在 exe 旁边。

对现有行为的影响

• sentence_pairing.MAX_WAIT 3s → 8s:容纳 Soniox 迟到译文,避免译文挂错句(桌面同样受益)。
• overlay_window.py 仅抽取共用模型,渲染无改动;其余为 VR 门控新代码。

许可与来源

• vr_overlay/, AGPL-3.0,与本项目一致,已加入 ACKNOWLEDGMENTS.md。
• vr_overlay/vendor/openvr_api.dll 为 Valve SteamVR 运行时 loader(来源与 SHA 见 vr_overlay/vendor/README.md)。

验证

• pytest 503 / cargo test 全绿。
• Windows + 头显实机:流式逐字、译文顶替、连续多句、双说话人均符合上表契约。

已知边界(follow-up)

• 桌面"仅原文/仅译文"显示模式暂未接入 VR;语言小牌(EN/JA/ZH)已在协议中、暂未渲染;头显暂不区分说话人。
• 头显可见性只能在 Windows + SteamVR 验证,CI 只做构建与单测。