Skip to content

[Perf] 记录 AI 出题耗时基线并优化超时/上下文预算 #33

Description

@G-Ethan007

背景

docs/已知问题与后续计划.md CM-01

真实环境使用 4 份资料、39 个片段生成 10 道进阶题约需 77 秒。已有后台进度、总超时和有限重试,但模型拥堵时仍可能等待较久或失败。

出题主流程已可用,但用户体感与运维调参缺少可对比的耗时数据

目标

形成可复现的耗时观测,再据此调整超时、上下文预算和默认模型建议,而不是凭感觉改配置。

任务

  • 在日志或管理侧摘要中结构化记录:模型、题量、难度、知识库数量、片段数、首 Token 时间、总耗时、错误类型、是否重试
  • 用固定样例(可与 [Quality] 建立 RAG 与 AI 出题固定评估基线 #32 评估语料共用)跑多组:5/10/15 题 × 基础/进阶
  • 汇总 P50 / P95(注明模型与日期)
  • 根据数据复核:
    • QUIZ_TIMEOUT_SECONDS
    • QUIZ_CONTEXT_MAX_TOKENS / QUIZ_CONTEXT_MAX_CHUNKS
    • QUIZ_MAX_TOKENS
    • 默认模型与是否关闭 thinking
  • 前端在长时间生成时给出更清晰的阶段说明与可取消预期(若后端已支持)

验收标准

  1. 至少有一份带日期的耗时表写入文档或 Issue 评论(模型、资料规模、题量、P50/P95)。
  2. 配置项调整有数据依据,或明确「维持现状 + 原因」。
  3. 模型拥堵/超时失败时用户可见明确错误,而不是无限转圈。

相关位置

  • backend/app/services/quiz_service.py
  • backend/app/services/quiz_job_service.py
  • frontend/src/views/QuizView.vue
  • .env.exampleQUIZ_*
  • docs/已知问题与后续计划.md(CM-01)

优先级

P1

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions