Files
ai-contract-platform/project-docs/V2-ai-quality-rules-admin-2026-06-23.md
T

2.4 KiB
Raw Blame History

V2 AI 质量规则后台化与人工闭环记录

日期:2026-06-23

本轮目标

把 AI 质量评测 MVP 中写死的 token、耗时、来源数量等阈值改成后台可热更新配置,并给每个质量标签增加人工处理状态,形成“自动评测 + 管理员复核”的闭环。

已落地内容

  1. AI Platform 新增质量规则配置。

    • 新表:ai_quality_rule_configs
    • 迁移:20260623_0008_add_ai_quality_rule_configs.py
    • 默认配置 ID:default
    • 配置项:
      • min_citation_count
      • min_source_count
      • high_token_threshold
      • high_latency_ms
      • critical_latency_ms
      • warning_penalty
      • error_penalty
  2. AI 质量评测改为读取后台规则。

    • 法律问答写入 AI run audit 前,会读取 quality-rules/default。
    • 来源不足、token 过高、耗时异常、扣分规则均由配置决定。
    • critical_latency_ms 必须大于等于 high_latency_ms。
  3. 质量标签新增人工处理状态。

    • pending:待处理
    • reviewed:已复核
    • false_positive:误报
    • resolved:已处理
    • 标签同时记录 review_note、reviewed_by、reviewed_at。
  4. 后端 API 与 SDK 同步。

    • GET /api/v1/quality-rules/default
    • PUT /api/v1/quality-rules/default
    • PATCH /api/v1/audit/ai-runs/{run_id}/quality-labels/{label_code}
    • OpenAPI 和 yuqei-ai-sdk-python 已同步。
  5. 合同 Web 管理区新增页面。

    • 新页面:/admin/ai-quality
    • 管理区“AI 参数”入口指向该页面。
    • 可配置依据数量、来源数量、token 阈值、耗时阈值和扣分规则。
  6. AI Trace 页增强。

    • 每个质量标签显示人工处理状态。
    • 管理员可直接在 Trace 详情中切换:待处理、已复核、误报、已处理。
    • 状态回写 AI Platform 审计记录。

验收重点

  • 打开 /admin/ai-quality 能读取并保存质量规则。
  • 保存规则后,新产生的 AI run audit 使用新阈值评测。
  • 打开 /admin/ai-traces,展开任一 Trace,可修改质量标签处理状态。
  • 修改后的状态再次拉取审计列表时仍然存在。

下一步建议

进入 AI 质量运营看板:

  • 按日期展示质量通过率、fallback 率、来源不足率、耗时异常率。
  • 支持只看“待处理”标签,形成管理员每日处理队列。
  • 给每类异常增加趋势和 Top 问题,辅助调整模型、Prompt 和知识库。