ai-contract-platform/project-docs/archive/implementation-history/V2-ai-quality-rules-admin-2026-06-23.md

V2 AI 质量规则后台化与人工闭环记录

日期：2026-06-23

本轮目标

把 AI 质量评测 MVP 中写死的 token、耗时、来源数量等阈值改成后台可热更新配置，并给每个质量标签增加人工处理状态，形成“自动评测 + 管理员复核”的闭环。

已落地内容

1. AI Platform 新增质量规则配置。

   • 新表：ai_quality_rule_configs
   • 迁移：20260623_0008_add_ai_quality_rule_configs.py
   • 默认配置 ID：default
   • 配置项：
     • min_citation_count
     • min_source_count
     • high_token_threshold
     • high_latency_ms
     • critical_latency_ms
     • warning_penalty
     • error_penalty

2. AI 质量评测改为读取后台规则。

   • 法律问答写入 AI run audit 前，会读取 quality-rules/default。
   • 来源不足、token 过高、耗时异常、扣分规则均由配置决定。
   • critical_latency_ms 必须大于等于 high_latency_ms。

3. 质量标签新增人工处理状态。

   • pending：待处理
   • reviewed：已复核
   • false_positive：误报
   • resolved：已处理
   • 标签同时记录 review_note、reviewed_by、reviewed_at。

4. 后端 API 与 SDK 同步。

   • GET /api/v1/quality-rules/default
   • PUT /api/v1/quality-rules/default
   • PATCH /api/v1/audit/ai-runs/{run_id}/quality-labels/{label_code}
   • OpenAPI 和 yuqei-ai-sdk-python 已同步。

5. 合同 Web 管理区新增页面。

   • 新页面：/admin/ai-quality
   • 管理区“AI 参数”入口指向该页面。
   • 可配置依据数量、来源数量、token 阈值、耗时阈值和扣分规则。

6. AI Trace 页增强。

   • 每个质量标签显示人工处理状态。
   • 管理员可直接在 Trace 详情中切换：待处理、已复核、误报、已处理。
   • 状态回写 AI Platform 审计记录。

验收重点

• 打开 /admin/ai-quality 能读取并保存质量规则。
• 保存规则后，新产生的 AI run audit 使用新阈值评测。
• 打开 /admin/ai-traces，展开任一 Trace，可修改质量标签处理状态。
• 修改后的状态再次拉取审计列表时仍然存在。

下一步建议

进入 AI 质量运营看板：

• 按日期展示质量通过率、fallback 率、来源不足率、耗时异常率。
• 支持只看“待处理”标签，形成管理员每日处理队列。
• 给每类异常增加趋势和 Top 问题，辅助调整模型、Prompt 和知识库。