# V2 AI 质量规则后台化与人工闭环记录

日期：2026-06-23

## 本轮目标

把 AI 质量评测 MVP 中写死的 token、耗时、来源数量等阈值改成后台可热更新配置，并给每个质量标签增加人工处理状态，形成“自动评测 + 管理员复核”的闭环。

## 已落地内容

1. AI Platform 新增质量规则配置。
   - 新表：`ai_quality_rule_configs`
   - 迁移：`20260623_0008_add_ai_quality_rule_configs.py`
   - 默认配置 ID：`default`
   - 配置项：
     - `min_citation_count`
     - `min_source_count`
     - `high_token_threshold`
     - `high_latency_ms`
     - `critical_latency_ms`
     - `warning_penalty`
     - `error_penalty`

2. AI 质量评测改为读取后台规则。
   - 法律问答写入 AI run audit 前，会读取 `quality-rules/default`。
   - 来源不足、token 过高、耗时异常、扣分规则均由配置决定。
   - `critical_latency_ms` 必须大于等于 `high_latency_ms`。

3. 质量标签新增人工处理状态。
   - `pending`：待处理
   - `reviewed`：已复核
   - `false_positive`：误报
   - `resolved`：已处理
   - 标签同时记录 `review_note`、`reviewed_by`、`reviewed_at`。

4. 后端 API 与 SDK 同步。
   - `GET /api/v1/quality-rules/default`
   - `PUT /api/v1/quality-rules/default`
   - `PATCH /api/v1/audit/ai-runs/{run_id}/quality-labels/{label_code}`
   - OpenAPI 和 `yuqei-ai-sdk-python` 已同步。

5. 合同 Web 管理区新增页面。
   - 新页面：`/admin/ai-quality`
   - 管理区“AI 参数”入口指向该页面。
   - 可配置依据数量、来源数量、token 阈值、耗时阈值和扣分规则。

6. AI Trace 页增强。
   - 每个质量标签显示人工处理状态。
   - 管理员可直接在 Trace 详情中切换：待处理、已复核、误报、已处理。
   - 状态回写 AI Platform 审计记录。

## 验收重点

- 打开 `/admin/ai-quality` 能读取并保存质量规则。
- 保存规则后，新产生的 AI run audit 使用新阈值评测。
- 打开 `/admin/ai-traces`，展开任一 Trace，可修改质量标签处理状态。
- 修改后的状态再次拉取审计列表时仍然存在。

## 下一步建议

进入 AI 质量运营看板：

- 按日期展示质量通过率、fallback 率、来源不足率、耗时异常率。
- 支持只看“待处理”标签，形成管理员每日处理队列。
- 给每类异常增加趋势和 Top 问题，辅助调整模型、Prompt 和知识库。