2.3 KiB
2.3 KiB
V2 AI 质量评测 MVP 闭环记录
日期：2026-06-23
本轮目标
给每次 AI 调用增加可复盘的质量标签，让管理员在 AI Trace 页直接看到本次回答是否引用依据、是否走 fallback、token/耗时是否异常、知识来源是否不足。
已落地内容
-
AI run 审计表新增质量字段。
quality_statusquality_scorequality_labels_jsonquality_summary- 新增迁移
20260623_0007_add_ai_run_quality_fields.py
-
法律问答主链路增加质量评测。
- 有引用依据：
citation_present - 缺少引用依据：
missing_citation - 知识来源不足：
source_insufficient - 知识来源偏少：
source_limited - 知识来源覆盖：
source_covered - 使用 fallback：
fallback_used - provider 失败：
provider_failed - token 缺失或过高：
token_missing/token_high - 耗时偏高或严重：
latency_high/latency_critical
- 有引用依据：
-
质量判定输出。
passed：没有 error/warning。needs_review：存在 warning，需要人工复核。failed：存在 error，需要优先处理。quality_scoreMVP 规则：100 分起，error 每项扣 30 分，warning 每项扣 10 分。
-
契约和 SDK 同步。
- OpenAPI
AiRun新增质量字段。 - Python SDK
AiRunAudit新增质量字段。 - 新增
AiQualityLabelSDK 模型。
- OpenAPI
-
AI Trace 后台展示。
/admin/ai-traces新增“质量待复核”指标。- 调用列表新增质量状态和质量分。
- 支持按质量状态筛选：全部、质量通过、需要复核、质量失败、未评测。
- 展开详情新增“质量评测”区块，展示质量摘要和标签明细。
验收重点
- 执行一次法律问答后，
GET /api/v1/audit/ai-runs返回质量字段。 - fallback 回答应标记
needs_review，并包含fallback_used。 - 缺少引用依据时应标记
failed。 - AI Trace 页能按质量状态筛选，并能展开查看每个质量标签的原因。
建议下一步
进入 AI 质量评测规则后台化：
- 把 token 阈值、耗时阈值、来源数量阈值做成后台可配置。
- 给质量标签增加人工确认状态，例如“已复核”“误报”“已处理”。
- 给管理首页增加 AI 质量异常趋势，形成运营级监控。