ai-contract-platform/project-docs/V2-ai-quality-ops-dashboard-2026-06-23.md

V2 AI 质量运营看板闭环记录

日期：2026-06-23

本轮目标

把单次 AI Trace 的质量标签上升为运营视角，让管理员按日期查看质量通过率、fallback 率、来源不足率、耗时异常率，并形成待处理质量标签队列。

已落地内容

1. AI Platform 新增质量运营聚合接口。

   • GET /api/v1/audit/quality-dashboard
   • 参数：
     • days：统计最近 N 天，范围 1-90。
     • pending_limit：待处理标签数量，范围 1-100。

2. 后端聚合指标。

   • 总调用数
   • 质量通过数和通过率
   • needs_review 数量
   • 质量失败数量
   • fallback 数量和 fallback 率
   • 来源不足数量和来源不足率
   • token 异常数量
   • 耗时异常数量和耗时异常率
   • 待处理 warning/error 标签数量

3. 日期趋势。

   • 最近 N 天自动补齐空日期。
   • 每天返回调用数、通过率、fallback 率、来源不足率、耗时异常率和待处理标签数量。

4. 待处理质量标签队列。

   • 只聚合 review_status=pending 且 severity 为 warning/error 的标签。
   • 返回 run id、标签 code、问题、模型、质量分、创建时间和标签原因。
   • 管理员可以从看板进入 AI Trace 继续处理标签。

5. 契约、SDK 和前端同步。

   • OpenAPI 新增 AiQualityDashboard 相关 schema。
   • Python SDK 新增 get_quality_dashboard()。
   • 合同 Web 新增同源代理：/api/ai-platform/audit/quality-dashboard。
   • 管理区新增页面：/admin/ai-quality-dashboard。
   • 管理首页新增“AI 质量运营”入口。

验收重点

• 访问 /admin/ai-quality-dashboard 能看到质量通过率、fallback 率、来源不足率、耗时异常率。
• 最近 N 天切换后，趋势列表随之变化。
• 有待处理 warning/error 标签时，队列中能看到对应问题、标签原因、模型和质量分。
• 在 AI Trace 页处理标签后，刷新看板时待处理数量会减少。

下一步建议

进入 AI 质量问题归因：

• 将异常按模型、Prompt 模板、知识库、标签类型聚合。
• 找出最常见的失败来源，例如某个模型 fallback 高、某类知识库来源不足、某个 Prompt token 过高。
• 给看板增加“Top 问题”和“改进建议”，帮助管理员决定先调模型、补知识库还是改 Prompt。