58 lines
2.3 KiB
Markdown
58 lines
2.3 KiB
Markdown
# V2 AI 质量运营看板闭环记录
|
|
|
|
日期：2026-06-23
|
|
|
|
## 本轮目标
|
|
|
|
把单次 AI Trace 的质量标签上升为运营视角，让管理员按日期查看质量通过率、fallback 率、来源不足率、耗时异常率，并形成待处理质量标签队列。
|
|
|
|
## 已落地内容
|
|
|
|
1. AI Platform 新增质量运营聚合接口。
|
|
- `GET /api/v1/audit/quality-dashboard`
|
|
- 参数：
|
|
- `days`：统计最近 N 天，范围 1-90。
|
|
- `pending_limit`：待处理标签数量，范围 1-100。
|
|
|
|
2. 后端聚合指标。
|
|
- 总调用数
|
|
- 质量通过数和通过率
|
|
- `needs_review` 数量
|
|
- 质量失败数量
|
|
- fallback 数量和 fallback 率
|
|
- 来源不足数量和来源不足率
|
|
- token 异常数量
|
|
- 耗时异常数量和耗时异常率
|
|
- 待处理 warning/error 标签数量
|
|
|
|
3. 日期趋势。
|
|
- 最近 N 天自动补齐空日期。
|
|
- 每天返回调用数、通过率、fallback 率、来源不足率、耗时异常率和待处理标签数量。
|
|
|
|
4. 待处理质量标签队列。
|
|
- 只聚合 `review_status=pending` 且 severity 为 warning/error 的标签。
|
|
- 返回 run id、标签 code、问题、模型、质量分、创建时间和标签原因。
|
|
- 管理员可以从看板进入 AI Trace 继续处理标签。
|
|
|
|
5. 契约、SDK 和前端同步。
|
|
- OpenAPI 新增 `AiQualityDashboard` 相关 schema。
|
|
- Python SDK 新增 `get_quality_dashboard()`。
|
|
- 合同 Web 新增同源代理：`/api/ai-platform/audit/quality-dashboard`。
|
|
- 管理区新增页面：`/admin/ai-quality-dashboard`。
|
|
- 管理首页新增“AI 质量运营”入口。
|
|
|
|
## 验收重点
|
|
|
|
- 访问 `/admin/ai-quality-dashboard` 能看到质量通过率、fallback 率、来源不足率、耗时异常率。
|
|
- 最近 N 天切换后，趋势列表随之变化。
|
|
- 有待处理 warning/error 标签时，队列中能看到对应问题、标签原因、模型和质量分。
|
|
- 在 AI Trace 页处理标签后，刷新看板时待处理数量会减少。
|
|
|
|
## 下一步建议
|
|
|
|
进入 AI 质量问题归因：
|
|
|
|
- 将异常按模型、Prompt 模板、知识库、标签类型聚合。
|
|
- 找出最常见的失败来源，例如某个模型 fallback 高、某类知识库来源不足、某个 Prompt token 过高。
|
|
- 给看板增加“Top 问题”和“改进建议”，帮助管理员决定先调模型、补知识库还是改 Prompt。
|