ai-contract-platform/project-docs/AI合同平台-模型任务运营闭环与质量门禁实施报告-2026-08-26.md

AI 合同平台：模型任务运营闭环与质量门禁实施报告

日期：2026-08-26

阶段：核心产品上线收口 / 模型任务运营闭环与质量门禁

模型：gpt-5.6-sol（开发与测试阶段）

1. 阶段结论

本阶段已经完成模型任务历史、幂等提交、用户取消、运营告警、输出质量自动校验和 30 个真实模型样本基线。30 个样本均由真实 Provider 成功返回，无 fallback，自动质量门禁全部通过。

模型自身执行耗时 P95 为 157.162 秒，低于 3 分钟目标；但 30 个任务集中突发提交时，队列等待 P95 达到 1,487.088 秒。这说明当前模型质量和单任务执行时间达到受控试点门槛，但并发容量尚不足以支撑大规模突发流量。系统已将执行耗时与排队耗时拆分监控，并对排队异常产生运营告警，不能把本轮结果解释为“端到端 3 分钟内完成”。

2. 已交付能力

2.1 用户侧任务闭环

• 法律问答任务历史页，支持游标分页和仅查看本人任务。
• Idempotency-Key 提交幂等；同一用户、同一操作和同一请求可安全重放。
• 相同幂等键但请求内容或用户不同会返回冲突，避免错误复用结果。
• 排队中和执行中的任务均可取消；取消记录保留，不删除历史。
• 取消与模型完成发生竞争时，以已经确认的取消状态为准，迟到结果不会覆盖取消结果。
• 历史项展示 Provider 状态、质量状态、执行进度和失败/接管信息。

2.2 自动质量门禁

质量校验采用版本化的确定性规则 model-job-v1，覆盖：

• 空输出和过短输出；
• 未解析模板占位符；
• 用户问题丢失；
• 提示词泄露迹象；
• 引用缺失或引用结构不完整；
• 合同审查风险项缺失或为空。

质量结论分为 passed、needs_review、failed，并保存分数、标签、摘要和规则版本。只有真实 Provider 成功且已经完成质量评估的结果才计入正式样本基线；fallback 不计入。

2.3 运营后台与告警

• 新增模型任务运营页，展示任务状态、真实样本完成度、质量通过率、fallback/失败/重试/人工接管比例及队列、执行、总耗时分位值。
• 覆盖样本不足、排队 P95 超标、执行 P95 超标、fallback 比例过高、失败比例过高、人工接管积压和长时间未完成任务等告警。
• 取消任务从失败率分母中排除，避免用户主动取消污染可靠性口径。
• PostgreSQL Worker 使用短连接模式，降低多个 Worker 持续占用数据库连接造成的资源争用。

3. 真实样本质量与耗时基线

基线运行 ID：fixed-v1-20260826

指标	结果	门槛/解释
提交样本	30	固定中文合同/法律问答样本
真实 Provider 合格样本	30	不含 fallback
自动质量通过	30	100%
需要人工复核	0	无阻断项
自动质量失败	0	无阻断项
fallback	0	不参与合格样本计数
执行耗时 P50	144.806 秒	模型实际处理时间
执行耗时 P95	157.162 秒	低于 180 秒，门禁通过
排队耗时 P50	589.677 秒	突发容量信号
排队耗时 P95	1,487.088 秒	超过 30 秒，运营告警
端到端耗时 P50	739.257 秒	排队 + 执行
端到端耗时 P95	1,636.160 秒	不能对外承诺 3 分钟

正式基线证据保存在本机 .runtime/model-job-quality-baseline/fixed-v1-20260826-20260826T062134Z.json 及同名 Markdown 文件中。该目录不进入 Git，避免把运行数据当成产品源代码；本报告保存验收结论与关键指标。

4. 浏览器 UAT 结果

已在登录态浏览器完成用户侧真实交互验证：

1. 历史接口最初因前端 SDK 把空参数编码为 status=&cursor= 而返回 422；已修复为不发送空查询参数。
2. 提交一条不含真实客户数据的测试法律问答，页面正确显示排队状态和可取消操作。
3. 用户点击取消后，页面显示“任务已由用户取消”，任务状态保留为“已取消”，历史记录仍可查询。
4. 当前浏览器账号为 UAT 法务角色，访问平台管理员运营页被正确拒绝；管理员接口另以平台管理员身份完成授权和数据返回验证。

5. 发布判断

本阶段代码可进入受控预发布验证，但仍不建议直接开放大规模真实用户注册：

• 质量样本数量已达到首个 30 条门槛，但样本规模仍小，后续应按合同类型、行业和风险等级持续扩充。
• 单任务执行时间达标，突发排队容量未达标。试点期应限制并发并观察队列告警，随后再评估 Worker 横向扩容或任务调度隔离。
• 自动质量规则用于发现明显结构问题，不等同于律师意见或法律正确性证明；高风险输出仍需人工复核。
• 本地 PostgreSQL 缺少 pgvector 时仅作为开发环境警告；预发布和生产环境仍保持失败关闭。
• 本阶段不宣称第三方存证、司法效力或双云灾备能力。

6. 下一阶段建议

建议进入“受控试点容量与分层质量评测”：

1. 按试点并发量执行 1、3、5、10 并发阶梯压测，建立队列容量曲线并配置限流。
2. 将样本扩充到至少 100 条，按采购、销售、劳动、租赁、保密等合同类型分层统计。
3. 增加法律事实一致性、引用可核验性和高风险漏检的人工抽检口径。
4. 对质量失败自动进入人工接管队列，并回写处理结论，形成规则迭代数据集。
5. 在真实用户开放前完成正式模型 API 账户、费用预算、隐私与合规材料验收。