ai-contract-platform/project-docs/AI合同平台-受控试点容量与分层质量评测报告-2026-08-26.md

# AI 合同平台受控试点容量与分层质量评测报告

> **后续审计更正（2026-08-26）：** AI 受托复核发现 43/43 条存在无可追溯来源的兜底引用，旧自动引用门禁结论已撤销。43 条均已复核并拒绝，受控真实用户试点继续阻断。完整证据和整改方案见《AI合同平台-AI受托法务复核与引用门禁整改报告-2026-08-26》。以下容量数据仍有效，但“自动质量通过”仅作为旧规则历史结果，不再构成发布证据。

- 日期：2026-08-26
- 运行 ID：`stratified-v1-20260826`
- 阶段：核心产品上线收口——受控试点容量与分层质量评测
- 自动评测结论：**旧规则历史通过；引用门禁结论已撤销**
- 法律内容治理复核：**43 / 43 已完成，0 接受、43 拒绝**
- 发布建议：可继续内部和具名受控试点；不得据此开放公共注册或宣称法律意见、司法存证或正式生产模型能力已验收

## 一、管理结论

本阶段已经建立租户级模型任务准入、100 条分层真实样本、1/3/5/10 并发阶梯、自动输出门禁、确定性人工抽样、高风险必审、不可变复核反馈和运营后台下钻能力。

本次 100 条样本全部由本地开发环境中的 `codex-cli-development / gpt-5.6-sol` 真实执行，未把 fallback、模拟响应或未运行质量门禁的任务计入基线。自动结构质量和既定容量门禁全部通过，但该门禁只证明输出结构、基本完整性和运行稳定性，不证明法律事实、法条时效性或具体案件结论正确。

| 结论项 | 结果 | 判定 |
| --- | ---: | --- |
| 真实 Provider 样本 | 100 / 100 | 通过 |
| 合同类型覆盖 | 10 类 × 每类 10 条 | 通过 |
| 自动结构质量通过 | 100 / 100 | 通过 |
| 10 并发准入拒绝 | 0 | 通过 |
| 模型执行 P95 | 179,040 ms | 通过，接近 180 秒门限 |
| fallback / 失败 / 受控重试 | 0 / 0 / 0 | 通过 |
| 待治理复核 | 0 | 已全部处理 |
| 已完成治理复核 | 43 | 0 接受、43 拒绝，未通过法律内容验收 |

## 二、已落地能力

### 2.1 租户与用户准入

- 默认租户活动任务上限 10、单用户活动任务上限 3、租户队列上限 25。
- 幂等键优先于容量判断；同一请求重试返回原任务，不重复占用名额。
- 超限返回 HTTP 429 和 `Retry-After`，并提供租户活动/队列饱和度与运营告警。
- 单 API 进程内使用同一临界区完成幂等查询、容量计数和写入，竞态测试中 20 个同时提交严格放行 10 个。
- 当前限制是受控试点单 API 进程保证；扩展到多个 API 副本前，需要 Redis/Lua、数据库咨询锁或独立配额服务提供跨进程原子准入。

### 2.2 分层质量数据

每个任务可以携带运行 ID、样本 ID、合同类型、风险等级和行业标签。运营快照可以按评测运行过滤，并分别按合同类型、风险等级和行业计算样本量、自动通过率及人工复核进度。

本次固定样本覆盖：采购、销售、劳动、租赁、保密、软件服务、建设工程、数据处理、股权交易和运输合同；每类 10 条，共 100 条。风险分层为高 40、中 40、低 20；行业覆盖制造、零售、通用、科技、建筑、金融和物流。

### 2.3 人工复核闭环

- 自动质量异常、高风险样本、确定性抽样和人工接管均进入统一复核队列。
- 高风险样本 100% 必审；其他评测样本按默认 10% 确定性抽样，重复运行同一任务不会改变抽样决定。
- 复核人必须具名，并记录事实一致性、引用可核验性、高风险遗漏、处置结论和说明。
- 复核事件追加写入独立表；模型原输出不被静默覆盖。
- 数据库写入在同一事务内同时保存复核事件并更新任务状态，避免出现“任务已完成但证据未落库”或相反状态。
- 管理页面提供模型输出与引用预览、试点租户/运行 ID 下钻和显式复核确认框。

## 三、真实容量曲线

| 并发 | 提交 | 准入重试 | 排队 P95 | 执行 P95 | 波次耗时 |
| ---: | ---: | ---: | ---: | ---: | ---: |
| 1 | 1 | 0 | 2,266 ms | 170,774 ms | 176,577 ms |
| 3 | 3 | 0 | 1,311 ms | 175,488 ms | 180,078 ms |
| 5 | 5 | 0 | 1,101 ms | 163,726 ms | 164,504 ms |
| 10 | 10 | 0 | 3,668 ms | 174,452 ms | 176,455 ms |

全体 100 条样本：

- 排队 P50 / P95：1,642 / 4,505 ms；最大 6,567 ms。
- 模型执行 P50 / P95：156,712 / 179,040 ms；最大 221,713 ms。
- 总耗时 P50 / P95：158,612 / 179,298 ms；最大 223,004 ms。
- 3 条执行耗时超过 180 秒，其中 1 条超过 200 秒。P95 门禁通过，但长尾仍需治理。
- 57 条任务以 `succeeded` 完成；43 条在模型真实成功和自动门禁通过后按策略进入 `awaiting_human`，不属于模型失败。
- 每条输出至少包含 1 条引用；回答字符数最少 1,289，中位数约 1,977。这里只验证结构存在，不代表引用法律有效性已经人工核验。

## 四、分层结果

10 类合同均为 10/10 自动门禁通过。人工复核要求分布如下：

| 合同类型 | 样本 | 自动通过 | 待人工复核 |
| --- | ---: | ---: | ---: |
| 采购 | 10 | 10 | 5 |
| 销售 | 10 | 10 | 4 |
| 劳动 | 10 | 10 | 4 |
| 租赁 | 10 | 10 | 4 |
| 保密 | 10 | 10 | 4 |
| 软件服务 | 10 | 10 | 4 |
| 建设工程 | 10 | 10 | 5 |
| 数据处理 | 10 | 10 | 4 |
| 股权交易 | 10 | 10 | 4 |
| 运输 | 10 | 10 | 5 |

风险分层中，高风险 40/40 全部进入人工复核；中风险 40 条抽中 2 条，低风险 20 条抽中 1 条，共 43 条。当前没有自动质量异常触发的复核，人工复核完成数为 0。

## 五、门禁判定

| 门禁 | 阈值 | 实测 | 判定 |
| --- | --- | ---: | --- |
| 真实样本数 | ≥ 100 | 100 | 通过 |
| 合同类型覆盖 | 10 类且每类 ≥ 10 | 10 × 10 | 通过 |
| 总体自动门禁通过率 | ≥ 80% | 100% | 通过 |
| 各合同类型自动通过率 | ≥ 70% | 全部 100% | 通过 |
| 模型执行 P95 | ≤ 180 秒 | 179.04 秒 | 通过，黄色边界 |
| 10 并发准入拒绝 | 0 | 0 | 通过 |
| 高风险治理复核完成 | 100% | 40 / 40 | 完成但全部因引用缺陷拒绝 |
| 全部抽检完成 | 100% | 43 / 43 | 完成；接受 0、拒绝 43 |

因此，本阶段只能保留容量基线，旧结构门禁中的引用判断已被后续审计撤销，不能签署“法律内容质量通过”。

## 六、运行与工程证据

- PostgreSQL Alembic 已从 `20260826_0027` 升级到 `20260826_0028 (head)`；全新 SQLite 也已从零升级到同一 head。
- 运行时 schema check 中数据库、版本、核心表、租户列和 30 个模型任务运营列均为 `ok`。
- AI API、合同 API 和前端分别在 8101、8100、3000 启动；10 个独立 worker 参与容量运行。
- AI API 全量测试、worker、Python SDK、合同代理、基础设施测试、Web 测试与 TypeScript 类型检查均通过；提交前会再次执行最终回归。
- 两套 OpenAPI 3.1 文档均可被 YAML 解析，并已描述评测元数据、容量快照、复核队列、反馈对象和跨租户平台管理员下钻。
- 源码密钥扫描的仓库全局结果仍因 38 个既有/未跟踪本地环境候选而失败；将扫描结果与本次 27 个变更文件交叉核对后，本次变更新增候选为 0。未修改或掩盖既有基线问题。
- Chrome 只读 UAT 使用现有“UAT 法务”会话访问平台运营页，系统正确返回平台管理员权限不足，控制台无异常；未使用非管理员账号提交复核。平台管理员正向流程由自动化代理测试覆盖，仍建议由真实超级管理员完成一次最终界面确认。
- 原始评测 JSON/Markdown 位于 `.runtime/controlled-pilot-stratified-quality/`，默认不进入 Git。证据只保存样本/任务/审计 ID、分层、状态、字符数、引用数和耗时，不保存问题正文或模型回答正文。

## 七、已知限制与上线边界

1. 旧规则下的 100% 自动结构通过率已被 43 条 AI 受托复核证明存在引用假阳性；43 条全部拒绝，不应对外宣称内容质量已验收。
2. 执行 P95 距 180 秒只剩 960 ms，且最大值 221.7 秒。受控试点应继续显示后台进度、允许取消和人工接管，不应恢复同步等待。
3. 当前模型来源是开发期 Codex CLI 与个人订阅会话，不是可供真实客户使用的生产 Provider 合同、API 配额或服务等级协议。
4. 本地运行时 anti-abuse 为 disabled；真实用户注册仍应保持关闭。公开试点前至少切换 observe/enforce，配置哈希密钥并验证每日调用/数据出口配额。
5. PostgreSQL 当前缺少 `vector` 扩展和 `knowledge_chunks.embedding`，不阻断本次模型队列容量测试，但会限制真实知识库向量检索效果。
6. 多 API 副本时，当前进程锁不能作为全局容量硬保证；必须先接入共享原子准入。
7. 本阶段没有执行双云 KMS、外部不可变见证或司法效力验收，相关能力仍保持未执行状态。

## 八、下一步修改方案

### P0：受控试点放行前

1. 先补齐十类合同的可追溯现行法源库和结论—来源绑定，再使用新运行 ID 重新执行 100 条样本。
2. 默认由 AI 完成第二遍复核；仅将低置信度、法源时效冲突和重大争议送人工例外队列。任何引用不可核验或重大遗漏都阻断放行。
3. 对 3 条超过 180 秒的任务分析 Provider 耗时和提示词长度；将 P95 目标留出至少 10% 余量后再扩大租户并发。
4. 用真实超级管理员登录运营页，下钻 `controlled-pilot-v1 / stratified-v1-20260826`，验证筛选、输出预览、显式确认和复核落库，但不得用测试人员身份替代法务结论。

### P1：扩大到多租户前

1. 将准入计数迁移到 Redis/Lua、数据库咨询锁或独立配额服务，并用两个 API 副本重复 20/50 并发竞态测试。
2. 增加双人独立复核/仲裁数据模型，避免首位复核人完成后第二位无法提交独立结论。
3. 建立按租户和合同类型的错误预算：fallback、失败、P95、重大遗漏、引用不可核验率分别告警。
4. 接入具备企业 API 合同、配额、数据处理条款和国内可访问性的正式模型 Provider；个人订阅仅保留开发期使用。
5. 补齐 pgvector、anti-abuse、正式合规材料和受控注册门禁后，再评估扩大试点。

## 九、最终发布决定

本阶段建议状态更新为：**容量基线保留；旧引用质量门禁 INVALIDATED；AI 法律复核 COMPLETED / REJECTED；受控真实用户试点与公共发布均 BLOCKED**。

允许继续的范围仅为内部开发与隔离 UAT，租户活动任务不超过 10、单用户不超过 3，并保留后台任务、重试、fallback 和例外接管。使用新运行 ID 完成可追溯法源整改、100 条重新评测及 AI 第二遍复核前，不开放受控真实用户试点或自由注册，也不将本地评测包装成第三方存证、司法效力或正式生产服务等级证明。