yuqei
1d85329a6a
Build and Test Quality Gate / Contract Web typecheck and build (pull_request) Successful in 9m12s
Build and Test Quality Gate / Isolated Alibaba and Tencent KMS gateway (pull_request) Failing after 4m53s
Build and Test Quality Gate / Python tests and Contract API migration (pull_request) Failing after 24m55s
Security Quality Gate / npm audit, Bandit, pip-audit, detect-secrets (pull_request) Failing after 8m42s
91 lines
4.8 KiB
Markdown
91 lines
4.8 KiB
Markdown
# V2 GPT-5.6 Sol 内部真实模型验收与性能基线
|
||
|
||
日期：2026-08-26
|
||
阶段结论：代表性功能链路技术通过；运营性能待优化；法律正确性待具名法务复核；不影响任何生产或试点放行门禁。
|
||
|
||
## 1. 本阶段目标
|
||
|
||
承接《AI 合同平台系统性产品、市场、架构与体验审查报告》和“真实模型接入与受控预发布验收”路线，在没有独立生产 API Provider、正式法务材料和共享 staging 的情况下，先验证当前开发模型 `gpt-5.6-sol` 能否真实完成法律问答与结构化合同审查。
|
||
|
||
本阶段只产生本地开发证据，不能用于：
|
||
|
||
- 注册 Provider 生产验收记录；
|
||
- 签发发布晋级回执；
|
||
- 打开受控试点或公众注册；
|
||
- 宣称法律正确性、司法效力或第三方存证。
|
||
|
||
## 2. 工程实现
|
||
|
||
### 2.1 开发验收模式
|
||
|
||
现有 `run-ai-provider-acceptance.py` 新增 `--development-codex-cli`：
|
||
|
||
- 只接受 `local/test + codex_cli` 运行态；
|
||
- 实际执行模型固定记录为 `codex-cli-development / gpt-5.6-sol`；
|
||
- 证据强制写入 `evidence_scope=local_development_codex_cli`；
|
||
- `production_eligible=false`；
|
||
- 禁止 finalize、Provider 验收注册和发布回执签发；
|
||
- 不能改变 controlled-pilot 门禁。
|
||
|
||
共享 staging 和生产晋级仍使用原来的双阶段收集、具名法务签批和签名回执流程，没有因开发便利而放宽。
|
||
|
||
### 2.2 Windows CLI 启动兼容
|
||
|
||
首次调用发现 Windows PATH 中的 Store 应用 `codex.exe` 虽可发现，但服务子进程启动时返回 `WinError 5`。适配器现优先使用当前用户目录下桌面 Codex 实际维护的版本化运行时，再回退 PATH，避免“能发现但不能执行”的假可用状态。
|
||
|
||
### 2.3 内存运行态可观测性
|
||
|
||
运行时 schema-check 过去在 memory repository 上提前返回，只显示 repository 和 anti-abuse 警告，无法证明实际 Provider mode。本阶段调整为即使使用隔离内存仓库，也返回 provider runtime 与 service auth 检查，验收器可验证：
|
||
|
||
- `environment=local`；
|
||
- `provider_call_mode=codex_cli`；
|
||
- 已存在可用默认 Provider 配置。
|
||
|
||
## 3. 真实代表样例结果
|
||
|
||
隔离内存实例装载 Phase 13 知识卡后执行：
|
||
|
||
| 旅程 | Provider 状态 | 回退 | 结构/引用技术检查 | 时延 | Token | 运营质量 |
|
||
| --- | --- | --- | --- | ---: | ---: | --- |
|
||
| 法律问答 | succeeded | 否 | 通过 | 128,027 ms | 15,639 | failed |
|
||
| 合同审查 | succeeded | 否 | 通过 | 129,806 ms | 16,053 | failed |
|
||
|
||
汇总：
|
||
|
||
- 技术通过：2/2；
|
||
- Provider/fallback 问题：0；
|
||
- 中位时延：128,916 ms；
|
||
- P95 时延：129,806 ms；
|
||
- 总 Token：31,692；
|
||
- 法务复核：2/2 待完成；
|
||
- 运营质量：2/2 因 `token_high + latency_critical` 未通过当前默认阈值。
|
||
|
||
因此准确结论是：**Sol 已能完成关键模型功能，但当前“订阅身份 + Codex CLI + 国内网络”链路约需 2.1～2.2 分钟，不适合作为同步生产 Provider；它可以继续支持内部功能开发和低频人工测试。**
|
||
|
||
原始本地证据：
|
||
|
||
- `.runtime/gpt-5.6-sol-development-acceptance/representative-smoke-retry-1/ai-provider-acceptance-summary.json`
|
||
- `.runtime/gpt-5.6-sol-development-acceptance/representative-smoke-retry-1/operational-assessment.json`
|
||
|
||
首次 WindowsApps 启动失败证据保留在 `.runtime/gpt-5.6-sol-development-acceptance/representative-smoke/`，未覆盖或删除。
|
||
|
||
## 4. 产品与架构判断
|
||
|
||
1. 当前模型质量足以继续合同问答、审查结构化协议、提示词和人工接管功能开发。
|
||
2. 同步请求不能把 30 秒内返回作为当前开发桥接的稳定承诺；页面必须显示处理中状态，并允许离开页面后继续查看结果。
|
||
3. 研发阶段不应为了让指标变绿而抬高生产 SLO。技术成功、运营质量和法律批准必须分别展示。
|
||
4. Codex CLI 固有上下文令单次输入约 15K Token，无法代表未来正式 Responses API Provider 的单位成本和时延。
|
||
5. 生产上线仍应改为国内稳定可访问、可签企业数据协议、可独立计量的 API Provider。
|
||
|
||
## 5. 下一阶段建议
|
||
|
||
下一阶段进入“模型长任务异步体验与开发质量基线”：
|
||
|
||
1. 将法律问答和合同审查的同步长等待改为可轮询任务状态；
|
||
2. 前端提供生成中、重试、失败回退和人工接管提示；
|
||
3. 分别统计 Provider 时延、排队时延、结构化校验失败率和 fallback 率；
|
||
4. 在不重复消耗不必要额度的前提下，再补劳动、租赁等脱敏代表样例；
|
||
5. 取得正式 API Provider 后，以相同样例对比质量、P50/P95、Token 和费用，再决定生产模型。
|
||
|
||
OpenAI 官方模型页确认 `gpt-5.6-sol` 支持 Responses、函数调用和结构化输出；Codex 非交互模式用于本地脚本化开发桥接。本结论不把 ChatGPT 订阅桥接解释为生产 API 服务。
|