yuqei
1d85329a6a
4.8 KiB
V2 GPT-5.6 Sol 内部真实模型验收与性能基线
日期：2026-08-26
阶段结论：代表性功能链路技术通过；运营性能待优化；法律正确性待具名法务复核；不影响任何生产或试点放行门禁。
1. 本阶段目标
承接《AI 合同平台系统性产品、市场、架构与体验审查报告》和“真实模型接入与受控预发布验收”路线，在没有独立生产 API Provider、正式法务材料和共享 staging 的情况下，先验证当前开发模型 gpt-5.6-sol 能否真实完成法律问答与结构化合同审查。
本阶段只产生本地开发证据，不能用于：
- 注册 Provider 生产验收记录；
- 签发发布晋级回执；
- 打开受控试点或公众注册；
- 宣称法律正确性、司法效力或第三方存证。
2. 工程实现
2.1 开发验收模式
现有 run-ai-provider-acceptance.py 新增 --development-codex-cli：
- 只接受
local/test + codex_cli运行态； - 实际执行模型固定记录为
codex-cli-development / gpt-5.6-sol； - 证据强制写入
evidence_scope=local_development_codex_cli； production_eligible=false；- 禁止 finalize、Provider 验收注册和发布回执签发；
- 不能改变 controlled-pilot 门禁。
共享 staging 和生产晋级仍使用原来的双阶段收集、具名法务签批和签名回执流程，没有因开发便利而放宽。
2.2 Windows CLI 启动兼容
首次调用发现 Windows PATH 中的 Store 应用 codex.exe 虽可发现，但服务子进程启动时返回 WinError 5。适配器现优先使用当前用户目录下桌面 Codex 实际维护的版本化运行时，再回退 PATH，避免“能发现但不能执行”的假可用状态。
2.3 内存运行态可观测性
运行时 schema-check 过去在 memory repository 上提前返回，只显示 repository 和 anti-abuse 警告，无法证明实际 Provider mode。本阶段调整为即使使用隔离内存仓库，也返回 provider runtime 与 service auth 检查，验收器可验证：
environment=local；provider_call_mode=codex_cli；- 已存在可用默认 Provider 配置。
3. 真实代表样例结果
隔离内存实例装载 Phase 13 知识卡后执行：
| 旅程 | Provider 状态 | 回退 | 结构/引用技术检查 | 时延 | Token | 运营质量 |
|---|---|---|---|---|---|---|
| 法律问答 | succeeded | 否 | 通过 | 128,027 ms | 15,639 | failed |
| 合同审查 | succeeded | 否 | 通过 | 129,806 ms | 16,053 | failed |
汇总：
- 技术通过：2/2；
- Provider/fallback 问题：0；
- 中位时延：128,916 ms；
- P95 时延：129,806 ms；
- 总 Token：31,692；
- 法务复核：2/2 待完成；
- 运营质量：2/2 因
token_high + latency_critical未通过当前默认阈值。
因此准确结论是：Sol 已能完成关键模型功能，但当前“订阅身份 + Codex CLI + 国内网络”链路约需 2.1～2.2 分钟，不适合作为同步生产 Provider；它可以继续支持内部功能开发和低频人工测试。
原始本地证据：
.runtime/gpt-5.6-sol-development-acceptance/representative-smoke-retry-1/ai-provider-acceptance-summary.json.runtime/gpt-5.6-sol-development-acceptance/representative-smoke-retry-1/operational-assessment.json
首次 WindowsApps 启动失败证据保留在 .runtime/gpt-5.6-sol-development-acceptance/representative-smoke/，未覆盖或删除。
4. 产品与架构判断
- 当前模型质量足以继续合同问答、审查结构化协议、提示词和人工接管功能开发。
- 同步请求不能把 30 秒内返回作为当前开发桥接的稳定承诺；页面必须显示处理中状态，并允许离开页面后继续查看结果。
- 研发阶段不应为了让指标变绿而抬高生产 SLO。技术成功、运营质量和法律批准必须分别展示。
- Codex CLI 固有上下文令单次输入约 15K Token，无法代表未来正式 Responses API Provider 的单位成本和时延。
- 生产上线仍应改为国内稳定可访问、可签企业数据协议、可独立计量的 API Provider。
5. 下一阶段建议
下一阶段进入“模型长任务异步体验与开发质量基线”：
- 将法律问答和合同审查的同步长等待改为可轮询任务状态；
- 前端提供生成中、重试、失败回退和人工接管提示；
- 分别统计 Provider 时延、排队时延、结构化校验失败率和 fallback 率；
- 在不重复消耗不必要额度的前提下，再补劳动、租赁等脱敏代表样例；
- 取得正式 API Provider 后，以相同样例对比质量、P50/P95、Token 和费用，再决定生产模型。
OpenAI 官方模型页确认 gpt-5.6-sol 支持 Responses、函数调用和结构化输出；Codex 非交互模式用于本地脚本化开发桥接。本结论不把 ChatGPT 订阅桥接解释为生产 API 服务。