docs: close phase 9 business quality loop
This commit is contained in:
Codex
@@ -17,9 +17,10 @@
|
||||
| 阶段 5：生产运行、安全、监控、备份与依赖治理 | PASS | `project-docs/阶段5-生产运行安全监控备份与依赖治理执行记录-2026-05-01.md` |
|
||||
| 阶段 6：生产运营自动化与发布门禁固化 | PASS | `project-docs/阶段6-生产运营自动化与发布门禁固化执行记录-2026-05-01.md` |
|
||||
| 阶段 7：生产运营常态化与一键发布 | PASS_WITH_WEBHOOK_BLOCKED | `project-docs/阶段7-一键前端Docker发布执行记录-2026-05-01.md`、`project-docs/阶段7.2-一键回滚与生产巡检门禁执行记录-2026-05-01.md`、`project-docs/阶段7.3-容量治理与备份保留策略执行记录-2026-05-01.md`、`project-docs/阶段7.4-日常巡检与告警门禁执行记录-2026-05-01.md`、`project-docs/阶段7.5-定时巡检与告警投递执行记录-2026-05-01.md`、`project-docs/阶段7.6-真实值守上线与告警联调执行记录-2026-05-01.md`、`project-docs/阶段7.7-告警到人与响应闭环执行记录-2026-05-01.md`、`project-docs/阶段7.8-值守任务运行审计闭环执行记录-2026-05-01.md`、`project-docs/阶段7.9-值守证据留存日报周报与运营复盘执行记录-2026-05-01.md` |
|
||||
| 阶段 8-12：真实试点、业务质量、生产化交付、规模化与 V2 演进 | PLANNED | `project-docs/阶段8-12-后续全阶段规划方案-2026-05-01.md` |
|
||||
| 阶段 8-12：真实试点、业务质量、生产化交付、规模化与 V2 演进 | IN_PROGRESS | `project-docs/阶段8-12-后续全阶段规划方案-2026-05-01.md` |
|
||||
| 阶段 8 第一批：试点方案、模板与 readiness gate | PASS_WITH_WEBHOOK_BLOCKED | `project-docs/阶段8-试点真实使用与业务反馈闭环第一批执行记录-2026-05-01.md` |
|
||||
| 阶段 8：试点真实使用与业务反馈闭环 | PASS_WITH_WEBHOOK_BLOCKED | `project-docs/阶段8-试点真实使用与业务反馈闭环完整执行记录-2026-05-01.md` |
|
||||
| 阶段 9：业务质量、AI 输出质量与数据治理闭环 | PASS_WITH_WEBHOOK_BLOCKED | `project-docs/阶段9-业务质量AI输出质量与数据治理闭环执行记录-2026-05-01.md` |
|
||||
|
||||
阶段 1 已完成源码闭环与生产入口闭环，生产无人 E2E `18/18` 通过。阶段 2 已完成 Review 重试、Knowledge Base 文档重试、Review -> Chat -> Contract 上下文联动、首页交付工作台和阶段 2 自动化无人闭环，本地与生产 E2E 均 `7/7` 通过。阶段 3 已完成系统 readiness、试点交付准备页、默认账号说明、演示样本数据、依赖健康门禁和阶段 3 自动化无人闭环，本地与生产 E2E 均 `5/5` 通过。
|
||||
|
||||
@@ -232,3 +233,5 @@ AI合同平台阶段 1、阶段 2、阶段 3、阶段 4、阶段 5、阶段 6、
|
||||
阶段 8 第一批已完成：阶段 8 详细方案、试点模板包和 `scripts/run-pilot-readiness-gate.ps1` 已落地，并完成一次完整 readiness gate 复跑。最终结果为 `BLOCKED`，其中必需失败数为 `0`，外部阻塞为 `BLOCKED_EXTERNAL_WEBHOOK`。
|
||||
|
||||
阶段 8 已完成完整闭环：`scripts/run-phase8-pilot-closed-loop.ps1` 已完成自动化试点日闭环，最终证据为 `project-docs/qa-artifacts/phase8-pilot-closed-loop/2026-05-01T18-30-44-287/`，试点场景 `10/10` 通过，Open P0/P1 为 `0`，release gate 与 production regression 均为 PASS。阶段状态为 `PASS_WITH_WEBHOOK_BLOCKED`，唯一保留事项仍是外部 Webhook URL 未配置。
|
||||
|
||||
阶段 9 已完成完整闭环：`scripts/run-business-quality-gate.ps1` 已固化为业务质量、AI 输出质量与数据治理统一门禁，最终证据为 `project-docs/qa-artifacts/phase9-business-quality-gate/2026-05-01T18-46-43-810/`。最终门禁在干净工作区下执行，Review、Knowledge Base、Contract Generation 三个质量域均为 `PASS`，分数均为 `100`，AI 输出治理与数据治理均为 `PASS`，必需失败项为 `0`，警告项为 `0`。阶段状态为 `PASS_WITH_WEBHOOK_BLOCKED`，外部 Webhook 阻塞继续作为前序外部条件保留。
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
# AI合同平台 后续全阶段规划方案（阶段 8-12，2026-05-01）
|
||||
|
||||
> 当前状态：阶段 1-7.9 已完成主业务、生产发布、回滚、巡检、容量治理、定时值守、任务审计、证据日报/周报与运营复盘闭环。
|
||||
> 当前状态：阶段 1-7.9 已完成主业务、生产发布、回滚、巡检、容量治理、定时值守、任务审计、证据日报/周报与运营复盘闭环；阶段 8 已完成试点真实使用与业务反馈闭环；阶段 9 已完成业务质量、AI 输出质量与数据治理闭环。
|
||||
> 当前唯一外部阻塞：真实外部告警到人仍等待运行时提供 `AI_CONTRACT_WATCHDOG_WEBHOOK_URL`。该阻塞不影响继续推进真实试点、质量治理和生产化交付包，但必须在正式生产值守验收前补齐。
|
||||
|
||||
---
|
||||
@@ -32,7 +32,7 @@
|
||||
| 阶段 | 主题 | 核心目标 | 计划状态 | 退出门禁 |
|
||||
|---|---|---|---|---|
|
||||
| 阶段 8 | 真实试点使用与业务反馈闭环 | 让真实用户按真实场景使用系统，并形成可分级、可复现、可回归的反馈闭环 | PASS_WITH_WEBHOOK_BLOCKED | 试点场景 10/10 PASS、反馈分级完成、P0/P1 清零，外部 Webhook 待后续提供 |
|
||||
| 阶段 9 | 业务质量、AI 输出质量与数据治理闭环 | 让合同审查、知识库问答、合同生成具备可衡量质量指标和回归样本 | PLANNED | 黄金样本评测 PASS、质量报告完成、数据治理门禁 PASS |
|
||||
| 阶段 9 | 业务质量、AI 输出质量与数据治理闭环 | 让合同审查、知识库问答、合同生成具备可衡量质量指标和回归样本 | PASS_WITH_WEBHOOK_BLOCKED | 黄金样本评测 PASS、质量报告完成、AI 输出治理 PASS、数据治理门禁 PASS，外部 Webhook 阻塞继承保留 |
|
||||
| 阶段 10 | 生产化交付包、培训移交与验收闭环 | 让系统可被交付、可被接手、可被运维、可被培训 | PLANNED | 交付包验收 PASS、培训完成、移交清单签收 |
|
||||
| 阶段 11 | 规模化运营、多租户组织接入与 SLA 闭环 | 让更多组织、更多用户、更大数据量下仍然稳定运行 | PLANNED | 容量压测 PASS、租户隔离 PASS、SLA/SLO 报告 PASS |
|
||||
| 阶段 12 | V2 产品演进、集成扩展与长期路线图闭环 | 根据真实数据决定下一代产品能力，而不是凭空扩张 | PLANNED | V2 路线图冻结、优先级评审完成、首批 V2 需求进入开发池 |
|
||||
@@ -739,6 +739,6 @@
|
||||
|
||||
## 十一、当前结论
|
||||
|
||||
AI合同平台已经完成从主业务闭环到生产运营常态化的基础建设，并已完成阶段 8 自动化试点闭环。阶段 8 最终状态为 `PASS_WITH_WEBHOOK_BLOCKED`：试点场景 `10/10` 通过，Open P0/P1 为 `0`，日报、周报、反馈池、缺陷闭环和验收清单均已生成。
|
||||
AI合同平台已经完成从主业务闭环到生产运营常态化的基础建设，并已完成阶段 8 自动化试点闭环和阶段 9 业务质量治理闭环。阶段 8 最终状态为 `PASS_WITH_WEBHOOK_BLOCKED`：试点场景 `10/10` 通过，Open P0/P1 为 `0`，日报、周报、反馈池、缺陷闭环和验收清单均已生成。阶段 9 最终状态为 `PASS_WITH_WEBHOOK_BLOCKED`：Review、Knowledge Base、Contract Generation 三个质量域均为 `PASS`，分数均为 `100`，AI 输出治理与数据治理均为 `PASS`，失败必需项为 `0`，警告项为 `0`。
|
||||
|
||||
下一步最合适的执行动作是进入阶段 9：业务质量、AI 输出质量与数据治理闭环。阶段 9 应直接消费阶段 8 的试点场景、反馈池、日报/周报和生产回归证据，建立 Review、Knowledge Base 和 Contract Generation 的质量评测基线。
|
||||
下一步最合适的执行动作是进入阶段 10：生产化交付包、培训移交与验收闭环。阶段 10 应直接引用阶段 8 的试点验收结论和阶段 9 的质量门禁结论，把部署包、运维包、管理员手册、用户手册、培训记录和验收签收固化为可交接交付包。
|
||||
|
||||
@@ -0,0 +1,133 @@
|
||||
# AI合同平台 阶段 9 业务质量、AI 输出质量与数据治理闭环执行记录（2026-05-01）
|
||||
|
||||
## 一、阶段结论
|
||||
|
||||
阶段 9 已完成完整闭环，最终状态为 `PASS_WITH_WEBHOOK_BLOCKED`。
|
||||
|
||||
最终门禁证据：
|
||||
|
||||
`project-docs/qa-artifacts/phase9-business-quality-gate/2026-05-01T18-46-43-810/`
|
||||
|
||||
最终门禁在干净工作区下执行，基础提交为 `50f32d4ab9e7a96cbba3fd6cdea4f2ac73357d83`。阶段 9 所有必需质量检查均通过，失败必需项为 `0`，警告为 `0`，仅保留继承自阶段 8 的外部 Webhook 阻塞项。
|
||||
|
||||
## 二、本阶段交付
|
||||
|
||||
本阶段新增并固化以下交付物：
|
||||
|
||||
1. `project-docs/阶段9-业务质量AI输出质量与数据治理闭环方案-2026-05-01.md`
|
||||
2. `project-docs/phase9-quality-fixtures/quality-metric-dictionary.csv`
|
||||
3. `project-docs/phase9-quality-fixtures/golden-review-samples.csv`
|
||||
4. `project-docs/phase9-quality-fixtures/golden-kb-question-set.csv`
|
||||
5. `project-docs/phase9-quality-fixtures/golden-contract-generation-set.csv`
|
||||
6. `project-docs/phase9-quality-fixtures/prompt-version-register.csv`
|
||||
7. `project-docs/phase9-quality-fixtures/ai-output-governance.md`
|
||||
8. `project-docs/phase9-quality-fixtures/data-retention-policy.md`
|
||||
9. `scripts/run-business-quality-gate.ps1`
|
||||
|
||||
## 三、自动化门禁结果
|
||||
|
||||
最终执行命令：
|
||||
|
||||
```powershell
|
||||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File scripts\run-business-quality-gate.ps1
|
||||
```
|
||||
|
||||
最终输出：
|
||||
|
||||
```text
|
||||
PHASE9_BUSINESS_QUALITY_GATE_PASS_WITH_WEBHOOK_BLOCKED D:\ai-contract-platform\project-docs\qa-artifacts\phase9-business-quality-gate\2026-05-01T18-46-43-810
|
||||
```
|
||||
|
||||
门禁统计：
|
||||
|
||||
| 指标 | 结果 |
|
||||
|---|---:|
|
||||
| 检查总数 | 21 |
|
||||
| 必需失败项 | 0 |
|
||||
| 警告项 | 0 |
|
||||
| 外部阻塞项 | 1 |
|
||||
| 阶段 8 场景继承结果 | 10/10 PASS |
|
||||
| Open P0/P1 | 0 |
|
||||
|
||||
## 四、质量评分
|
||||
|
||||
| 质量域 | 状态 | 分数 | 样本数 | 继承/映射场景 |
|
||||
|---|---|---:|---:|---|
|
||||
| 合同审查 Review | PASS | 100 | 3 | `PILOT-REVIEW-001`、`PILOT-REVIEW-002`、`PILOT-CHAT-001`、`PILOT-NEG-002` |
|
||||
| 知识库问答 KB | PASS | 100 | 3 | `PILOT-KB-001`、`PILOT-KB-002`、`PILOT-NEG-002` |
|
||||
| 合同生成 Contract Generation | PASS | 100 | 3 | `PILOT-GENERATE-001`、`PILOT-NEG-002` |
|
||||
|
||||
子报告：
|
||||
|
||||
1. `review-quality-eval.json` / `review-quality-eval.md`
|
||||
2. `kb-quality-eval.json` / `kb-quality-eval.md`
|
||||
3. `contract-generation-quality-eval.json` / `contract-generation-quality-eval.md`
|
||||
4. `phase9-quality-scorecard.csv`
|
||||
5. `phase9-quality-defect-register.csv`
|
||||
|
||||
## 五、AI 输出治理
|
||||
|
||||
AI 输出治理检查结果为 `PASS`。
|
||||
|
||||
已固化要求：
|
||||
|
||||
1. Review 输出必须保留风险摘要、风险项、证据、建议和下一步动作。
|
||||
2. Knowledge Base 有来源时必须引用来源。
|
||||
3. 无来源、来源不足、索引失败、高敏或过期来源时必须拒答或说明不确定性。
|
||||
4. Contract Generation 必须校验必填变量并保留文件资产追踪。
|
||||
5. Prompt 变更必须登记版本。
|
||||
6. 模型升级必须经过质量门禁和回滚说明。
|
||||
7. 每个 active prompt 必须声明 expected schema、uncertainty policy、rollback policy、owner 和 active version。
|
||||
|
||||
第一轮门禁曾因 `ai-output-governance.md` 未明确写出 `schema` 要求而失败；已通过补齐治理规则修复，并在最终门禁中验证通过。
|
||||
|
||||
## 六、数据治理
|
||||
|
||||
数据治理检查结果为 `PASS`。
|
||||
|
||||
最终检查结果：
|
||||
|
||||
| 检查项 | 结果 |
|
||||
|---|---:|
|
||||
| 样本数 | 3 |
|
||||
| 样本字段完整 | True |
|
||||
| 高敏生产样本 | 0 |
|
||||
| 管理员测试密码或密钥泄漏命中 | 0 |
|
||||
|
||||
本阶段仅使用样本编号、质量指标、场景编号和证据路径，不在文档、样本或脚本中写入真实管理员密码、真实 Webhook URL 或密钥。
|
||||
|
||||
## 七、保留项
|
||||
|
||||
阶段 9 没有业务质量 P0/P1 阻塞。
|
||||
|
||||
当前保留项均继承自前序阶段，不作为阶段 9 质量失败处理：
|
||||
|
||||
| 项 | 严重级别 | 状态 | 说明 |
|
||||
|---|---|---|---|
|
||||
| `FB-P8-AUTO-001` | P3 | DEFERRED | 外部 Webhook URL 尚未提供，属于外部前置条件 |
|
||||
| `FB-P8-AUTO-002` | P2 | DEFERRED | 历史回滚证据提示项，一键回滚脚本已存在 |
|
||||
|
||||
真实外部告警到人仍等待运行时提供 `AI_CONTRACT_WATCHDOG_WEBHOOK_URL`，后续具备条件后应重新执行相关 Webhook 联调门禁。
|
||||
|
||||
## 八、验证记录
|
||||
|
||||
已完成验证：
|
||||
|
||||
1. gstack 前置检查：`GSTACK_OK`
|
||||
2. PowerShell 语法解析：`POWERSHELL_PARSE_PASS`
|
||||
3. 阶段 9 门禁脚本首次运行：发现并修复 AI 输出治理缺口
|
||||
4. 阶段 9 门禁脚本最终运行：`PASS_WITH_WEBHOOK_BLOCKED`
|
||||
5. `git diff --cached --check`：通过
|
||||
6. 阶段 9 交付文件密钥扫描：通过
|
||||
|
||||
## 九、退出结论
|
||||
|
||||
阶段 9 已达到退出标准：
|
||||
|
||||
1. 合同审查、知识库问答、合同生成均有质量指标和黄金样本。
|
||||
2. 黄金样本可由 `scripts/run-business-quality-gate.ps1` 复跑。
|
||||
3. 质量报告、缺陷登记、AI 输出治理和数据治理摘要均可自动生成。
|
||||
4. Open P0/P1 为 `0`。
|
||||
5. 阶段 10 可以直接引用阶段 9 的质量结论进入生产化交付包、培训移交与验收闭环。
|
||||
|
||||
阶段 9 最终状态：`PASS_WITH_WEBHOOK_BLOCKED`。
|
||||
Reference in New Issue
Block a user