docs: plan post-ops phases 8-12
This commit is contained in:
@@ -1,6 +1,6 @@
|
||||
# AI合同平台 闭环交付与深度开发方案(2026-05-01)
|
||||
|
||||
> 当前目标:从“业务闭环已验证”切换到“生产运行可持续、安全可控、可监控、可备份、依赖可治理”。
|
||||
> 当前目标:从“生产运营闭环已验证”切换到“真实试点可运行、业务质量可衡量、交付包可复制、规模化演进有依据”。
|
||||
>
|
||||
> 执行原则:先建立可观测与可恢复基线,再做安全与依赖治理;所有动作都必须留下自动化产物和回归结论。
|
||||
|
||||
@@ -18,6 +18,8 @@
|
||||
| 阶段 6:生产运营自动化与发布门禁固化 | PASS | `project-docs/阶段6-生产运营自动化与发布门禁固化执行记录-2026-05-01.md` |
|
||||
| 阶段 7:生产运营常态化与一键发布 | PASS_WITH_WEBHOOK_BLOCKED | `project-docs/阶段7-一键前端Docker发布执行记录-2026-05-01.md`、`project-docs/阶段7.2-一键回滚与生产巡检门禁执行记录-2026-05-01.md`、`project-docs/阶段7.3-容量治理与备份保留策略执行记录-2026-05-01.md`、`project-docs/阶段7.4-日常巡检与告警门禁执行记录-2026-05-01.md`、`project-docs/阶段7.5-定时巡检与告警投递执行记录-2026-05-01.md`、`project-docs/阶段7.6-真实值守上线与告警联调执行记录-2026-05-01.md`、`project-docs/阶段7.7-告警到人与响应闭环执行记录-2026-05-01.md`、`project-docs/阶段7.8-值守任务运行审计闭环执行记录-2026-05-01.md`、`project-docs/阶段7.9-值守证据留存日报周报与运营复盘执行记录-2026-05-01.md` |
|
||||
|
||||
| 阶段 8-12:真实试点、业务质量、生产化交付、规模化与 V2 演进 | PLANNED | `project-docs/阶段8-12-后续全阶段规划方案-2026-05-01.md` |
|
||||
|
||||
阶段 1 已完成源码闭环与生产入口闭环,生产无人 E2E `18/18` 通过。阶段 2 已完成 Review 重试、Knowledge Base 文档重试、Review -> Chat -> Contract 上下文联动、首页交付工作台和阶段 2 自动化无人闭环,本地与生产 E2E 均 `7/7` 通过。阶段 3 已完成系统 readiness、试点交付准备页、默认账号说明、演示样本数据、依赖健康门禁和阶段 3 自动化无人闭环,本地与生产 E2E 均 `5/5` 通过。
|
||||
|
||||
当前后续重点已从“生产运营自动化与发布门禁固化”推进到“生产运营常态化与一键发布”:阶段 7 首批一键发布闭环已完成,阶段 7.2 一键回滚与生产巡检门禁也已完成首批闭环。阶段 7.3 容量治理已完成,备份保留策略、Docker build cache/旧镜像清理和磁盘告警阈值已固化;服务器磁盘从 `89%` 降至 `67%`。阶段 7.4 日常巡检与告警门禁已完成,将 ops check、capacity governance dry run 和可选 release gate 聚合为统一生产值守入口,完整值守验证 `PHASE7_PRODUCTION_WATCHDOG_PASS`。阶段 7.5 已完成定时任务包装和 Webhook dry-run 告警投递,最终调度门禁 `PHASE7_WATCHDOG_SCHEDULER_PASS`。阶段 7.6 已完成真实计划任务上线和本地非 dry-run Webhook POST 烟测。阶段 7.7 已将收到告警后的响应动作固化为 SOP 和可审计演练。阶段 7.8 已完成值守任务真实触发、任务自审计和负向失效演练。阶段 7.9 已完成值守证据日报/周报、留存策略和运营复盘入口;当前外部告警到人仍需要运行时提供 `AI_CONTRACT_WATCHDOG_WEBHOOK_URL`。
|
||||
@@ -42,14 +44,16 @@ AI合同平台当前已经不是从零建设阶段。登录、合同审查、Rev
|
||||
|
||||
后续开发和验收以以下文档为当前执行依据:
|
||||
|
||||
1. `project-docs/阶段5-生产运行安全监控备份与依赖治理方案-2026-05-01.md`
|
||||
2. `project-docs/阶段4-试点运行监控与安全加固执行记录-2026-05-01.md`
|
||||
3. `project-docs/阶段3-试点交付准备执行记录-2026-05-01.md`
|
||||
4. `project-docs/阶段2-深度开发与交付体验补强执行记录-2026-05-01.md`
|
||||
5. `project-docs/阶段1-完整闭环测试执行记录-2026-05-01.md`
|
||||
6. `project-docs/当前进度报告-2026-04-22.md`
|
||||
7. `project-docs/当前统一需求基线-2026-04-21.md`
|
||||
8. 本文档
|
||||
1. `project-docs/阶段8-12-后续全阶段规划方案-2026-05-01.md`
|
||||
2. `project-docs/阶段7.9-值守证据留存日报周报与运营复盘执行记录-2026-05-01.md`
|
||||
3. `project-docs/阶段7.8-值守任务运行审计闭环执行记录-2026-05-01.md`
|
||||
4. `project-docs/阶段7.7-告警到人与响应闭环执行记录-2026-05-01.md`
|
||||
5. `project-docs/阶段7.6-真实值守上线与告警联调执行记录-2026-05-01.md`
|
||||
6. `project-docs/阶段7.5-定时巡检与告警投递执行记录-2026-05-01.md`
|
||||
7. `project-docs/阶段5-生产运行安全监控备份与依赖治理方案-2026-05-01.md`
|
||||
8. `project-docs/阶段3-试点交付准备执行记录-2026-05-01.md`
|
||||
9. `project-docs/当前统一需求基线-2026-04-21.md`
|
||||
10. 本文档
|
||||
|
||||
技术参考文档仍可保留,但不得覆盖最新进度与当前代码事实。
|
||||
|
||||
@@ -221,3 +225,5 @@ AI合同平台当前已经不是从零建设阶段。登录、合同审查、Rev
|
||||
## 六、当前一句话结论
|
||||
|
||||
AI合同平台阶段 1、阶段 2、阶段 3、阶段 4、阶段 5、阶段 6、阶段 7、阶段 7.2、阶段 7.3、阶段 7.4 和阶段 7.5 均已完成闭环交付验证。阶段 7.6 已完成真实计划任务上线、本地真实 HTTP 告警投递烟测和 clean scheduler gate。阶段 7.7 已完成告警响应 SOP 与响应演练。阶段 7.8 已完成值守任务真实触发、自审计和负向失效演练。阶段 7.9 已完成值守证据日报/周报、留存 dry run 和运营复盘 SOP,但真实外部告警到人仍等待运行时 Webhook URL。当前系统具备主业务闭环、试点交付准备、生产健康巡检、备份恢复演练、依赖治理、安全基线、生产关键 E2E 回归、前端视觉刷新验收、统一发布门禁证据、Docker 一键发布、一键回滚、容量治理证据、日常生产值守告警入口、定时巡检包装、Webhook 投递链路、告警响应演练入口、值守任务自审计入口和值守证据日报/周报入口。阶段 7.3 已解除服务器磁盘容量 WARN,阶段 7.4 已将常态巡检统一固化为 `scripts/run-production-watchdog.ps1`,阶段 7.5/7.6 已将其包装为真实上线的 `AIContractProductionWatchdog` 计划任务。
|
||||
|
||||
后续阶段的当前执行入口切换为 `project-docs/阶段8-12-后续全阶段规划方案-2026-05-01.md`:先进入阶段 8 真实试点使用与业务反馈闭环,再依次推进阶段 9 业务质量治理、阶段 10 生产化交付包、阶段 11 规模化运营和阶段 12 V2 产品演进。
|
||||
|
||||
@@ -0,0 +1,744 @@
|
||||
# AI合同平台 后续全阶段规划方案(阶段 8-12,2026-05-01)
|
||||
|
||||
> 当前状态:阶段 1-7.9 已完成主业务、生产发布、回滚、巡检、容量治理、定时值守、任务审计、证据日报/周报与运营复盘闭环。
|
||||
> 当前唯一外部阻塞:真实外部告警到人仍等待运行时提供 `AI_CONTRACT_WATCHDOG_WEBHOOK_URL`。该阻塞不影响继续推进真实试点、质量治理和生产化交付包,但必须在正式生产值守验收前补齐。
|
||||
|
||||
---
|
||||
|
||||
## 一、规划目标
|
||||
|
||||
后续阶段不再以“补主流程”为核心,而是把系统从“可部署、可巡检、可回滚”推进到“真实用户可持续使用、业务质量可衡量、交付包可复制、规模化运行可管理、下一版本演进有依据”。
|
||||
|
||||
本规划覆盖阶段 8 到阶段 12 的全部任务边界:
|
||||
|
||||
1. 阶段 8:真实试点使用与业务反馈闭环。
|
||||
2. 阶段 9:业务质量、AI 输出质量与数据治理闭环。
|
||||
3. 阶段 10:生产化交付包、培训移交与验收闭环。
|
||||
4. 阶段 11:规模化运营、多租户组织接入与 SLA 闭环。
|
||||
5. 阶段 12:V2 产品演进、集成扩展与长期路线图闭环。
|
||||
|
||||
执行原则:
|
||||
|
||||
1. 每个阶段都必须有方案、自动化门禁、执行记录、证据目录和退出标准。
|
||||
2. 每个真实问题都必须进入分级反馈池,不能只停留在聊天记录或临时备注中。
|
||||
3. 真实用户反馈优先级高于主观功能想象,V2 能力必须从试点数据和业务质量报告中产生。
|
||||
4. 继续沿用阶段 5-7.9 的生产门禁:发布前验证、发布后巡检、可回滚、容量阈值、值守证据、日报/周报。
|
||||
5. 不把管理员密码、Webhook URL、密钥或真实合同敏感内容写入仓库文档、脚本日志或测试产物。
|
||||
|
||||
---
|
||||
|
||||
## 二、阶段总览
|
||||
|
||||
| 阶段 | 主题 | 核心目标 | 计划状态 | 退出门禁 |
|
||||
|---|---|---|---|---|
|
||||
| 阶段 8 | 真实试点使用与业务反馈闭环 | 让真实用户按真实场景使用系统,并形成可分级、可复现、可回归的反馈闭环 | READY_TO_START | 试点使用 PASS、反馈分级完成、P0/P1 清零或有签字延期 |
|
||||
| 阶段 9 | 业务质量、AI 输出质量与数据治理闭环 | 让合同审查、知识库问答、合同生成具备可衡量质量指标和回归样本 | PLANNED | 黄金样本评测 PASS、质量报告完成、数据治理门禁 PASS |
|
||||
| 阶段 10 | 生产化交付包、培训移交与验收闭环 | 让系统可被交付、可被接手、可被运维、可被培训 | PLANNED | 交付包验收 PASS、培训完成、移交清单签收 |
|
||||
| 阶段 11 | 规模化运营、多租户组织接入与 SLA 闭环 | 让更多组织、更多用户、更大数据量下仍然稳定运行 | PLANNED | 容量压测 PASS、租户隔离 PASS、SLA/SLO 报告 PASS |
|
||||
| 阶段 12 | V2 产品演进、集成扩展与长期路线图闭环 | 根据真实数据决定下一代产品能力,而不是凭空扩张 | PLANNED | V2 路线图冻结、优先级评审完成、首批 V2 需求进入开发池 |
|
||||
|
||||
---
|
||||
|
||||
## 三、阶段 8:真实试点使用与业务反馈闭环
|
||||
|
||||
### 8.1 试点范围与角色确认
|
||||
|
||||
目标:明确谁来用、用什么场景、用哪些账号、谁负责验收。
|
||||
|
||||
任务:
|
||||
|
||||
1. 明确试点组织、试点租户、试点部门和试点周期。
|
||||
2. 明确用户角色:管理员、业务审查人员、普通使用者、运维观察者、验收负责人。
|
||||
3. 建立试点账号清单和权限矩阵,确认 admin/member 权限边界。
|
||||
4. 明确试点期间允许使用的合同类型、知识库范围和生成模板范围。
|
||||
5. 形成试点联系人、问题响应人、最终验收人的责任表。
|
||||
|
||||
产物:
|
||||
|
||||
1. `project-docs/阶段8-试点真实使用与业务反馈闭环方案-2026-05-01.md`
|
||||
2. 试点角色与账号矩阵。
|
||||
3. 试点范围确认表。
|
||||
|
||||
门禁:
|
||||
|
||||
1. 试点账号能登录生产环境。
|
||||
2. 非授权用户不能进入管理页和越权接口。
|
||||
3. 默认密码不可用,真实密码只通过运行时注入。
|
||||
|
||||
### 8.2 试点数据与样本准备
|
||||
|
||||
目标:让试点使用的数据既接近真实,又满足脱敏和可追溯要求。
|
||||
|
||||
任务:
|
||||
|
||||
1. 建立试点合同样本清单,按合同类型、风险类型、复杂度分组。
|
||||
2. 明确哪些样本可上传生产,哪些必须脱敏,哪些只能在本地验证。
|
||||
3. 建立知识库试点文档清单,标记来源、版本、负责人和失效日期。
|
||||
4. 建立合同生成模板清单,确认变量、默认值、必填项和下载格式。
|
||||
5. 为每个样本建立可追溯编号,避免在反馈中直接暴露真实合同内容。
|
||||
|
||||
产物:
|
||||
|
||||
1. 试点样本清单。
|
||||
2. 知识库文档清单。
|
||||
3. 合同生成模板清单。
|
||||
4. 脱敏与数据使用说明。
|
||||
|
||||
门禁:
|
||||
|
||||
1. 试点样本不能包含未经允许的敏感信息。
|
||||
2. 反馈记录只引用样本编号,不粘贴真实敏感条款全文。
|
||||
3. 上传、索引、审查、生成后的文件资产可追踪。
|
||||
|
||||
### 8.3 试点场景脚本
|
||||
|
||||
目标:让试点不是随意点击,而是覆盖真实业务路径。
|
||||
|
||||
任务:
|
||||
|
||||
1. 编写管理员场景:登录、查看 readiness、管理用户、查看审计、检查模板和规则。
|
||||
2. 编写合同审查场景:上传合同、输入文本、等待审查、查看风险、下载报告。
|
||||
3. 编写 Review -> Chat 场景:围绕风险项追问、要求解释依据、要求生成修改建议。
|
||||
4. 编写知识库场景:上传文档、查看索引状态、围绕文档问答、验证来源引用。
|
||||
5. 编写合同生成场景:选择模板、填写变量、预览、生成、下载、查看文件资产。
|
||||
6. 编写异常场景:无效文件、空文本、权限不足、索引失败、报告暂不可用。
|
||||
|
||||
产物:
|
||||
|
||||
1. 试点场景脚本。
|
||||
2. 试点执行记录模板。
|
||||
3. 用户反馈记录模板。
|
||||
|
||||
门禁:
|
||||
|
||||
1. 每条试点场景都有预期结果。
|
||||
2. 每条失败场景都有反馈入口和证据要求。
|
||||
3. 试点场景覆盖阶段 1-3 已验证主链路。
|
||||
|
||||
### 8.4 试点运行门禁自动化
|
||||
|
||||
目标:试点开始前先确认生产入口、发布状态、回滚能力和值守能力正常。
|
||||
|
||||
任务:
|
||||
|
||||
1. 聚合生产健康巡检、发布门禁、容量治理 dry run、值守任务审计和证据日报检查。
|
||||
2. 校验前端、后端、数据库、文件资产、关键 API、关键页面可用。
|
||||
3. 校验当前生产版本、最近一次发布记录、最近一次回滚记录和最近一次值守证据。
|
||||
4. 校验外部 Webhook 当前状态:未配置时标记为 `BLOCKED_EXTERNAL_WEBHOOK`,不伪装为 PASS。
|
||||
5. 生成试点启动前门禁报告。
|
||||
|
||||
建议脚本:
|
||||
|
||||
1. `scripts/run-pilot-readiness-gate.ps1`
|
||||
2. `project-docs/qa-artifacts/phase8-pilot-readiness/<timestamp>/`
|
||||
|
||||
门禁:
|
||||
|
||||
1. 生产健康 PASS。
|
||||
2. 发布后巡检 PASS。
|
||||
3. 回滚脚本存在且最近一次演练有证据。
|
||||
4. 容量阈值未触发阻塞。
|
||||
5. 值守任务审计 PASS。
|
||||
|
||||
### 8.5 试点日常运行
|
||||
|
||||
目标:让真实使用每天都有记录、有结论、有待办。
|
||||
|
||||
任务:
|
||||
|
||||
1. 每个试点日开始前运行试点门禁。
|
||||
2. 按场景脚本记录通过、失败、卡顿、疑问和用户建议。
|
||||
3. 每日收集用户反馈,按 P0/P1/P2/P3 分类。
|
||||
4. 每日生成试点日报:使用量、成功率、失败项、未解决风险、第二天计划。
|
||||
5. 每周生成试点周报:高频问题、业务价值、质量趋势、是否继续扩大范围。
|
||||
|
||||
产物:
|
||||
|
||||
1. 试点日报。
|
||||
2. 试点周报。
|
||||
3. 反馈池。
|
||||
4. 缺陷池。
|
||||
|
||||
门禁:
|
||||
|
||||
1. P0 当日必须响应。
|
||||
2. P1 必须进入当前修复批次或有明确延期原因。
|
||||
3. P2/P3 必须进入后续质量治理或产品路线图。
|
||||
|
||||
### 8.6 反馈采集与分级
|
||||
|
||||
目标:把“用户说不好用”转成可复现、可修复、可验收的问题。
|
||||
|
||||
任务:
|
||||
|
||||
1. 定义反馈字段:来源用户、场景编号、样本编号、期望结果、实际结果、截图/日志、影响范围。
|
||||
2. 定义分级标准:P0 阻断、P1 关键路径降级、P2 体验/效率问题、P3 建议。
|
||||
3. 定义处理状态:NEW、TRIAGED、IN_PROGRESS、FIXED、VERIFIED、DEFERRED、WONT_FIX。
|
||||
4. 定义责任人和响应时限。
|
||||
5. 对每个修复项建立回归证据。
|
||||
|
||||
产物:
|
||||
|
||||
1. 反馈字段定义。
|
||||
2. 分级规则。
|
||||
3. 修复与回归记录。
|
||||
|
||||
门禁:
|
||||
|
||||
1. 反馈必须可追溯到场景或样本。
|
||||
2. 修复必须有自动化或人工回归证据。
|
||||
3. 延期项必须写明原因和重新评审日期。
|
||||
|
||||
### 8.7 试点缺陷修复批次
|
||||
|
||||
目标:形成真实试点中的开发闭环,而不是只收集问题。
|
||||
|
||||
任务:
|
||||
|
||||
1. 每批从反馈池选择 P0/P1/P2 进入修复。
|
||||
2. 对每个缺陷先复现,再定位,再最小修改。
|
||||
3. 修复后复跑相关单测、E2E、生产门禁或浏览器验证。
|
||||
4. 更新试点执行记录、反馈池和变更说明。
|
||||
5. 必要时发布到试点服务器并运行 post-deploy release gate。
|
||||
|
||||
产物:
|
||||
|
||||
1. 缺陷修复记录。
|
||||
2. 回归证据。
|
||||
3. 发布记录。
|
||||
|
||||
门禁:
|
||||
|
||||
1. P0 不允许带入下一试点日。
|
||||
2. P1 必须在阶段 8 退出前清零或签字延期。
|
||||
3. 修复不能破坏阶段 5-7.9 的生产运行门禁。
|
||||
|
||||
### 8.8 用户培训与试点引导
|
||||
|
||||
目标:让用户知道怎么用、遇到问题找谁、反馈如何被处理。
|
||||
|
||||
任务:
|
||||
|
||||
1. 编写试点用户快速指南。
|
||||
2. 编写管理员试点操作说明。
|
||||
3. 准备 30-60 分钟试点培训材料。
|
||||
4. 明确反馈渠道和响应时限。
|
||||
5. 记录用户培训完成情况和未解问题。
|
||||
|
||||
产物:
|
||||
|
||||
1. 试点用户快速指南。
|
||||
2. 管理员试点操作说明。
|
||||
3. 培训签到和问题清单。
|
||||
|
||||
门禁:
|
||||
|
||||
1. 至少一名管理员和一名业务用户完成培训。
|
||||
2. 用户知道如何提交反馈。
|
||||
3. 运维人员知道如何运行巡检、回滚和值守审计。
|
||||
|
||||
### 8.9 试点验收与复盘
|
||||
|
||||
目标:形成阶段 8 是否通过、是否扩大试点、是否进入阶段 9 的明确结论。
|
||||
|
||||
任务:
|
||||
|
||||
1. 汇总试点周期内全部场景执行结果。
|
||||
2. 汇总全部反馈、缺陷、延期项和用户建议。
|
||||
3. 统计主链路成功率、平均响应时间、失败原因分布。
|
||||
4. 输出业务价值判断:节省时间、发现风险、报告可用性、问答可用性。
|
||||
5. 召开复盘,确定阶段 9 的质量治理优先级。
|
||||
|
||||
产物:
|
||||
|
||||
1. 阶段 8 试点验收报告。
|
||||
2. 阶段 8 反馈与缺陷总表。
|
||||
3. 阶段 9 输入清单。
|
||||
|
||||
阶段 8 退出标准:
|
||||
|
||||
1. 试点核心场景全部执行。
|
||||
2. P0 清零。
|
||||
3. P1 清零或由验收负责人签字延期。
|
||||
4. 试点日报/周报完整。
|
||||
5. 用户培训完成。
|
||||
6. 阶段 9 质量治理输入清单明确。
|
||||
|
||||
---
|
||||
|
||||
## 四、阶段 9:业务质量、AI 输出质量与数据治理闭环
|
||||
|
||||
### 9.1 质量指标体系
|
||||
|
||||
任务:
|
||||
|
||||
1. 定义合同审查质量指标:风险召回、风险误报、条款定位、建议可执行性、报告完整性。
|
||||
2. 定义知识库问答质量指标:来源引用、答案相关性、拒答正确性、过期文档识别。
|
||||
3. 定义合同生成质量指标:变量完整性、模板适配、文本一致性、下载可用性。
|
||||
4. 定义体验质量指标:完成时间、失败率、重试率、用户满意度。
|
||||
5. 定义运维质量指标:门禁通过率、告警响应时间、备份恢复有效性。
|
||||
|
||||
产物:
|
||||
|
||||
1. 业务质量指标字典。
|
||||
2. 质量评分规则。
|
||||
3. 阶段 9 质量评测方案。
|
||||
|
||||
### 9.2 黄金样本集
|
||||
|
||||
任务:
|
||||
|
||||
1. 从阶段 8 试点样本中抽取代表性合同。
|
||||
2. 建立专家标注:风险类型、风险位置、建议修改、证据来源。
|
||||
3. 建立知识库问答黄金问题集。
|
||||
4. 建立合同生成黄金模板和变量组合。
|
||||
5. 标记样本敏感级别和可自动化程度。
|
||||
|
||||
产物:
|
||||
|
||||
1. 黄金合同样本集。
|
||||
2. 黄金问答集。
|
||||
3. 黄金模板变量集。
|
||||
4. 样本使用与脱敏说明。
|
||||
|
||||
### 9.3 合同审查质量评测
|
||||
|
||||
任务:
|
||||
|
||||
1. 对黄金样本批量运行合同审查。
|
||||
2. 比对系统输出与专家标注。
|
||||
3. 统计漏报、误报、风险等级偏差和建议质量。
|
||||
4. 对高频质量问题建立修复 backlog。
|
||||
5. 将关键质量样本纳入回归门禁。
|
||||
|
||||
建议脚本:
|
||||
|
||||
1. `scripts/run-review-quality-eval.ps1`
|
||||
2. `project-docs/qa-artifacts/phase9-review-quality/<timestamp>/`
|
||||
|
||||
退出标准:
|
||||
|
||||
1. 阶段 8 关键样本具备可复跑评测。
|
||||
2. 质量报告能指出具体风险类型的问题。
|
||||
3. P0/P1 质量缺陷有修复或延期结论。
|
||||
|
||||
### 9.4 知识库问答质量治理
|
||||
|
||||
任务:
|
||||
|
||||
1. 检查知识库文档来源、版本、有效期和索引状态。
|
||||
2. 对黄金问答集运行批量问答。
|
||||
3. 检查答案是否引用正确来源。
|
||||
4. 检查无来源、来源不足、过期来源时是否正确拒答或提示。
|
||||
5. 建立知识库失效文档清理和重索引流程。
|
||||
|
||||
建议脚本:
|
||||
|
||||
1. `scripts/run-kb-quality-eval.ps1`
|
||||
2. `project-docs/qa-artifacts/phase9-kb-quality/<timestamp>/`
|
||||
|
||||
退出标准:
|
||||
|
||||
1. 关键问答来源可追溯。
|
||||
2. blocked/failed/indexing 状态不会误导用户。
|
||||
3. 过期或无来源回答不能作为确定性建议输出。
|
||||
|
||||
### 9.5 合同生成质量治理
|
||||
|
||||
任务:
|
||||
|
||||
1. 检查模板变量是否完整、必填项是否校验。
|
||||
2. 对黄金变量组合批量生成合同。
|
||||
3. 检查生成内容是否遗漏关键变量、格式是否可下载。
|
||||
4. 检查生成结果和 Review/Chat 上下文联动是否一致。
|
||||
5. 建立模板变更的回归样本。
|
||||
|
||||
建议脚本:
|
||||
|
||||
1. `scripts/run-contract-generation-quality-eval.ps1`
|
||||
2. `project-docs/qa-artifacts/phase9-contract-generation-quality/<timestamp>/`
|
||||
|
||||
退出标准:
|
||||
|
||||
1. 核心模板全部可生成、可预览、可下载。
|
||||
2. 变量缺失时提示清晰。
|
||||
3. 生成文件资产可追踪。
|
||||
|
||||
### 9.6 Prompt、模型与输出治理
|
||||
|
||||
任务:
|
||||
|
||||
1. 建立 prompt 版本记录。
|
||||
2. 建立模型参数、系统提示词和输出 schema 的变更说明。
|
||||
3. 对关键 AI 输出增加结构化校验。
|
||||
4. 对无法确定的回答增加不确定性提示或拒答策略。
|
||||
5. 对模型升级建立 A/B 评测和回滚策略。
|
||||
|
||||
产物:
|
||||
|
||||
1. AI 输出治理规范。
|
||||
2. Prompt 版本登记表。
|
||||
3. 模型升级评测记录模板。
|
||||
|
||||
### 9.7 数据保留、隐私与审计治理
|
||||
|
||||
任务:
|
||||
|
||||
1. 明确合同原文、审查结果、报告、聊天记录、生成文件的保留周期。
|
||||
2. 明确删除、导出、脱敏和审计要求。
|
||||
3. 检查真实试点数据是否进入不该进入的日志或文档。
|
||||
4. 对高风险操作建立审计查询入口。
|
||||
5. 将数据治理检查纳入生产门禁或周报。
|
||||
|
||||
产物:
|
||||
|
||||
1. 数据保留策略。
|
||||
2. 隐私与脱敏检查记录。
|
||||
3. 审计抽查报告。
|
||||
|
||||
### 9.8 质量回归门禁
|
||||
|
||||
任务:
|
||||
|
||||
1. 将阶段 9 质量评测聚合成统一入口。
|
||||
2. 与阶段 7.9 的值守证据日报/周报衔接。
|
||||
3. 生成质量趋势报告。
|
||||
4. 对质量下降设置阻塞阈值或人工审批规则。
|
||||
5. 将阶段 9 结论输入阶段 10 交付材料。
|
||||
|
||||
建议脚本:
|
||||
|
||||
1. `scripts/run-business-quality-gate.ps1`
|
||||
2. `project-docs/qa-artifacts/phase9-business-quality-gate/<timestamp>/`
|
||||
|
||||
阶段 9 退出标准:
|
||||
|
||||
1. 合同审查、知识库问答、合同生成均有质量指标和评测样本。
|
||||
2. 黄金样本可复跑。
|
||||
3. 质量报告能解释风险、趋势和待修复项。
|
||||
4. 数据保留、脱敏、审计治理有明确规则。
|
||||
5. 阶段 10 交付包可引用阶段 9 的质量结论。
|
||||
|
||||
---
|
||||
|
||||
## 五、阶段 10:生产化交付包、培训移交与验收闭环
|
||||
|
||||
### 10.1 生产化部署包
|
||||
|
||||
任务:
|
||||
|
||||
1. 整理 Docker 部署、前端发布、后端服务、数据库、文件资产和环境变量模板。
|
||||
2. 固化一键发布、一键回滚、发布后门禁、生产巡检和值守审计入口。
|
||||
3. 生成最小化安装步骤和标准升级步骤。
|
||||
4. 明确不同环境:本地、试点、生产、恢复验证环境。
|
||||
5. 对交付包进行一次全新环境或隔离目录演练。
|
||||
|
||||
产物:
|
||||
|
||||
1. 生产化部署包说明。
|
||||
2. 环境变量模板。
|
||||
3. 安装与升级演练记录。
|
||||
|
||||
### 10.2 运维交付包
|
||||
|
||||
任务:
|
||||
|
||||
1. 整理巡检、备份、恢复、回滚、容量治理、依赖治理和安全基线脚本。
|
||||
2. 整理计划任务注册、取消、审计和失效演练说明。
|
||||
3. 整理日报/周报生成与留存策略。
|
||||
4. 明确外部告警 Webhook 配置方式和验证方式。
|
||||
5. 明确故障分级和响应流程。
|
||||
|
||||
产物:
|
||||
|
||||
1. 运维手册最终版。
|
||||
2. 值守 SOP 最终版。
|
||||
3. 故障响应手册。
|
||||
|
||||
### 10.3 管理员手册
|
||||
|
||||
任务:
|
||||
|
||||
1. 用户、角色、租户设置说明。
|
||||
2. 知识库文档管理说明。
|
||||
3. 审查规则和合同模板管理说明。
|
||||
4. 审计日志查询说明。
|
||||
5. 常见问题处理说明。
|
||||
|
||||
产物:
|
||||
|
||||
1. 管理员手册。
|
||||
2. 管理员培训材料。
|
||||
3. 管理员验收清单。
|
||||
|
||||
### 10.4 业务用户手册
|
||||
|
||||
任务:
|
||||
|
||||
1. 合同审查使用说明。
|
||||
2. Review -> Chat 使用说明。
|
||||
3. 知识库问答使用说明。
|
||||
4. 合同生成使用说明。
|
||||
5. 失败提示、重试和反馈说明。
|
||||
|
||||
产物:
|
||||
|
||||
1. 用户使用指南最终版。
|
||||
2. 业务用户培训材料。
|
||||
3. 用户验收清单。
|
||||
|
||||
### 10.5 交付验收门禁
|
||||
|
||||
任务:
|
||||
|
||||
1. 聚合生产巡检、发布门禁、回滚门禁、值守任务审计、证据日报/周报、业务质量门禁。
|
||||
2. 检查文档齐套性。
|
||||
3. 检查脚本可运行性和路径一致性。
|
||||
4. 检查敏感信息未进入文档和产物。
|
||||
5. 输出交付验收报告。
|
||||
|
||||
建议脚本:
|
||||
|
||||
1. `scripts/run-delivery-acceptance-gate.ps1`
|
||||
2. `project-docs/qa-artifacts/phase10-delivery-acceptance/<timestamp>/`
|
||||
|
||||
阶段 10 退出标准:
|
||||
|
||||
1. 部署包、运维包、管理员手册、用户手册齐套。
|
||||
2. 新环境或隔离目录交付演练 PASS。
|
||||
3. 生产发布、回滚、巡检、备份、值守、质量门禁均可复跑。
|
||||
4. 培训完成并记录。
|
||||
5. 交付负责人完成签收或给出延期项。
|
||||
|
||||
---
|
||||
|
||||
## 六、阶段 11:规模化运营、多租户组织接入与 SLA 闭环
|
||||
|
||||
### 11.1 容量与性能基线
|
||||
|
||||
任务:
|
||||
|
||||
1. 明确用户数、合同数、知识库文档数、并发数、文件大小的目标区间。
|
||||
2. 建立接口响应时间、页面加载、审查耗时、索引耗时、生成耗时的基线。
|
||||
3. 执行轻量压测和容量趋势分析。
|
||||
4. 明确扩容阈值和容量预警策略。
|
||||
5. 将容量指标纳入周报。
|
||||
|
||||
产物:
|
||||
|
||||
1. 容量模型。
|
||||
2. 性能基线报告。
|
||||
3. 扩容策略。
|
||||
|
||||
### 11.2 多租户和组织接入
|
||||
|
||||
任务:
|
||||
|
||||
1. 检查租户隔离:用户、合同、知识库、模板、审计、文件资产。
|
||||
2. 明确组织、部门、角色、成员的管理模型。
|
||||
3. 评估是否需要完整 RBAC 重构。
|
||||
4. 建立租户级配置项。
|
||||
5. 建立租户级备份和导出策略。
|
||||
|
||||
产物:
|
||||
|
||||
1. 多租户隔离检查报告。
|
||||
2. 组织接入方案。
|
||||
3. RBAC 升级评估。
|
||||
|
||||
### 11.3 SLA/SLO 与运营指标
|
||||
|
||||
任务:
|
||||
|
||||
1. 定义可用性目标。
|
||||
2. 定义响应时间目标。
|
||||
3. 定义告警响应和恢复时间目标。
|
||||
4. 定义备份恢复目标。
|
||||
5. 定义质量指标目标。
|
||||
|
||||
产物:
|
||||
|
||||
1. SLA/SLO 指标表。
|
||||
2. 月度运营报告模板。
|
||||
3. 事故复盘模板。
|
||||
|
||||
### 11.4 外部系统集成评估
|
||||
|
||||
任务:
|
||||
|
||||
1. 评估统一登录或 SSO。
|
||||
2. 评估企业文档系统或对象存储集成。
|
||||
3. 评估电子签章、OA、审批流、消息通知集成。
|
||||
4. 评估 API 开放边界和鉴权方式。
|
||||
5. 评估集成后的审计和数据安全要求。
|
||||
|
||||
产物:
|
||||
|
||||
1. 外部集成评估报告。
|
||||
2. 集成优先级列表。
|
||||
3. API 安全边界说明。
|
||||
|
||||
### 11.5 规模化运营门禁
|
||||
|
||||
建议脚本:
|
||||
|
||||
1. `scripts/run-scale-ops-gate.ps1`
|
||||
2. `project-docs/qa-artifacts/phase11-scale-ops-gate/<timestamp>/`
|
||||
|
||||
阶段 11 退出标准:
|
||||
|
||||
1. 容量基线明确。
|
||||
2. 租户隔离检查 PASS。
|
||||
3. SLA/SLO 指标可追踪。
|
||||
4. 外部集成优先级明确。
|
||||
5. 规模化运行风险有处理计划。
|
||||
|
||||
---
|
||||
|
||||
## 七、阶段 12:V2 产品演进、集成扩展与长期路线图闭环
|
||||
|
||||
### 12.1 V2 需求池建立
|
||||
|
||||
任务:
|
||||
|
||||
1. 从阶段 8 试点反馈抽取真实高频需求。
|
||||
2. 从阶段 9 质量报告抽取质量提升需求。
|
||||
3. 从阶段 10 交付过程抽取部署和运维体验需求。
|
||||
4. 从阶段 11 规模化评估抽取组织、权限、集成和性能需求。
|
||||
5. 建立 V2 需求池,标记价值、成本、风险、依赖和验收方式。
|
||||
|
||||
产物:
|
||||
|
||||
1. V2 需求池。
|
||||
2. 需求优先级评分表。
|
||||
3. V2 首批开发候选清单。
|
||||
|
||||
### 12.2 高级合同审查能力
|
||||
|
||||
候选任务:
|
||||
|
||||
1. 条款差异对比。
|
||||
2. 风险 playbook。
|
||||
3. 多轮审查上下文沉淀。
|
||||
4. 法务专家批注回写。
|
||||
5. 审查意见版本对比。
|
||||
|
||||
### 12.3 协作与流程能力
|
||||
|
||||
候选任务:
|
||||
|
||||
1. 审查任务分派。
|
||||
2. 多人评论和批注。
|
||||
3. 审批流。
|
||||
4. 状态流转。
|
||||
5. 业务看板和统计。
|
||||
|
||||
### 12.4 模板与知识资产运营
|
||||
|
||||
候选任务:
|
||||
|
||||
1. 合同模板库。
|
||||
2. 条款库。
|
||||
3. 风险规则库。
|
||||
4. 知识库版本管理。
|
||||
5. 高价值问答沉淀。
|
||||
|
||||
### 12.5 AI 安全与模型升级
|
||||
|
||||
候选任务:
|
||||
|
||||
1. 模型升级评测。
|
||||
2. Prompt 注入防护。
|
||||
3. 敏感信息输出控制。
|
||||
4. 高风险回答人工复核。
|
||||
5. AI 输出追责和审计增强。
|
||||
|
||||
### 12.6 V2 路线图冻结
|
||||
|
||||
任务:
|
||||
|
||||
1. 对候选需求进行价值、风险、依赖、成本评分。
|
||||
2. 明确 V2 首批开发范围。
|
||||
3. 明确不做事项和延期事项。
|
||||
4. 明确验证样本和验收标准。
|
||||
5. 输出 V2 开发方案。
|
||||
|
||||
阶段 12 退出标准:
|
||||
|
||||
1. V2 路线图经过试点数据、质量数据和运维数据支撑。
|
||||
2. V2 首批任务可拆分、可验收、可回归。
|
||||
3. 高风险需求有技术预研或延期结论。
|
||||
4. V2 开发不破坏阶段 5-11 的生产运行基线。
|
||||
|
||||
---
|
||||
|
||||
## 八、阶段依赖关系
|
||||
|
||||
```text
|
||||
阶段 7.9 生产值守证据闭环
|
||||
-> 阶段 8 真实试点使用
|
||||
-> 阶段 9 业务质量与数据治理
|
||||
-> 阶段 10 生产化交付包与移交
|
||||
-> 阶段 11 规模化运营与组织接入
|
||||
-> 阶段 12 V2 产品演进
|
||||
```
|
||||
|
||||
关键依赖:
|
||||
|
||||
1. 阶段 8 可以立即启动,但真实用户、真实样本和试点联系人需要由项目方确认。
|
||||
2. 阶段 9 必须依赖阶段 8 的真实反馈和样本,不应只用开发者自造样本。
|
||||
3. 阶段 10 必须依赖阶段 8/9 的试点结论和质量报告,否则交付包只是安装包,不是可用产品。
|
||||
4. 阶段 11 必须在阶段 10 的交付包稳定后推进,避免在未固化交付方式前扩大范围。
|
||||
5. 阶段 12 必须从阶段 8-11 的证据中抽取优先级,避免重新回到拍脑袋开发。
|
||||
|
||||
---
|
||||
|
||||
## 九、阶段 8 第一批立即启动任务
|
||||
|
||||
虽然本方案已经明确阶段 8-12 的完整范围,但下一步执行应从阶段 8 第一批开始。第一批不是做新功能,而是建立真实试点的入口、样本、反馈和门禁。
|
||||
|
||||
立即启动清单:
|
||||
|
||||
1. 生成 `project-docs/阶段8-试点真实使用与业务反馈闭环方案-2026-05-01.md`。
|
||||
2. 生成试点账号、角色、场景、样本和反馈模板。
|
||||
3. 实现 `scripts/run-pilot-readiness-gate.ps1`,聚合生产健康、发布后门禁、容量治理、值守任务审计和证据日报检查。
|
||||
4. 建立 `project-docs/qa-artifacts/phase8-pilot-readiness/<timestamp>/` 证据目录。
|
||||
5. 执行一次本地/生产试点 readiness dry run。
|
||||
6. 根据 readiness 结果决定是否进入真实试点日 1。
|
||||
|
||||
第一批退出标准:
|
||||
|
||||
1. 阶段 8 方案文档完成。
|
||||
2. 试点模板齐套。
|
||||
3. 试点 readiness gate 可复跑。
|
||||
4. readiness 报告明确 PASS/BLOCKED/WARN。
|
||||
5. 外部 Webhook 未配置时继续标记为阻塞项,不影响其它试点准备项验收。
|
||||
|
||||
---
|
||||
|
||||
## 十、统一证据和文档命名
|
||||
|
||||
后续阶段建议统一使用以下命名:
|
||||
|
||||
| 类型 | 命名 |
|
||||
|---|---|
|
||||
| 阶段方案 | `project-docs/阶段X-主题方案-2026-05-01.md` |
|
||||
| 阶段执行记录 | `project-docs/阶段X-主题执行记录-2026-05-01.md` |
|
||||
| 自动化证据 | `project-docs/qa-artifacts/phaseX-topic/<timestamp>/` |
|
||||
| 聚合摘要 | `<evidence-dir>/summary.json` 与 `<evidence-dir>/summary.md` |
|
||||
| 阶段结论 | `PASS`、`WARN`、`BLOCKED`、`FAIL` |
|
||||
|
||||
统一验收口径:
|
||||
|
||||
1. `PASS`:阶段目标全部完成,阻塞项清零。
|
||||
2. `WARN`:阶段目标完成,但存在非阻塞风险。
|
||||
3. `BLOCKED`:阶段目标依赖外部条件,当前无法真实完成。
|
||||
4. `FAIL`:阶段目标未完成,且存在可修复问题。
|
||||
|
||||
---
|
||||
|
||||
## 十一、当前结论
|
||||
|
||||
AI合同平台已经完成从主业务闭环到生产运营常态化的基础建设。下一轮不能只继续补页面或补脚本,而应进入真实试点和业务质量治理。阶段 8-12 的核心路线是:先让真实用户按真实场景使用,再用真实反馈建立质量指标和交付包,最后根据运营证据推进规模化和 V2 演进。
|
||||
|
||||
下一步最合适的执行动作是进入阶段 8 第一批:创建阶段 8 方案、试点模板和试点 readiness gate,把真实试点启动前的所有条件自动化检查出来。
|
||||
Reference in New Issue
Block a user