Files
ai-contract-platform/project-docs/usability-testing/P1-3MIN-20260823
yuqei 1d85329a6a
Build and Test Quality Gate / Contract Web typecheck and build (pull_request) Successful in 9m12s
Build and Test Quality Gate / Isolated Alibaba and Tencent KMS gateway (pull_request) Failing after 4m53s
Build and Test Quality Gate / Python tests and Contract API migration (pull_request) Failing after 24m55s
Security Quality Gate / npm audit, Bandit, pip-audit, detect-secrets (pull_request) Failing after 8m42s
feat: deliver governed contract platform and async AI tasks
2026-08-26 12:53:47 +08:00
..

P1 首次价值 10 人可用性测试执行包

研究编号:P1-3MIN-20260823
状态:待招募 10 人;系统、匿名链接和数据看板已就绪
负责人:待指定

1. 研究目标

验证目标客户能否在没有产品人员代操作的情况下:

  1. 理解首页或行业场景表达;
  2. 选择合适模板;
  3. 使用每步不超过 7 个问题的向导生成首份草稿;
  4. 理解生成结果不是最终法律意见,并知道下一步可以审查、下载或审批。

退出标准:

  • 至少 8/10 人无指导完成首份草稿或成功发起审查;
  • 首份草稿生成中位耗时小于 180 秒;
  • 不出现导致任务无法继续的 P0 可用性问题;
  • 用户知道 AI 输出需要人工复核,且不会把脱敏演示样例误认为客户案例。

2. 样本配额

用户类型 人数 建议角色
中小企业采购/业务经办人 4 近 3 个月处理过采购、服务或 SaaS 合同
企业法务/合规人员 3 负责审查、模板或审批规则
中小企业负责人/管理员 2 关注成员、审批、审计和试点投入
高频个人合同用户 1 有真实起草需求但不是专业律师

不纳入:项目开发人员、已经熟悉本向导的测试人员、无法独立决定是否参加研究的人员。

3. 数据与隐私规则

  • 参与者只使用 P01 至 P10 匿名编号;招募联系人信息不得写入产品事件库。
  • 测试只使用本执行包提供的虚构/脱敏事实,不上传真实合同、身份证件、账号、银行卡或商业秘密。
  • 产品事件只记录模板编号、步骤、匿名研究编号和耗时,不记录表单值或合同正文。
  • 开始前告知参与者研究目的、记录范围、退出权利;录音录像须另行取得明确同意。
  • 观察记录不得写入不必要的个人信息。

4. 测试链接

将 {BASE_URL} 替换为参与者可访问的受控测试环境。开发机本地测试时为 http://127.0.0.1:3000。

完整的 10 个匿名任务路径见 participants.csv。路径中的 study 和 participant 会进入最小化事件流,用于管理员页面 /admin/product-analytics 汇总开始人数、完成人数和耗时。

5. 主持流程(每人 20–25 分钟)

  1. 说明研究目的、数据边界和“测试产品,不测试参与者”。
  2. 请参与者阅读首页,并用自己的话描述产品适合谁、能解决什么问题。
  3. 发放对应匿名任务路径,只提供任务目标,不解释界面操作。
  4. 从参与者开始寻找模板时计时;系统会从向导打开自动记录到草稿生成成功。
  5. 如参与者连续卡住 60 秒,记录卡点后才提供一级提示;提供任何提示即标记为“有指导”。
  6. 生成后追问:下一步会做什么?哪些内容仍需要人工确认?
  7. 完成 5 个简短访谈问题,并记录严重度。

任务后问题

  1. 哪一步最不确定?为什么?
  2. 哪些问题你不知道该填什么?
  3. 生成结果是否值得继续编辑或交给法务?
  4. 你是否清楚数据如何使用、AI 建议的边界是什么?
  5. 如果团队继续试用,下一位应该邀请谁?

6. 严重度口径

等级 定义 处理
P0 无法生成、数据越权、误导为正式法律意见 立即停止测试并修复
P1 多数用户无法自行完成核心步骤 下一轮研究前修复
P2 明显困惑但可绕过或完成 纳入近期体验迭代
P3 文案、视觉或偏好问题 进入常规优化池

7. 结果判定

管理员漏斗提供系统事实:开始、成功生成、失败、放弃、生成中位耗时和 3 分钟达标率。主持人记录补充定性事实:是否无指导、错误路径、困惑点和主观信心。

只有在 10 人样本完成后,才能正式判断“中位首次草稿时间小于 3 分钟”。单次工程 E2E 或内部人员数据不得当作目标用户结论。