目录

在 SRE Holdings 的试验中,Claude Code QA 团队报告了 68 项问题,经审核后有 9 项转为工单。其中 8 项是仅由 AI 团队发现的缺陷。最有效的管控措施是驳回误报的流程,但漏检的 4 项缺陷表明,PASS 判定也需要单独检查。

要点#

  • 在 6 轮、146 个测试用例中,AI 团队发现了 8 项其他测试人员未报告的缺陷。
  • 68 项问题中有 20 项误报,其中 5 项通过了 AI 验证。
  • 持怀疑态度的验证人员有助于驳回误报,但若沿用测试人员的观察方法,也可能重蹈覆辙。
  • 驳回误报并不能防止错误的 PASS 判定。对于预期结果,也需要明确核实实际值。

明确各智能体的职责#

试验以两款内部业务 SaaS 应用为对象,结合预先定义的测试用例与探索性测试。这是一次小规模的运行试验,并不能证明 AI 可以替代 QA 团队。

Claude Code 按以下分工开展工作。

  • 负责人: 阅读规格说明,准备测试用例和探索性测试目标,分配工作,汇总问题。
  • 测试人员: 操作屏幕上显示的 Chrome 窗口,执行分配的用例,收集截图。
  • 验证人员: 采用不同的观察方法质疑每项问题,返回 CONFIRMED、REJECTED 或 NEEDS-INFO。
  • 人类 PM: 提供规格说明、完成登录、审核计划,并决定哪些问题转为工单。

每位测试人员都配备了独立的 Chrome 实例。不过,分开浏览器并不能保证测试的独立性,因为账号之间可能共享组织数据或使用限额。

创建工单前筛选问题#

团队在观察到问题至创建工单之间设置了 4 个审核阶段。每个阶段分别处理可能产生无效工作的不同因素。

| 阶段 | 处理方式 | 结果 | |---|---|---| | 测试人员报告 | 收集操作步骤、截图、预期行为和自查结果 | 68 项问题 | | 负责人审核 | 排除重复项、规格疑问和已知问题 | 排除 22 项,剩余 46 项 | | 独立验证 | 质疑问题是否成立,验证是否存在其他解释 | 驳回 15 项 | | 人工审核 | 对照规格说明和项目背景核查剩余问题 | 22 项未建单,9 项转为工单 |

未转为工单的 59 项并非全是误报。其中有些与现有工作重复,有些则是项目已接受的行为。确认的误报共 20 项,包括验证阶段驳回的 15 项,以及人工审核拦下的 5 项,约占全部问题的 29%。

要求测试人员说明如何排除了操作失误的可能性。规格不明确时,应作为疑问提交,不要直接认定为缺陷。

改变验证方法#

如果验证人员只是重复同样的错误观察,效果就很有限。试验揭示了几种自信报告却出错的模式。

  • 按钮看似没有响应。 辅助工具选中了隐藏的重复按钮,点击坐标 (0,0) 后报告成功。团队修改了辅助工具,使其在没有可见目标时停止。
  • 看似没有显示错误。 测试人员和验证人员都漏看了 2 秒后消失的 Toast 提示。需要在操作后立即截图,并核实准确的提示内容。
  • 计数器看似减少了两次。 另一位测试人员正在使用同一组织的共享配额。产品行为正确,是并行测试影响了观察结果。
  • 某行看似被禁用。 行的颜色是鼠标悬停造成的。移开指针后,作为证据的显示效果就变了。

每项问题都必须附上新截取的截图、明确的复现步骤,以及“5 次中复现 3 次”之类的结果。还要记录尚未排除的其他解释。不能因为该栏为空,就认为所有可能性都已排除。

单独审查 PASS 判定#

AI 团队发现了统计汇总错误、搜索条件未生效等重要缺陷。但同时也漏检了测试范围内的 4 项缺陷。在一份报告中,尽管某个值是另一页面计算所得对应值的 14.5 倍,却因为预期字段已显示而被判为 PASS。

验证人员审核的是已报告的问题,没有人负责系统性质疑 PASS 判定。回顾出现漏检的那一轮用例后发现,没有一个用例核实了数值本身。

将预期结果写成可观察的比较。把“显示金额字段”改为“金额与对照页面的对应值一致”。安排专人审核涉及计算和业务规则的 PASS 判定证据,并涵盖金额为零等边界情况。

明确限制#

这套机制需要持续维护、人工登录,以及处理大量截图。据来源介绍,工具包的搭建和改进耗费了 24 个工作日、140 次提交。文中未提供成本节省的实测数据或运行时间对比。

在运行智能体前,先明确操作边界。

  • 使用测试环境,并要求明确指定目标 URL 和浏览器连接地址。
  • 由人类管理登录和凭据。
  • 创建工单、删除、权限变更和配置变更必须经过批准。
  • 尽可能隔离共享测试数据,涉及共享计数器的测试按顺序执行。

下一步#

用这套工作流测试一个功能,并明确负责的审核人员。在接受执行结果前,请其同时核查报告的缺陷,以及涉及计算的 PASS 判定依据。

来源: https://zenn.dev/sre_holdings/articles/d4acb079680a79

目录