目次

SRE Holdingsの試行では、Claude CodeのQAチームが68件を指摘し、レビューを経て9件がチケット化された。そのうち8件は、AIチームだけが発見したバグだった。最も有効な管理策は誤った指摘を却下するプロセスだったが、4件のバグの見逃しから、PASS判定にも別途チェックが必要だと分かった。

要点#

  • 6ラウンド、146件のテストケースを通じて、AIチームは他のテスターが報告していなかったバグを8件発見した。
  • 68件の指摘のうち20件は誤報で、そのうち5件はAIによる検証を通過していた。
  • 懐疑的な検証担当は誤った指摘の却下に役立ったが、テスターと同じ観察方法を繰り返すと、同じ間違いを再現しかねなかった。
  • 誤報を却下しても、誤ったPASS判定は防げなかった。期待結果についても、実際の値を明示的に確認する必要があった。

各エージェントの役割を明確にする#

試行では、社内向け業務SaaSアプリケーション2つを対象に、事前定義したテストケースと探索的テストを併用した。小規模な運用試行であり、AIがQAチームを代替できることを示すものではない。

Claude Codeは、次の役割分担で作業を進めた。

  • リーダー: 仕様を読み、テストケースと探索的テストの目標を用意し、作業を割り当て、指摘を集約する。
  • テスター: 画面に表示されたChromeウィンドウを操作し、割り当てられたケースを実行して、スクリーンショットを収集する。
  • 検証担当: 異なる観察方法で各指摘を疑い、CONFIRMED、REJECTED、NEEDS-INFOのいずれかを返す。
  • 人間のPM: 仕様の提供、ログイン、計画のレビューを行い、どの指摘をチケット化するか判断する。

各テスターには個別のChromeインスタンスを用意した。ただし、ブラウザーを分けてもテストの独立性は保証されない。アカウント間で組織データや利用上限を共有している場合があるためだ。

チケット化の前に指摘を絞り込む#

チームは、観察からチケット化までに4段階のレビューを設けた。各段階で、不要な作業を生む異なる要因に対処した。

| 段階 | 対応 | 結果 | |---|---|---| | テスターの報告 | 手順、スクリーンショット、期待する動作、自己確認の結果を収集 | 68件の指摘 | | リーダーのレビュー | 重複、仕様に関する質問、既知の問題を除外 | 22件を除外し、46件が残存 | | 独立した検証 | 指摘の妥当性を疑い、別の説明が成り立つか検証 | 15件を却下 | | 人間のレビュー | 残った指摘を仕様とプロジェクトの経緯に照らして確認 | 22件は起票せず、9件をチケット化 |

チケット化されなかった59件が、すべて誤報だったわけではない。既存の作業と重複するものや、プロジェクトですでに許容していた動作もあった。誤報と確認されたのは20件で、検証中に却下された15件と、人間のレビューで止められた5件を合わせ、指摘全体の約29%に当たる。

テスターには、操作ミスの可能性をどう除外したか説明させる。仕様が不明確な場合は、不具合と断定せず質問として提出させる。

検証方法を変える#

検証担当が同じ誤った観察を繰り返すだけでは、効果は乏しい。試行では、自信を持って報告された内容が誤りとなるパターンがいくつか明らかになった。

  • ボタンが反応しないように見えた。 補助ツールが非表示の重複ボタンを選び、座標(0,0)をクリックして成功と報告していた。表示中の対象がなければ停止するよう、補助ツールを変更した。
  • エラーが表示されないように見えた。 テスターと検証担当の両方が、2秒で消えるトースト通知を見逃した。操作直後のスクリーンショットと、正確なメッセージの確認が必要だった。
  • カウンターが2回減ったように見えた。 別のテスターが同じ組織の共有利用枠を使っていた。製品の動作は正しく、並行テストが観察結果に影響していた。
  • 行が無効化されているように見えた。 行の色は、ポインターが重なっていたためだった。ポインターを離すと、証拠となる表示が変わった。

各指摘には、新たに撮影したスクリーンショット、明確な再現手順、「5回中3回再現」といった結果を必須とする。未解決の別の説明も記載させる。欄が空だからといって、すべての可能性を除外できたと解釈してはならない。

PASS判定を別途監査する#

AIチームは、統計集計の誤りや検索条件が適用されない問題など、重要な不具合を発見した。一方で、テスト範囲内のバグを4件見逃した。ある報告では、値が別画面で算出した対応値の14.5倍だったにもかかわらず、期待された項目が表示されていたためPASSとなった。

検証担当がレビューしたのは、報告された問題だった。PASS判定を体系的に疑う担当者はいなかった。見逃しがあったラウンドのケースを見直すと、値そのものを確認したケースは1つもなかった。

期待結果は、観察可能な比較として記述する。「金額欄が表示される」を「金額が比較先画面の対応する値と一致する」に置き換える。金額ゼロなどの境界ケースを含め、計算や業務ルールに関わるPASS判定の証拠をレビューする担当者を置く。

制約を明示する#

この仕組みには、継続的な保守、人間によるログイン、大量のスクリーンショット処理が必要だった。出典によると、キットの構築と改良には24稼働日と140コミットを要した。コスト削減の実測値や実行時間の比較は示されていない。

エージェントを動かす前に、運用上の境界を定める。

  • テスト環境を使い、対象URLとブラウザー接続先の明示を必須にする。
  • ログインと認証情報は人間が管理する。
  • チケットの起票、削除、権限変更、設定変更には承認を必須にする。
  • 共有テストデータは可能な限り分離し、共有カウンターに関わるテストは順番に実行する。

次の一歩#

1つの機能をこのワークフローでテストし、担当レビュアーを明確にする。実行結果を受け入れる前に、不具合として挙げられた指摘と、計算に関わるPASS判定の根拠の両方を確認してもらう。

出典: https://zenn.dev/sre_holdings/articles/d4acb079680a79

目次