目次
AIエージェントにコードを書かせても、人が一行ずつ見て直していては処理量に限界がある。Lauren Tanの考え方は、モデルへの指示を増やすより、ミスを防ぎ、自分で検証できる開発環境を整えることにある。
要点#
- 信頼はプロンプトより、型や依存関係などコードベースの仕組みで担保する。
- エージェントのミスは、LintやCIで再発しないルールに変える。
- 正しさを確かめる検証CLIと、品質を高めるPlaybookを分けて用意する。
- エージェントが既存コードを模倣する前提で、悪い例や場当たり的な修正を片付ける。
- 自動化は小さな検証から始め、失敗時に人へ戻せる経路も整える。
信頼を仕組みにする#
Lauren Tanは、SpaceXのAIチームで月2,000件のPRを出荷した経験をもとに、「Trust Engineering(信頼構築エンジニアリング)」を語っている。ポイントは、エージェントをずっと監視するのではなく、間違いにくく、間違いを自分で見つけられる環境をつくることだ。
信頼を支える仕組みには優先順位がある。強いのは、型システムやデータ構造で不正な状態を表現できなくすること。次にLintやコンパイラ、CIで問題を止める。手順書や自然言語のルール、人のレビューは補助として使う。
説明文を追加するだけでは、同じミスを防げないことがある。繰り返し起きる問題は、できるだけコードや検証ルールに落とし込む。
ミスを再発させない#
エージェントは、周囲にあるコードを手本にしやすい。古い回避策や一時しのぎの実装が残っていると、それを正しいパターンとして広げる可能性がある。コードベースは、エージェントが何を真似するかまで含めて整える必要がある。
まず、エージェントが繰り返すミスを一つ選ぶ。たとえば特定のAPIの誤用なら、Lintルールで検出する。データの不整合なら、型やデータ構造を見直し、そもそも不正な値を渡しにくくする。修正に時間がかかる場合も、先に検出を自動化して増殖を抑えられる。
Laurenが紹介するフレームワーク「Dune」の方針は、技術負債を減らし、推奨パターンを絞り、見つけたアンチパターンをLintにすること。コメントを全面禁止する設計も紹介されているが、チームのコードベースにそのまま適用するより、コメントで回避策を正当化していないかを見直すところから始めたい。
自分で検証できる道具#
エージェントが「直しました」と報告するだけでは、修正が正しい証拠にはならない。起動、テスト、計測を決まった手順で実行できる検証CLIを用意すると、エージェントも人も同じ方法で結果を確かめられる。
動画で紹介された「ControlGlass」は、Chrome DevTools Protocol(CDP)を使い、アプリの操作やトレース、Heap Snapshotの取得を支援する例だ。まずは既存のテストや計測ツールをCLIから呼び出せるようにし、実行結果を機械で判定できる形にする。専用ツールの導入は、その後でよい。
正しさの確認と、品質の改善は分けて考える。テストや計測は、動作や性能に問題がないかを確かめる。コードの設計やデバッグ手順は、Playbookにまとめてエージェントへ渡す。紹介されている「Pystack」は、シニアエンジニアの作業手順をスキル化する考え方の例だ。
小さく自動化を広げる#
信頼できる検証が整えば、バグ報告などのイベントをきっかけに、エージェントを自動で動かす流れも作れる。報告を受けて再現し、修正案を作り、テストや計測の結果を添えてPRを出す、といった形だ。Laurenはこうした外側の自動化を「Outer Loop」と呼んでいる。
いきなりPR作成まで任せる必要はない。最初は、バグ報告から再現手順と失敗するテストを作るところまでに絞る。結果が安定したら修正案の作成へ進み、最後にPR作成をつなぐ。各段階で失敗を検知でき、人が引き取れるようにしておく。
月2,000件という数字だけを目標にすると、レビュー負荷や不具合の増加を見落としかねない。PR数に加えて、検証の通過率、差し戻しの理由、修正後の不具合を記録し、自動化の範囲を調整する。
次の一歩#
エージェントが最近繰り返したミスを一つ選び、Lintか型の制約で再発を防げるか確認する。まずは検出ルールを追加し、CIで失敗を見えるようにしよう。
出典: https://zenn.dev/dragon1208/articles/506d19d4adb0c4
目次
