目次

ISUCON2026優勝に向けた準備は、何週間もかけて作り込んだハーネスを最小限のエージェント構成が上回ったことで、方向転換した。役に立ったのは、評価の信頼性を確保し、失敗が繰り返されて必要性が明らかになった箇所にだけ指示を追加することだった。

要点#

  • 159回、計674時間の評価を通じて、大会攻略には詳細な指示よりも信頼できるテストが役立つと分かった。
  • ISUCON13では、最小構成が1時間以内に、作り込んだハーネスの8時間での最高スコアを上回った。
  • 最終構成では運用上の制御を残しつつ、最適化の判断の大半をエージェントに委ねた。
  • 再起動確認、ベンチマークの分離、反復測定によって、目立つスコアの陰に隠れた失敗が明らかになった。

ハーネスに求めた役割#

ISUCONは、制限時間内にアプリケーションの性能を改善する競技だ。私の目標は、Claude Codeのセッションに、人の介入なしで8時間の最適化を任せることだった。

システムを、競技エージェント、その指示とツールを含むハーネス、評価ランナーに分けた。ランナーはAWS上に過去の競技環境を構築し、エージェントを起動して記録を収集し、終了後にインフラを削除した。サーバーを再起動してもアプリケーションが正常に動作するかもテストした。

準備期間は2026年8月3日から10月30日までだった。中心となる問いは、追加した各要素が、有効な最終スコアを改善するかどうかだった。エージェントを8時間動かし続けるだけでは不十分だった。

戦略より先に評価を作る#

最初の1時間のテストで、基本的な復旧の問題が露呈した。エージェントは4,957点に到達した後、アプリケーションを壊し、残り45分を復旧できないまま過ごした。Gitを使わずに48分間作業しており、最初のコミットに保存されたのは、すでに壊れた状態だった。

対策は運用面で行った。デプロイにはコミットを必須とし、ベンチマークの実行はHTTPポータル経由に移し、エージェントからベンチマークマシンへの直接アクセスをなくした。各実行では使い捨てのディレクトリと独立した設定を使い、個人用の指示、ツール、メモリによってテスト間の条件が変わらないようにした。

評価ランナー自体の検証も必要だった。ある実行は初期設定ウィザードで止まった。別の実行は、ランナーが誤って/exitを送ったため終了した。その後には、バックグラウンドで動くベンチマークが、エージェントの停滞を覆い隠した。監視がエージェントの実際の進捗を測っていることと、再起動検証の前にすべての負荷生成処理が止まることを確認する必要がある。

指示を増やして負けた理由#

作り込んだ構成のfullは、セットアップ、探索、収束、凍結の各フェーズを定めていた。指標の要約、最適化の手順集、仮説と判断を結び付ける構造化された記録も用意した。比較用の最小構成であるbareは、運用基盤を残しながら、こうした指針の多くを取り除いた。

9月22日、bareはISUCON13で開始1時間後に697,671点に到達した。それまでのfullの8時間での最高記録は688,906点だった。bareの最終スコアは873,282点だった。これらの実行から普遍的な性能比が分かったわけではないが、指示のコストを調べる価値は明らかになった。

fullはセットアップに50〜70分を費やし、探索中の出力トークンの51%を記録に使っていた。その指示は、小さな変更を順番に行う方針を促していた。一方、bareは2,309行を書き換え、12分以内にスコアを約3,300点から175,000点へ引き上げた後、必要な問いに答えるための測定スクリプトを書いた。10月5日、私はfullの開発を止め、22件のイシューをクローズした。

観測した失敗に基づいて制御を加える#

本番用の構成であるliteは、bareを出発点にした。以前のワークフローを戻すのではなく、評価で見つかった失敗への対策を追加した。

  • APIエラーでターンが終了したら再開させる。ただし、正当な待機中に繰り返しプロンプトを送らない。
  • 起動時に、提供された競技資料を読むことを必須にする。
  • 制限時間が近づいたら、再起動検証と最終ベンチマークを促す。
  • 進捗が停滞したら、監査役のサブエージェントに見落としている方向性を提案させる。

監査役のチェックリストは、過去の実行で逃した改善機会をもとに増やした。各項目には、元の問題名を挙げずに、一般的な最適化の観点を記した。その役割は検討の幅を広げることであり、提案の検証は引き続き競技エージェントが担った。

文書を増やせば、fullの負担を再現しかねない。そのため、報告要件を追加するたびに、判断の改善や失敗の削減に役立つことが求められた。

最高値ではなく結果を検証する#

スコアには大きなノイズがあった。ある実行では、同じコミットに対する58回のベンチマークで、スコアに21%の幅があった。そのため、終盤の自己ベストは改善ではなく、ばらつきによる可能性があった。変更していない実装を繰り返し測ることで、両者を区別しやすくなった。

評価の不備がエージェントの方向を変えることもあった。ベンチマークサーバーのファイルディスクリプタ上限が原因の失敗を、エージェントはアプリケーションのボトルネックと解釈した。別の比較では、当初ハーネスが原因と疑われたスコア差が、0.18ミリ秒と0.38ミリ秒というネットワーク往復時間の違いで説明できた。

妥当性に関する最大の問題は、永続化だった。データをメモリ内にしか保存しないアプリケーションが、再起動テストに合格していた。テストが何かを確認する前に、データを新規に初期化していたためだ。私は7問にわたる114回の実行を見直し、再起動後、初期化前の確認を追加し、再起動の順序もランダムにした。モデルが過去の問題の詳細を再現できる可能性があるため、以前の結果にも留保が必要だった。未見の問題や独自の問題から、追加の裏付けを得た。

次の一歩#

指示をもう一つ追加する前に、現在のハーネスと最小構成を同じタスクで実行し、有効な最終結果、最初の改善までの時間、記録に費やしたトークン数を比較してほしい。

出典: https://zenn.dev/luvtechno/articles/isucon2026-preparation

目次