目次
約1,400件のClaude Codeセッションを分析したところ、2026年11月3日前後に急激な変化が見つかり、コーディング結果の悪化も報告された。この証拠は挙動の変化を調査する根拠にはなるが、Claude Opus 5.5の根本的な推論能力が低下したとまでは立証していない。
要点#
- Shane Melaugh氏は、11月3日以降、最初の推論が短くなり、実行・編集エラーの指標が47%増加したと報告した。
- あるデバッグの比較では、「high」設定は160回のやり取りでも解決できなかった一方、「xhigh」は5回で成功したという。
- Theo Browne氏による約45万8,000件の応答の別分析では、表示される推論に変化が見られたものの、同氏の環境では能力の低下は確認されなかった。
- 表示される推論は生成された要約であり、その文言の変化だけでは推論能力の低下を立証できない。
11月3日に何が変わったのか#
開発者のShane Melaugh氏は、Claude Opus 5.5が以前はこなせていたタスクに苦戦していることに気づき、調査を始めた。提供されたGIGAZINEの記事によると、同氏はGemini 4 Argonを使い、2026年10月9日から11月7日までに記録された約1,400件のClaude Codeセッションを分析した。
分析では、11月3日前後、日本時間では11月4日午前3時ごろに、表示される推論の文言が急変していた。「I’m」で始まる文は約20~30%から61.3%に増えた。「I should」や「I need to」といった表現は、約50%から10.9%に減った。
報告された変化は、すでに進行中だった7件のセッションでも見られた。このことからサービス側の変更を調べる価値はあるが、どの構成要素が変わったのか、そのためにタスクの成績が悪化したのかは特定できない。
性能に関する証拠#
Melaugh氏は、変更前の1万4,560回と変更後の1万4,871回のやり取りも比較した。報告によると、推論の労力を「high」に設定していても、最初のアクションまでに使われた思考トークン数の中央値は84から54へ、約36%減少した。
スクリプト実行とプログラム編集のエラーに関する指標は47%増加した。これらの数値は、文体の変化よりもコーディングの信頼性に関係するが、その解釈は指標の定義やタスクが比較可能だったかどうかに左右される。
また、分析対象のやり取りの40.5%では、思考トークンの出力がなかったと報告された。これを、モデルが内部で推論を一切行わなかった証拠と解釈すべきではない。記録された出力、表示される要約、内部の計算処理の関係を確認する必要がある。
highとxhighの比較#
最も明確な実例は、同じプログラムの音声再生バグを修正する試みだった。Melaugh氏は次の結果を報告した。
| 設定 | やり取りの回数 | 報告された結果 | 報告された費用 | |---|---:|---|---:| | high | 160 | 約3時間後も未解決 | 13ドル | | xhigh | 5 | 修正完了 | 0.85ドル |
報告された思考トークン数の最大値は、highが1,941、xhighが12,837で、約6.6倍の差があった。この試行では、より多くの推論を許す設定のほうが、総費用も低くなった。
これは、デバッグが行き詰まったときに推論の労力設定を試す有用な理由になる。ただし、xhighが常に32倍効率的だと結論づけるには不十分だ。バグは1件だけで、実行経路やセッションの文脈も異なる可能性があるため、一般的な性能比は導き出せない。
結論が定まらない理由#
提供された記事はAnthropicの文書を引用し、ユーザーに見えるのは内部処理の直接的な記録ではなく、別のモデルが生成した推論の要約だと説明している。要約モデルの変更であれば、能力が変わらなくても文言が大きく変化した理由を説明できる。
開発者のTheo Browne氏は、Claude Opus 5.5の応答を約45万8,000件調べたと報告した。同氏は、アカウントごとに10月30日から11月4日の異なる時点で文言が変化していることを確認し、要約モデルがアカウント単位で順次導入された可能性があると解釈した。同氏のデータでは、応答あたりの平均思考トークン数は369から413に増えており、能力低下の兆候はなかったという。
これらの結果は、Melaugh氏の経験を否定するものではない。むしろ、主張が未解決である理由を示している。ユーザーによって観測結果が異なり、どちらの分析も、全般的な低下を証明する、条件を統制した再現可能なベンチマークを提示していない。提供された11月10日付の記事の時点では、原因は特定されていなかった。
次の一手#
再現可能な失敗タスクを1つ選び、highとxhighを対にしてテストする。同じコードのスナップショットと同じプロンプトから開始し、修正が同じテストに合格するか、経過時間、総費用を記録する。完了した結果に基づいて設定を選び、表示される推論の変化は調査のきっかけとして扱おう。
出典: https://gigazine.net/news/20261110-claude-opus-nerf/
目次
