7月26日、The Decoderが「Anthropic's Opus 5 blows past Fable 5 and GPT-5.6 Sol on the benchmark designed to measure real intelligence」と題した記事を公開した。この記事では、AnthropicのClaude Opus 5がAGI能力の測定を目的とするベンチマーク「ARC-AGI-3」でトップスコアを記録し、GPT-5.6 Solを大幅に上回ったことについて詳しく紹介されている。
GPT-5.6 Solの約4倍——ARC-AGI-3でOpus 5が叩き出したスコア
Claude Opus 5はARC-AGI-3で30.2%を記録し、リーダーボードのトップに立った。
これまでの最高スコアはOpenAIのGPT-5.6 Sol（Max）が記録した**7.8%**だった。Opus 5はこれを一気に4倍近く引き離した計算になる。Anthropic自社の「Fableクラス」モデル（同社が内部開発・運用するモデル群を指す）が約20%とされる中でも、Opus 5はそれを上回っている。
ARC-AGI-3は、モデルが訓練時に見たことのない新しいタスクをどれだけ解けるかを測るベンチマークだ。現行バージョンはゲーム形式で動作する。具体的には、色付きのセルが動くグリッドゲームのような未知の環境にモデルを置き、ルールを推論で導き出したうえで行動を計画し、ステップごとに実行させる形式をとる。蓄積された知識ではなく、汎用的な推論能力を測ることが目的とされている。
Opus 5は25個の公開デモ環境のうち5つの未解決環境を新たにクリアし、そのうち4つは人間レベル以上の成績を収めた。公開デモ環境の合計では6つが解決済みとなった。結果の詳細、リプレイ、ベンチマークコードはすべて公開されている。
「タスクを代数記法に変換」——研究者も驚いた未知の挙動
ARC Prize（ベンチマーク運営組織）の分析によると、Opus 5のリードは「より強力な論理的推論」に起因するとされ、「未知の環境での自律的な探索・計画・実行を可能にする」と説明している。
特筆されているのは、テスト中に研究者がこれまで見たことのなかった2種類の行動をモデルが自発的に示した点だ。
- タスクを代数記法に変換して処理した
- 反射方程式を独自に定式化した（初めての事例）
旧バージョンのベンチマークでの成績も参考として示されている。ARC-AGI-2では**90.4%、ARC-AGI-1では97.5%**を記録している。なお、これらの数値はいずれも公開時点での各バージョンのリーダーボード最上位と同水準であり、「Opus 5が旧ベンチマークを完全に攻略した」という文脈で示されている（ただしコストはやや高いとされる）。
「本当の汎用推論か、ベンチマーク特化か」——議論は続く
Anthropicはスコア改善の要因を公式には説明していない。ただし、Opus 5の開発はARC-AGI-3とそのフォーマットが公開された後であるため、ベンチマーク固有のスキルやパズル形式に対して訓練を絞り込んだ可能性は排除できない。
こうした疑問に対して、独立した検証も行われている。Guanghan Ningのプライベートベンチマーク「Witness」（インタラクティブパズルゲームを対象とする）では、Opus 5のスコアは43.4となり、Kimi K3やFable 5と統計的に同水準だった。ARC-AGI-3ほどの飛躍は見られず、なじみの薄いゲームではOpus 4.8を下回る場面もあった。Ningはこのパターンを「ジャンル特化のデータで訓練した場合の典型的な傾向」と評している。
一方、ARC-AGI-3の研究者の一人であるGreg Kamradt氏はX（旧Twitter）上で、「なじみのある仕組みのゲームは新規性への適応を測れない」「一つの弱い結果が全体的な改善を覆すわけではない」と反論している。
Ning自身もその後の投稿でトーンを修正し、「Opus 5はWitnessにも汎化している、ただしARC-AGI-3ほどではない」と述べている。彼はこの状況をコーディングベンチマークの進化になぞらえた——HumanEvalのような飽和したベンチマークから、頻繁に更新されるコンテストへ、そして今日のコーディングエージェントへと発展してきた経緯と同じ構図だ、という見方だ。
なお、外部ソフトウェア（「ハーネス」と呼ばれるエージェント補助機構）を使えばより高いスコアも出せるが、ARC Prizeの公式スコアはモデル単体の性能のみを対象としている。「真のAGIシステムは外部サポートなしで新規タスクを解くべき」というのがARC Prizeの立場だ。
詳細はAnthropic's Opus 5 blows past Fable 5 and GPT-5.6 Sol on the benchmark designed to measure real intelligenceを参照していただきたい。
