9月4日、The Decoderが「Benchmarks disagree on GPT-6 Astra, but its human-beating efficiency on ARC-AGI-3 pulls Chollet's AGI forecast forward」と題した記事を公開した。OpenAIの最新モデルGPT-6 AstraがARC-AGI-3ベンチマークで見せた効率性は、スコアの数値以上に注目に値する。ARC Prizeの共同創設者François CholletはこれをきっかけにAGI到来予測を前倒しに修正しており、その背景と根拠を詳しく紹介する。
スコアより「効率」が語るもの
ARC-AGI-3は、AIを「ルールも目標も一切説明されない見知らぬゲーム世界」に放り込み、試行錯誤だけで攻略させるベンチマークだ。人間が「何も教わらずに適応する」能力を測るよう設計されており、従来のLLMが苦手とする汎化能力を問う。
GPT-6 Astra（以下、Astra）のARC-AGI-3スコアは**62.7%。前世代のGPT-5.6 Solが7.78%、AnthropicのClaude Opus 5が30.16%だったことと比べると、一世代で跳ね上がっている。OpenAIが公表した99.9%**という数値は、OpenAI独自のハーネス（推論チェーンを引き継ぎ、長い実行を自動要約する仕組み）を使った条件下のものであり、ARC Prizeがベンダー間の公平な比較に使う数値は62.7%とされている。
一方、後述するAA Intelligence IndexではAstraとSolはともに61点で横並びという結果も出ており、ベンチマークによって評価が大きく割れる。ARC-AGI-3における跳躍が特別に際立っているのは、単なるスコアの差だけでなく、「どのように」クリアしたかという点にある。
| ベンチマーク | Astra | Sol | Fable 5.1 | Opus 5 |
|---|---|---|---|---|
| ARC-AGI-3（未知ゲーム世界） | 62.7% | 7.8% | データなし | 30.2% |
| ARC-AGI-2（抽象視覚パズル） | 95.0% | 92.5% | 90.0% | 90.4% |
| ARC-AGI-1（旧版） | 98.5%* | 97.5% | 97.5% | 97.5% |
| FrontierMath Erdős | 3% | 0% | 0% | データなし |
| Epoch ECI（総合） | 169 | 162 | 163 | 162 |
*xhigh推論設定時。max設定では97.5%。ARC-AGI-1は現在ほぼ飽和状態とみなされている。
注目すべきは、コストと推論レベルの関係が逆転していることだ。通常、推論レベルを上げるほど計算コストが増す。Astraでは逆になる。推論なしで$49,791かかるところ、最大推論レベルでは**$26,098**に下がり、スコアは35.2%から62.7%に上昇する。Astraはゲームを少ない手数で解くため、モデルの呼び出し回数とトークン数が減るからだ。
人間テスターの参加報酬は90分セッションあたり$115＋1ゲームクリアごとに$5、約9試行で1ゲームあたり**$12.78。ただし脳の代謝エネルギーだけで換算すると0.067セント/ゲーム**になるとARC Prizeは計算しており、効率の絶対値では人間に軍配が上がる。
より意味のある比較は「人間の中央値手数」との対比だ。ARC Prizeは事前にスクリーニングなしの約500人にゲームをプレイさせ、各レベルを解いた人の中央値手数を記録していた。OpenAIハーネスでのAstraの実行では、レベルの96%を中央値より少ない手数でクリアし、平均は中央値の半分強だった。これは計算量ではなく「環境を習得するまでに必要な試行数」を測る指標であり、ここが組織が人間の優位が続くと見込んでいた領域だった。
モデルが自分で記号体系を発明する
Astraがどうやって効率を実現しているかも報告されている。Astraはゲームプレイ中に独自のメモを取り、代数的なショートハンドを自分で考案する。たとえば：
extend8 to3; retract10 to2 （手順の列）
Turn 5: P=(24,20), empty, facing west （状態メモ）
ARC Prizeは他のモデルでも類似の行動を観察しているが、Astraの精度と情報密度を特に評価している。標準ハーネスではモデルが明示的に保存しない情報はすべて失われるため、この能力が直接スコアに効く。
ARC-AGIの共同創設者François CholletはX上でのコメントで、これを「各ゲームと各レベルに対して即興で行う、高効率なシンボリック世界モデリング」と表現した。さらに「Astraは以前は洗練されたハーネスでのみ見られたシンボリックモデリング行動を示しており、ハーネスの能力がモデル自体に移行しつつある」と指摘している。
外部ツールを与えた条件（PRO-LONGフレームワーク）では、Astraはゲームごとに小さなプログラムライブラリを自作した。迷路ゲームでは、パスファインダー、戦闘ルールモジュール、警備員のパトロール動線モデル、自分の予測を観測と継続的に照合するスクリプトを順番に開発した。サンドボックスからの脱出試みは観察されなかったとARC Prizeは記している。
Cholletが「2030年より早い」と発言した背景
ARC-AGI-3のリリースは約6ヶ月前。Cholletはその時点でベンチマークの飽和時期について「アプローチの集中度にもよるが1年程度」と答えていた。Astraはその約2倍の速さで現れた。
これを受けてCholletはAGIに関する従来の予測を修正している。「2030年という以前の予測は今も有効か」というユーザーの問いに対し、「より早い。進歩が予想より速く進んでいるから」と簡潔に答えた。
ただしARC Prizeは、今回の結果をAGIの証拠とは解釈していない。「このシステムについてわかっているのはベンチマークスコアだけ」とCholletは記しており、ARC-AGI-3自体についても「決定論的なメカニクス、閉じた目標設定、現実世界の表現なし」という限界を認めている。ARC-AGI-4はすでに開発中で、2027年第1四半期にリリース予定。再帰的な自己改善やオープンイノベーションの評価も視野に入れているという。
ベンチマーク横断では評価が割れる
ARC-AGI-3での跳躍とは裏腹に、他のベンチマークでの評価は一様ではない。Artificial AnalysisのAA Intelligence IndexではAstraとSolはともに61点で横並びであり、ARC-AGI-3単体での突出ぶりが全モデル共通の総合指標には反映されていない格好だ。
コーディング領域ではさらに明確な差が出る。AnthropicのFable 5.1がAA Intelligence Indexのコーディングカテゴリで70点を記録し、Astraの67点を上回っている。Fable 5.1はOpenAI製ではなくAnthropicのモデルであり、コーディング特化の文脈ではAstraが必ずしも首位ではないことを示している。GDPval-AA v2（対話型の汎用タスク評価）では約80 Eloポイントの後退が見られ、バンキングサポートやSciCode、長文脈推論といったタスクでも数値が落ちている。これらの後退は、Astraが「汎用的な底上げ」よりも「特定の能力に特化した跳躍」をしている可能性を示唆する。
コスト面ではSolの2.5倍の単価になる一方、Anthropicとの比較では逆転する。コーディングタスクでFable 5.1と同等のスコアを出しながら、コストは半分以下だ。Solの3分の1、Opus 5の5分の1の計算ステップしか使わないためとされている。
またFrontierMath Erdős（Lean検証付き証明が必要な未解決数学問題68問のベンチマーク）では、Astraのみが1回$300の予算で68問中2問を解いた。これが公式スコアの3%に相当する。別途$220,000超を投じた追加実行でさらに3問が解かれたが、Epoch AIはこれを公式スコアとしてカウントしておらず、費用対効果を考慮した現実的な到達点としては2問（3%）が現時点での指標となっている。他モデルはいずれも0%であり、難解な未解決数学問題への対応においてAstraが唯一の突破口を開いたことは確かだ。
詳細はBenchmarks disagree on GPT-6 Astra, but its human-beating efficiency on ARC-AGI-3 pulls Chollet's AGI forecast forwardを参照していただきたい。
