9月3日、ARC Prizeが「OpenAI's GPT-6 Astra on ARC-AGI-3」と題した記事を公開した。AGI研究の最前線ベンチマーク「ARC-AGI-3」において、OpenAIのGPT-6 Astraが99.9%というスコアを記録しただけでなく、ゲームプレイ中に独自の記号言語を自発的に構築するという予想外の振る舞いを見せた。
スコアの数字も驚異的だが、それ以上に研究者たちが注目しているのは「どのようにして解いたか」だ。Astraは明示的な指示なしに環境のルールを推論し、状態追跡のためのコードライクなショートハンドをその場で生成し、96%のレベルで人間の中央値より少ないアクション数でゲームを完了させた。ARC Prizeはこの結果を「ブルートフォース（総当たり的な試行錯誤）ではなく、理解に基づく問題解決」と表現している。
ARC-AGI-3とは何か
ARC-AGIは、2019年にFrançois Cholletが提唱した「汎用知能の測定」を目的とするベンチマークシリーズだ。初代ARC-AGIは視覚パターンの抽象的な変換を問うもので、GPT-4o登場後もAIが苦手とする領域として知られていた。その後、ARC-AGI-2でさらに難易度が引き上げられ、ARC-AGI-3では設計思想を大きく転換した。
ARC-AGI-3はターン制の抽象的なゲーム環境を舞台に、エージェントの「動的な知性」を測る。静的なパターン認識ではなく、環境の能動的な探索・ルールの推論・目標の特定・実行という4つの能力を問う設計だ。重要な点として、人間は100%解けるよう難易度が調整されており、「人間との残差ギャップ」を測ることがベンチマークの核心にある。自分で試すことも可能だ。
最も興味深い観察：独自の記号言語を自発的に構築
スコアの前に、この記事で最も注目すべき発見を紹介したい。Astraはゲームプレイ中に代数的ショートハンド——事前に学習した記法でも既存のプログラミング言語でもない、環境ごとにその場で生成するDSL（ドメイン固有言語）的な記号体系——を自発的に発展させた。
ARC Prizeが公開した具体例を以下に示す。
- ゲーム状態の記録：
L8: hub q2 (8↓). Lengths: 14=1…（レベル番号・回転インデックス・機構の長さを1行に凝縮） - 多段階プランの記述：
extend8 to3; retract10 to2; shorten8 to1（複数の機構に対する順序付き操作列） - 座標マッピング：
9−=(39,4), rotate=(49,18), 14+=(59,11)（操作とUI上の座標を対応付け） - 位置・時間の統合：
Turn 5: P=(24,20), empty, facing west（ターン数・座標・持ち物・向きを1エントリに）
ARC Prizeは「他のモデルでも類似した傾向は見られるが、Astraのノートは精度と情報密度で際立っていた」と評している。この振る舞いは指示されたものではなく、Astraが自律的に「作業記憶を外部化する」手段として発展させたものだ。
スコアの概要
GPT-6 AstraはARC-AGI-3 Semi-Privateで以下のスコアを記録した。
| 推論強度 | Standard harness | Provider Adapter harness |
|---|---|---|
| max | 62.7%、$26,098 | 98.6%、$17,332 |
| xhigh | 59.3%、$37,317 | 98.4%、$18,147 |
| high | 54.8%、$40,705 | **99.9%**、$18,817 |
| medium | 38.6%、$48,090 | 98.4%、$19,285 |
| low | 17.5%、$38,166 | 98.0%、$21,298 |
| none | 35.2%、$49,791 | 96.7%、$23,457 |
2種類のharnessが使われている。Standard harnessは、モデルが自分で選んだメモをセッション全体で持ち越せる最小限のプロバイダー中立インターフェースで、異なるモデル間を公平に比較するための設計だ。Provider Adapter harnessは、リクエスト間で不透明な推論状態を保持し、長い会話にはコンパクション（圧縮）を使うことで以前の作業を再利用できる設計——つまりOpenAIが提供するコンテキスト管理機能をフルに活用した条件だ。この設計の違いが、両者のスコア差（最大62.7% vs 99.9%）に直結している。
もう一点、推論強度を上げるほどコストが下がるという逆説的な結果も目を引く。推論強度maxではhighより安くなっているが、これはAstraがゲームをより少ないアクション数で解くため、モデル呼び出し回数とトークン数が減るからだ。
なお、人間のテスト参加者には1セッション（90分）あたり$115＋1ゲーム完了ごとに$5が支払われ、1ゲームあたり約$12.78のコストがかかった。脳の消費エネルギーを電力コストに換算すると、1ゲームあたり約0.067セントという試算も示されている。
行動効率：人間より少ないアクションでゲームを解く
ARC-AGI-3は「タスク完了」だけでなく行動効率も評価する。ゲームを解けたとしても、人間より多くの試行錯誤が必要なら効率は低いと判断される。
約500人の一般参加者（ゲーム未経験者から経験者まで）を対象に収集した人間ベースラインとの比較では、Provider Adapter harness（max）のAstraは96.0%のレベルで人間の中央値より少ないアクション数で完了し、レベルあたり平均51.7%少ないアクションで済んだ。
ARC Prizeはこの結果について重要な観察を加えている。「AIがゲームを解けたとしても、探索（アクション数）は人間より多くなるはず」という当初の予測に対し、フロンティアAIは二極化したパターンを示した——ゲームの仕組みを「理解」できなければ大量の試行錯誤が必要になるが、一度理解すると人間の効率範囲内で実行できるようになる、という観察だ。
カスタムツールの自作（PRO-LONGハーネス）
PRO-LONGハーネス（論文）を使った評価では、コードをサンドボックス上で実行できる環境でAstraが評価された。
この条件下でAstraは、ゲームごとにカスタムツール群を構築した。迷路・警備員・移動するパトロールが登場するtu93というゲームでは、maze_solver.pyから始まり、combat_solver.py、patrol_solver.py、sync_state.pyと、ゲーム固有のソフトウェアライブラリを段階的に構築していった。
ただし記事は条件の違いを明記している。人間のテスト参加者にはコードインタープリタやメモ帳などは提供されていないため、PRO-LONGの結果は「モデル単体の性能」ではなく「モデル＋ツールの複合性能」として解釈すべきとしている。
2つのharnessが問う、2つの問い
ARC Prizeは「将来のAGIはStandard harnessの条件でARC-AGI-3を解けるべきだ」という立場を取っている。Standard harnessでの最高スコアが62.7%にとどまっている事実は、プロバイダー固有の最適化を取り除いたときの性能の実態を示しており、今後の研究において重要な比較軸になりうる。
Provider Adapter harnessは「そのプロバイダーが設計したコンテキスト管理機能を使ったとき、どれだけのパフォーマンスが出るか」という別の問いに答えるものだ。両者は異なる問いに答えており、どちらが「本当の性能」というわけではない。99.9%というスコアを額面通りに受け取るのではなく、どの条件下で出た数字かを理解した上で評価することが求められる。
詳細はOpenAI's GPT-6 Astra on ARC-AGI-3を参照していただきたい。
