9月12日、Matthias Bastianが「GPT-6 Astra appears to show a "step change" in spatial reasoning based on early benchmarks」と題した記事を公開した。ロボットアームによる物体操作は、視覚・空間認識・運動計画を同時に要求する難易度の高いタスクであり、既存の視覚言語行動モデル（VLA）はスコアの伸び悩みが続いていた。そうした背景のなかで、OpenAIのGPT-6 Astraが新たなロボティクスベンチマークにおいてAi2のMolmoAct2を大きく上回る結果を示し、注目を集めている。
GPT-6 Astraがロボティクスベンチマークで突出した結果
新たなロボティクスベンチマーク「StationeryBench」において、OpenAIのGPT-6 AstraがAi2のMolmoAct2と比較評価された。StationeryBenchは、デスク上の文房具を扱う5種類の物体操作タスク（マーカーのキャップを外す、クリップをこぼす、2本のロボットアーム間でルーラーを受け渡すなど）で構成されている。評価は、デュアルアームロボット「YAM」を両モデルが制御する形式で実施された。YAMは2本の独立したアームを持つ汎用ロボットプラットフォームであり、細かな把持動作や物体間の受け渡しといった空間的に複雑な操作を要求する点が特徴だ。
各モデルにつき100試行ずつ、合計200試行にわたってテストが行われた。評価軸は「5タスクのうち何タスクを完全達成できたか（各モデル100試行中の合計）」と「中央値進捗スコア（各タスクの達成度を0〜100で数値化したものの中央値）」の2点である。
結果は明確な差がついた：
| モデル | タスク完全達成数（100試行中） | 中央値進捗スコア（/100） |
|---|---|---|
| GPT-6 Astra | 7 | 46 |
| MolmoAct2 | 0 | 12 |
Astraが7タスクを完全達成したのに対し、MolmoAct2は完全達成がゼロ。進捗スコアの中央値でも46対12と、大きな開きがある。全結果、動画、コードはGitHub上で公開されている。
「空間推論のステップチェンジ」とAI研究者が評価
AI研究者のYoav Artziは、Astraの性能を「空間推論における段階的ジャンプ（step change）」と表現した。なお、元記事におけるArtziの所属表記については、CornellおよびGoogle DeepMindとの関係が示唆されているが、正確な現職・兼任関係については元記事および本人のプロフィールを参照されたい。
Artziはまた、未公開ベンチマーク「REMAP」においても、GPT-6 Astraが人間レベルに近い精度に達していると述べている。ただし、「他のシナリオではAstraでも人間には及ばない」とも注記しており、結果の解釈には慎重さが必要だと釘を刺している。
パフォーマンス向上の背景についてArtziは、OpenAIがBlenderシーンのような大量の3Dデータでモデルを訓練させた可能性を指摘している。AstraがとくにN3Dタスクで顕著な向上を示していることと一致する見方だ。
「ASTRAは空間推論においてステップチェンジを示している」
— Yoav Artzi (@yoavartzi)
VLAモデルの現状とAstraの位置づけ
視覚言語行動モデル（VLA）は、カメラ映像などの視覚入力と自然言語指示を組み合わせてロボットの行動を生成するモデル群の総称だ。近年はGoogle DeepMindのRT-2やPhysical Intelligenceのπ0など、大規模な事前学習を活用したモデルが相次いで登場しているが、デスク上の細かな物体操作や複数アーム間の協調動作といった高度な空間推論を要するタスクでは依然としてスコアが低い水準にとどまることが多い。今回のStationeryBenchにおけるMolmoAct2の完全達成ゼロという結果も、その難しさを端的に示している。
Astraの中央値進捗スコア46、完全達成7タスクという数字は、この文脈では際立った成果だ。一方で、完全達成率が7%にとどまっている点は見落とせない。「ステップチェンジ」と評価されつつも、実用水準との距離は依然として大きく、初期ベンチマークの結果を過大評価しないよう注意が必要だ。
OpenAIのロボット戦略との接続
OpenAIはすでにコンシューマー向けロボットの自社開発を長期計画として持っており、今回の空間推論性能の向上はその布石とも読める。物理空間の認識・操作能力はロボット制御の核心であり、Astraの今回の結果はその方向性に沿ったものだ。3Dデータによる大規模訓練という仮説が正しければ、今後のモデル世代でさらなるスコア向上が見込まれる可能性もある。ただし、この点は現時点では推測の域を出ない。
詳細はGPT-6 Astra appears to show a "step change" in spatial reasoning based on early benchmarksを参照していただきたい。
