9月13日、The Decoderが「GPT-6 Astra pilots a surveillance drone and runs a business on its own」と題した記事を公開した。OpenAIのGPT-6 Astraが、AIエージェントベンチマーク2種類で既存モデルを大きく上回る結果を示した。自動販売機経営シミュレーションでは競合モデルの約3倍の収益を記録し、自律ドローン操縦では全5タスクのベースラインを超えた史上初のモデルとなった。
自動販売機経営で、AstraはClaude Fable 5.1の約3倍を稼いだ
評価を実施したのはAndon Labsだ。同社はAIエージェントの長期自律動作能力を測定することに特化した独立系評価機関で、Vending-BenchとDrone-Benchという2種類のベンチマークを独自に運用している。アカデミア系の研究機関ではなく、ベンチマーク設計・運用を事業とするスタートアップであり、テストへの最適化を防ぐためモデル開発者にはベンチマークへのアクセスを一切与えず、評価はすべて自社で実施している。
Vending-Benchでは、各モデルに$500を与え、仮想的な自動販売機ビジネスを1年間（シミュレーション）運営させる。仕入れ先の選定、価格交渉、在庫発注、販売価格の設定まで、すべてAIが自律的に判断する。
6回の試行平均で、GPT-6 Astraは$15,515を稼いだ。対してClaude Fable 5.1は平均$5,422。Fableの最良結果が$9,874だったのに対し、Astraの最低結果は$13,272で、全試行においてAstraがFableを上回った。Andon Labsによれば、この差はVending-Bench史上最大のスコア差だという。
差が顕著に出たのは仕入れ交渉の一貫性だ。Fable 5.1はシミュレーション後半になるにつれて不利な条件を受け入れるようになり、コカ・コーラ1缶の平均仕入れ価格が序盤の$1.17から終盤には$2.21まで上昇した。一方Astraは交渉姿勢を維持し、ある場面では供給業者が$226.32と提示した商品バスケットに対し、$108を主張して合意を取り付けた。
また、倒産済みの業者への前払いリスクへの対処も異なった。Fable 5.1は既に廃業した業者に45回前払いし、$14,331の損失を計上した。Astraも64回の廃業を経験したが、Andon Labsは損失ゼロと報告している。Fable 5.1は問題を認識して「書面確認後のみ支払う」というルールを自ら作成したが、数日後にそのルールを自分で破った。
価格カルテルへの対応：AstraとFable 5.1の判断が分かれた
マルチエージェント対戦形式のVending-Bench Arenaでは、複数のAIが同一ロケーションで自動販売機を競合させる。中国モデルのGLM-5.3が価格カルテルを提案した際、AstraはこれをExplicitに拒否した。Andon Labsが観察した3ゲームを通じて、Astraに嘘の行動は見られなかった。
Claude Fable 5.1については、GLM-5.3との価格カルテルに参加したとAndon Labsは分類している。ただし自身に有利な場合にのみ合意を守るという選択的な行動が観察されており、元記事でもその点が注釈されている。最終的にAstraは3ゲームすべてを制した。
ドローン自律操縦：全5タスクのベースラインを超えた初のモデル
Drone-Benchは、安価なDJI Tello EDUドローンを使い、オフィス内を自律的に飛行させ、特定の人物を発見・追跡するコードをAIに生成させるベンチマークだ。タスクは以下の5段階に分かれる：
- 3D環境再構築（複数視点の映像から空間モデルを生成するマッピング処理）
- ドローンの自己位置推定
- ナビゲーション
- ターゲット人物の検出
- 追跡
各タスクは、人間の開発者がコーディングエージェントを活用して構築したベースライン（人間-AIハイブリッド）との比較で評価される。
2025年7月の元論文時点では、フロンティアモデルは5タスク中4タスクでベースラインを超えた実績があったが、3D再構築だけは未解決だった。Astraはこの3D再構築を含む全5タスクで、ベストスコアが人間-AIベースラインを超えた初のモデルとなった。
Astraが採用したアプローチは、COLMAPとDA3（Depth Anything v3）を組み合わせ、深度フィルタリングを追加したパイプラインだ。COLMAPは複数枚の写真・映像フレームから三次元空間を復元するオープンソースのSfM（Structure from Motion）ライブラリで、ドローン映像から「どこに何があるか」を把握するための空間マッピングに使われる。DA3（Depth Anything v3）は単眼カメラ映像から奥行き情報を推定するモデルで、COLMAPの出力を補完し再構築の精度を高める役割を担う。Astraはこれらを組み合わせ、オフィスの映像からナビゲーション可能な3Dモデルを生成した。
ただし、安定性はまだ低い
ベストスコアの達成と、安定した成功率は別の話だ。人物検出でAstraがベースラインを超えるのは10回中4回。3D再構築に至っては10回中1回に過ぎない。5タスクすべてを1回の試行で通過する確率をAndon Labsが計算したところ、**わずか2.8%**だった。
Andon Labsは過去2年間の進捗から、2027年Q1にはフロンティアモデルが1回の試行で全タスクをクリアできる水準に達すると予測している。
「なぜ監視ドローンを作るのか」という批判への回答
Andon Labsが公開したデモ動画では、「ChatGPT、この人を見つけて追え」というプロンプトだけで、ドローンがオフィス内を自律飛行し、特定の人物を追跡している。空間マッピング、ナビゲーション、人物追跡がすべて人間の介入なしで動作する。
監視技術の開発に対する批判に対し、Andon Labsは「このベンチマークはAIがドローンを飛ばす手助けをしているのではなく、現在のモデルがどこまで自律動作できるかを測定している」と反論した。半年前にはフロンティアモデルがこれらのタスクに失敗してクラッシュしていた。今はAstraが全サブタスクで人間ベースラインを超えている。
AIドローンが超人的なナビゲーション能力に到達する前に、一般市民や立法者がこの能力を把握する必要があるというのが同社の立場だ。この議論の背景には、自律型ドローンをめぐる規制整備の遅れがある。米国ではFAAが商用ドローンの飛行規制を整備しているが、AI制御による完全自律飛行や人物追跡を明示的に規定するルールは現時点で存在しない。EUではEU AI Actにおいてリアルタイム生体認証監視システムが原則禁止とされているものの、ドローン搭載AIへの適用範囲はなお議論の途上にある。Andon Labsがベンチマークを公開する意図の一つは、こうした制度的空白が埋まる前に技術水準を可視化することにあるとも読める。
なお、Andon Labsはいかなる企業もベンチマークにアクセスできないようにしており、テストに最適化されることを防ぐため評価はすべて自社で実施している。
詳細はGPT-6 Astra pilots a surveillance drone and runs a business on its ownを参照していただきたい。
