10月26日、I-Programmerが「Gemini 4 Argon Learns From Videos」と題した記事を公開した。GoogleのAIモデル「Gemini 4 Argon」が動画を解析してロボットに物理的スキルを学習させる「Video-to-Sim-to-Real」パイプラインについて詳しく紹介している。
コーンホールで7連続成功——デモの詳細
研究チームが選んだデモは「コーンホール」だ。コーンホールとは、斜めに傾けたボードの穴にビーンバッグ（豆袋）を投げ入れるアメリカのレクリエーションゲームで、投擲の角度・力加減・リリースタイミングの精度が求められる。
Gemini 4 Argonは人間がコーンホールをプレイする動画を解析し、物理シミュレーター**MuJoCo（ロボティクス研究で広く使われるオープンソースの物理エンジン）上でバーチャル環境を構築。Apptronik社の人型ロボットApollo 2を実際に訓練した結果、実機で7連続成功**を達成した。
※ Apptronikはテキサス州オースティンに拠点を置くロボティクス企業。Apollo 2は同社が開発する人型（ヒューマノイド）ロボットで、産業・物流用途への実用化を目指している。
Gemini 4 Argon自身は、このプロセスを以下のように説明している：
まず、人間がビーンバッグを投げる動画を見て、腕のスイングとリリースを追跡し、その人間の動きを自分のロボットの関節と手にマッピングした。次に、2つの目のカメラでボードの正確な3D位置を測定し、自分の体とボードの物理シミュレーションを構築した。第三に、シミュレーション内で投擲を練習し、スタンスを広げ、スイングを調整して、手がヒップをきれいにクリアし、なめらかな放物線を描くようにした。そして実機では、各バッグの着地点を見て、7発連続でホールに沈めるまでリリース位置を数センチ単位で調整した。やった！
動作習得だけでなく、自分のやったことを言語で説明できる点が、従来の強化学習ベースのロボット訓練手法との大きな違いだ。
動画を見るだけでロボットが動作を習得
従来、ロボットに新しい身体的スキルを習得させるには、膨大な計算・モデリング・シミュレーション作業が必要だった。ボールをフープに投げ入れるといった動作でさえ、数週間単位の手作業が伴っていた。
Google DeepMindのロボティクス研究チームが発表した手法は、その工程を大幅に短縮する。「Video-to-Sim-to-Real」パイプラインと呼ばれるこのアプローチは、人間が動作を行う映像をGemini 4 Argonに入力するだけで、ロボット向けのバーチャルシミュレーションを自動生成する。数週間かかっていた手作業のシミュレーションモデリングを、数時間に圧縮できるという。
Gemini 4 Argonは、3D空間認識と視覚意味論的推論（visual-semantic reasoning：画像の内容を言語的な意味と結びつけて理解する能力）を備えており、これがパイプライン全体の中核を担う。
開発者向けの提供状況と価格
Gemini 4 Argonは9月末に発表され、2025年10月13日よりグローバルで開発者・企業向けに提供が開始された（本記事公開時点では提供開始から約1年が経過している）。アクセス手段は以下の通りだ：
- AI Studio・Gemini platform のAPIから利用可能
- Google AI UltraサブスクライバーはGoogle Antigravity（GoogleのAI関連サービスを横断的に提供するプラットフォーム）から利用可能
- Google AI Ultra・ProサブスクライバーはGeminiアプリおよびSearch内のAI Modeから利用可能
価格は導入期として、入力トークン100万件あたり2ドル、出力トークン100万件あたり10ドル。キャッシュ済み入力トークンは入力価格から95%割引。導入期終了後は入力4ドル/100万トークン、出力20ドル/100万トークンに移行する。
何が変わるか
これまでロボットへの動作教示は、専門エンジニアによる手作業のモデリングが前提だった。動画からシミュレーションを自動生成し、そのまま実機に転用できるパイプラインが実用レベルで動くなら、ロボット訓練のボトルネックが大幅に下がる。Gemini 4 Argonが「複雑な深い作業向けのフロンティアモデル」と位置づけられている背景が、このデモからも伝わってくる。
詳細はGemini 4 Argon Learns From Videosを参照していただきたい。
