7月13日、MIT Newsが「AI agents create virtual playgrounds to help robots get crucial training data」と題した記事を公開した。MIT CSAILがAIエージェントを用いてロボット訓練用の3D仮想環境を自動生成するシステム「SceneSmith」を開発したことを詳しく紹介している。
ロボット訓練のボトルネックは「データ不足」
ロボットに多様な動作を教えるには、現実空間での反復訓練が必要だ。しかしそれは時間と労力がかかる。「シミュレーションを訓練の場として使う」というアイデア自体は以前からある。物理エンジンの精度は近年大きく向上したが、現実世界の複雑さを再現するのに十分な多様性を持つシミュレーション環境を作ること自体が課題として残っていた、とMITのRuss Tedrake教授は述べている。
MIT CSAILとトヨタ・リサーチ・インスティテュートの研究者らが開発した**SceneSmith**は、この課題に正面から取り組むシステムだ。
3つのAIエージェントが協調して3Dシーンを構築
SceneSmithの核心は、3つのAIエージェントが役割を分担して仮想環境を生成するアーキテクチャにある。各エージェントはビジョン言語モデル（VLM）を呼び出す形で動作する。VLMはテキストと画像の大規模データで学習されており、空間的な常識を持ち合わせている点が肝だ。
3エージェントの役割は次のように分かれている：
- Designerエージェント：床配置や家具、壁・天井への設置物、ロボットが操作できるオブジェクトを段階的に生成する
- Criticエージェント：「リビングに浴槽がある」といった非現実的な配置を指摘し、修正を促す
- Orchestratorエージェント：2つのエージェントの往復を管理し、品質が基準に達したと判断したら次のステップへ進める。品質不足なら数ステップ差し戻す権限も持つ
3者の対話が完結したシーンは、そのままPhysics Simulationソフトウェアへ読み込める形式で出力される。「一から部屋のフロアプランを作り、家具を置き、ロボットが触れるオブジェクトを追加する」という工程を、人間のデザイナーが作業するように自然にこなすとリード著者のNicholas Pfaff氏は述べている。
1シーンあたりのオブジェクト数が「6倍」
SceneSmithの生成環境が他のシステムと大きく異なるのは密度だ。先行手法と比べて1シーンあたり最大6倍のオブジェクトを配置できる。棚からソーダ缶をテーブルに移す、シンクにカップを置くといったタスク訓練に適した、豊富なインタラクション対象が揃う。
研究チームは1,300以上のシーンを生成し、プライベートオフィスや陶芸店、さらにはMinecraftテーマのゲーミングルームまで多様な空間を作り出した。Pfaff氏は「プロンプトでその挙動を明示的に指示したわけではなく、モデルが自ら即興した」と述べている。
現実への近似性を確かめるために、研究チームはSceneSmithのシーンを一度も見たことのない事前学習済みロボットポリシー（実世界データで訓練済みのAIコントローラ）を仮想環境に投入した。「ボウルからリンゴを取り、まな板の上に置く」という指示を実行させると、ロボットは正確にタスクをこなした。シーンが現実世界の統計的分布から大きくずれていれば、このポリシーはそもそも機能しない。
また、200名超のユーザー評価では、SceneSmithのビジュアルが先行手法より現実的だと判断された割合が90%以上に達し、プロンプトへの追従精度も最も高かった。
ロボット訓練のパイプラインへの統合
SceneSmithは評価用途にも使える。研究チームは100の固有空間を生成し、ロボットの行動計画（ポリシー）の事前評価を行った。VLMエージェントが各試行を採点し、ロボットが家事タスクに頻繁に失敗することを検出した。人間の評価者との一致率は99%超であり、実機テスト前に欠陥のあるポリシーをふるい落とすフィルタとして機能した。
個々の3Dオブジェクトについても、テキストプロンプトから2D画像を生成し、それを質量・摩擦・慣性といった物理特性付きの3Dモデルに変換する機能を持つ。これにより固定ライブラリに縛られず、任意のオブジェクトをシーンに追加できる。Amazon Roboticsの応用科学者Jeremy Binagia氏も「視覚的なリアリティだけでなく物理的な正確さを担保し、固定ライブラリに縛られない点が先行研究を超えている」と評価している。
課題と今後
速度面では制約がある。各オブジェクトを丁寧に生成・検証するプロセスゆえ、1シーンの生成に数時間かかる場合がある。研究チームはコンピューティングリソースの増強で大幅な効率化が可能と見ており、スポンジのような変形可能オブジェクトへの対応も将来の拡張目標として挙げている。
本研究は先週のICML（International Conference on Machine Learning）でスポットライト発表として採択された。論文はarXivで公開されており、Amazon、米海軍研究局、トヨタ・リサーチ・インスティテュート、米国立科学財団の支援を受けている。
詳細はAI agents create virtual playgrounds to help robots get crucial training dataを参照していただきたい。
