11月14日、The Decoderが「Runway's open-source Praxis-1 turns video AI into a robot controller」と題した記事を公開した。ビデオ生成AIとして知られるRunwayの技術が、ロボット専用の学習データをほとんど使わずにロボットアームを制御できるという——この一見すると意外な転用が、実機テストで**成功率88%**という具体的な数字を伴って示された。
ビデオAIの知識でロボットを動かす
Runwayは9月末に予告していたロボット制御モデル「Praxis-1」を、Apache 2.0ライセンスのもとでモデルウェイトとソースコードを公開した。商用利用も可能だ。
Praxis-1の仕組みは独特である。カメラ映像・テキスト指示・ロボットの関節位置情報を入力として受け取り、「環境がどう変化するか」を予測したうえで、必要なロボットの動作を算出する。新しいカメラフレームが入るたびにリアルタイムで制御を更新する設計だ。
この手法は World Action Model（WAM） と呼ばれる。ロボット専用データだけで学習させるのではなく、まず一般的な動画から「物体がどう動き、どう相互作用するか」を学習させ、次に人間の動作動画とロボットデータで追加学習（ファインチューニング）するアプローチをとる。高コストなロボット専用データセットへの依存を減らせる可能性があるとRunwayは主張しているが、同等のWAMと比較して実際にロボットデータが少なくて済むかは、まだ検証中だとしている。
ベンチマーク成績と実機テスト
RoboLab-120リーダーボード（120タスクでのオブジェクトのソート・把持・積み重ねを評価するシミュレーションベンチマーク）において、Praxis-1は成功率46.2%を記録した。同じWAMカテゴリに属するFLUX 3 Action（Black Forest Labs製）が42.9%であることから、WAMカテゴリではトップに位置する。総合ランキングでは、異なるアーキテクチャを持つ2つのAIエージェントと2つのロボットモデルに次いで5位だ。なお、テストはRunway自身が実施したものであり、第三者による独立した検証はまだ行われていない。
※編集部の考察：元記事ではRoboLab-120の運営主体について明示的な記載がなく、Nvidiaとの関係については確認が取れていないため、本稿では出典の帰属表記を省いている。
実機テストでは、Fiankaロボットアーム（DROIDデータセットの約277時間の録画でファインチューニング）を使い、「バナナを皿に置く」「引き出しを閉める」など10タスクを各10回実施。Praxis-1は88回成功、FLUX 3 Actionは80回だった。
また、Googleのモバイルロボットプラットフォーム（RT-1の開発に使われたもの）への転移テストも実施した。このロボットはPraxis-1の事前学習には含まれていなかったが、約95時間のデータでファインチューニングしたところ、シミュレーション上で**平均成功率80%**を達成。GoogleのオリジナルRT-1モデルの52.4%を大きく上回った。
動作要件と現在の制限
ダウンロードはHugging Faceから可能（サインアップとアクセス条件への同意が必要）。コードはGitHubで公開されている。Frankaアームなど特定ロボット向けに事前適応済みのバージョンも提供されている。
ハードウェア要件は以下のとおりだ：
- 標準モデル：VRAM 80GBのGPUが必要
- 圧縮版：RTX 5090（VRAM 32GB）での動作を想定。ただし実際のピークメモリ使用量は未計測とGitHubのドキュメントに記載されている
現時点での制限も明示されている。見た目が似たオブジェクトの混同、曖昧な指示への対応困難、複雑なアクションシーケンスの自律的な計画が苦手といった点だ。長いタスクを実行する際は、個々のステップを細かく指定する必要がある。
Runwayは将来的に、Praxis-1を「高速なロボット動作の実行エンジン」として位置づけ、複雑なタスクをステップに分解する汎用AIモデルと組み合わせる構想を持っている。
採用企業と今後の展開
9月のアナウンス時点からStandard Bots、Noble Machines、Ultraの3社が、ヒューマノイドロボット・産業用ロボットアーム・デュアルアーム倉庫ロボットでそれぞれテストを進めていた。ビデオ生成AIとロボット制御AIが共通の技術基盤を持ちうることを、Praxis-1は実機レベルで示した形だ。今後、同様のWAMアプローチを採用するモデルがどこまで広がるかが注目される。
詳細はRunway's open-source Praxis-1 turns video AI into a robot controllerを参照していただきたい。
