7月19日、The Decoderが「Google Deepmind argues video generators already contain the world models computer vision has been missing」と題した記事を公開した。Google DeepMindが開発したGenCeptionは、わずか7,500本の合成動画という限られたデータで、数百万本を学習した専用モデルと同等の精度に達した。動画生成モデルがコンピュータビジョンの汎用基盤になれるかという問いへの、現時点で最も具体的な回答の一つだ。

コンピュータビジョンに「汎用基盤」が存在しない問題

大規模言語モデル（LLM）が「次の単語を予測する」という単純なタスクから文法・知識・文脈理解を獲得したのと同様に、動画生成モデルも「リアルな動画を生成する」ために空間的な幾何構造・物体の動き・基礎的な物理法則を内部的に学習しているはずではないか——それがGenCeptionの出発点である。

現在のコンピュータビジョン分野は専用モデルが乱立している状態だ。セグメンテーションには「Segment Anything Model（SAM）」、深度推定には「Depth Anything V2」といった具合に、タスクごとに異なるアーキテクチャを持つ専用モデルが別々に開発・運用されている。LLMが果たしているような「汎用基盤モデル」に相当するものが、コンピュータビジョンにはまだ存在しない。

GenCeptionの仕組み：動画生成モデルを1パスで転用

GenCeptionは、アリババのオープンソース動画生成モデル**Wan2.1**をベースに構築されている。

通常の拡散モデル（Diffusion Model）はノイズから動画を多段階のステップで生成するが、GenCeptionは1回のフォワードパスで予測を完結させる設計に変更されている。これにより、実用的なコンピュータビジョンタスクに耐えうる処理速度を実現した。

特徴的なのは出力の統一方式だ。深度マップ、表面法線マップ、セグメンテーションマスク、カメラの動きといった異なる種類の出力を、すべて標準的な3チャンネルRGB画像として表現する。タスクの切り替えはテキストプロンプトで行う。「深度推定をしろ」「セグメンテーションをしろ」とチャットボットへの指示のように伝える仕組みだ。3Dキーポイント予測など、画像として表現できないタスク向けには学習可能なモジュールを別途追加している。

7,500本の合成動画で最先端に追いつく

学習データの規模が際立って小さい点が、この研究の核心的な主張を支えている。

学習に使用した主なデータは、わずか7,500本の合成動画だ。800体のデジタルヒューマンモデルと200種類のモーションキャプチャシーケンスをBlenderでレンダリングして生成したもので、実写映像は言語誘導セグメンテーション用にのみ使用した。

それでも結果は次のとおりだ。

• 深度推定：DepthAnything 3と同等
• 表面法線推定：NormalCrafter、Lotus-2を上回る
• 3Dポーズ認識：Genmo、TRAMを上回る
• 言語誘導セグメンテーション：MetaのSAM 3（Segment Anything Model 3）とGemini 2.5 Flashの組み合わせと同等

D4RTやVGGT-Omegaのような既存モデルが数百万本の動画で学習しているのに対し、GenCeptionは7分の1から500分の1のデータ量で同等の結果に達している。同条件での比較では、MetaのV-JEPA 2やVideoMAE V2といったモデルも上回った。

研究チームはこの差をデータ量ではなく「動画生成タスク自体が空間・動きの有用な表現を学習させる」点に帰因させている。

汎化性能と限界

GenCeptionは1人の人物が映る合成動画のみで学習したにもかかわらず、複数人が映る実写映像、動物、ヒューマノイドロボットといった訓練時に一度も見ていないカテゴリにも機能する。論文によれば、猫のひげや髪の毛の一本一本のエッジを保持した出力が得られるケースもあるという。

ただし限界も明示されている。全タスクを同時に学習すると3Dキーポイント推定の精度が落ちる。研究チームは、このタスクに必要な追加モジュールがベースモデルの事前学習済みの機構と干渉していると推測している。処理速度も課題だ。小さいモデルで81フレームの動画を約6秒、140億パラメータの大きいモデルでは約10秒かかる。

「ワールドモデル」論争との接点

研究チームは、動画生成モデルをエンターテインメントのツールと見なす視点を否定し、コンピュータビジョン向けの汎用ワールドモデルの候補として位置づける。

ただし、この主張には反論がある。複数の研究機関によるOpenWorldLibでは、リアルワールドからのフィードバックがないとしてテキスト・to・ビデオモデルを「ワールドモデル」の定義から明示的に除外している。元Meta主任AIサイエンティストのYann LeCunはさらに踏み込み、生成型動画モデルは「行き止まり」と主張。MetaのV-JEPA 2はピクセルではなく抽象概念を予測するLeCunの路線に沿ったモデルだ。清華大学のベンチマーク（※元記事では名称の記載なし）では、Sora 2（OpenAI）・Seedance 2.0（ByteDance）・Veo 3.1（Google DeepMind）が基礎的な物理や論理のテストで繰り返し失敗したことも報告されている。

研究チームはこの論争に対して慎重な立場をとる。GenCeptionはWan2.1に「世界の振る舞いを予測させる」のではなく、深度推定やセグメンテーションといった特定タスク向けに学習済み特徴量を抽出するという限定的な使い方をしている。

なおGoogle DeepMindは、AIエージェント学習用のインタラクティブな3D環境を生成するGenie 3という別アプローチも並行して研究している。

詳細はGoogle Deepmind argues video generators already contain the world models computer vision has been missingを参照していただきたい。