7月24日、Black Forest Labsが「FLUX 3 x mimic: The Next Generation of Video-Action Models」と題した記事を公開した。画像・動画生成モデルFLUX 3の基盤をロボット制御に転用した「FLUX-mimic」がAudiの生産ラインに実導入されたという。学習コストの95%超を動画予測に費やしたモデルが、エンドツーエンド101msのレイテンシでリアルタイム制御をこなしている——研究デモではなく、工場の現場での話だ。

Black Forest LabsとFLUXシリーズについて

Black Forest Labsは、Stability AIの共同創業者らが2024年に設立したAIスタートアップだ。リリース当初から高い画像品質と商用利用への柔軟なライセンスで注目を集めたFLUXシリーズは、もともと画像生成モデルとして知られている。FLUX 3はその後継として、画像・動画・音声を単一モデルで扱うマルチモーダル基盤モデルへと拡張されたバージョンにあたる。今回の発表は、そのFLUX 3を生成AIとしてではなく「物理世界を理解する基盤」として転用する試みだ。

ロボットが工場で動いている

物理AI（Physical AI）の文脈で注目が集まるのは、しばしば研究デモにとどまるケースだ。今回の発表は違う。AudiはすでにFLUX-mimicを搭載したロボットをテスト・導入済みであり、柔軟部品の組み付けやケーブルハンドリングといった、従来の産業用ロボットでは対応不能だった作業を解決しているという。

Audiプロダクションラボのクリストフ・シュナイダー氏はこうコメントしている。

"We have seen these robots solve complex soft-body manipulation work that would have been simply impossible with conventional robotics. This can have a major impact in assisting our employees, increasing efficiency, and expanding flexible automation across production and logistics operations."

プレミアム車両の多品種少量生産では、作業ごとに専用ロボットセルを再設計するコストが見合わず、細かい手作業は長年人間が担ってきた。学習ベースのシステムはそのコスト構造を変え得る、という主張だ。

「動画生成モデル」がなぜロボットを動かせるのか

鍵となる思想はシンプルだ。リアルな動画を生成するには、接触・運動・重力・因果関係を学習するしかない。見た目がおかしければすぐわかるからだ。 つまり動画生成の訓練は、世界の物理モデルを構築する過程そのものである、とBlack Forest Labsは主張する。

学習コストの内訳を見ると、その主張に説得力がある。FLUX 3の総学習コストのうち95%超が動画予測に費やされている。音声はこのモデルにおける「追加モダリティ」の一つであり、トークン数でわずか0.5%未満に過ぎない。ロボットのアクション（関節角度などの低次元な状態表現）も同様に追加モダリティとして扱われており、動画理解を終えたモデルにとっては「もう一つの観測ビュー」に過ぎないという位置づけだ。すなわちFLUX 3の中核はあくまで動画予測であり、音声とアクションはその上に乗る拡張である。

アクション予測を追加してもビデオ品質は戻る

実験結果として、大規模な学習ランでアクション予測を新たに追加したとき、テキスト→動画・画像→動画のヒューマン評価スコアが一時的に最大10%低下した。しかし3500ステップ後には元の品質水準に回帰し、アクション予測も同時にこなせるようになった。

各系列はアクション予測追加前の品質を1.0に正規化。値が高いほど良い。

モデルは新しいモダリティの構造を学習して既存の世界表現に対応づければよいだけであり、容量を永続的に失うわけではない。動画生成とアクション予測は、同じバックボーンで共存できる。

Self-Flow：生成品質と表現品質の統一

FLUX-mimicのアーキテクチャは、FLUXバックボーンの動画予測パスから中間特徴量を取り出し、その上に軽量なアクションデコーダを乗せる構造だ。

FLUX 3上にFLUX-mimicがどう構築されているかのアーキテクチャ概要

このアプローチが成立するには「生成品質」だけでなく「表現品質」（特徴空間がどれだけ因果関係を読み取りやすい形で整理されているか）が両立する必要がある。

Black Forest LabsはSelf-Flowという研究でこれを単一フレームワークに統合した。動画・画像・音声の生成品質とロボット制御タスクの成功率が相互に向上することを示している。

ベンチマークでは、FLUXバックボーンを完全にフリーズした状態（パラメータ更新なし）でも既存のVision-Language-Actionモデルを上回ることが確認されている。世界モデルの知識がバックボーンの特徴表現から直接デコード可能な形で整理されていることを示す結果だ。バックボーンをアクションデコーダと合わせてファインチューニングすると、成功率はさらに上がりState of the Artを達成している。

実運用に必要な速度

実装上の制約として、ロボットは世界の動きに追いつく速度で推論しなければならない。FLUX-mimicでは、シングルNVIDIA RTX 5090 GPU上で入力から世界表現の出力まで80ms未満で処理できるよう最適化されている。これは人間の視覚的反応時間と同オーダーだ。

さらにmimicのデプロイスタックでは、センサー・モデル・アクチュエータ間のプロセス間レイテンシ削減や予測と実行のオーバーラップ（リアルタイムチャンキング）を実装し、エンドツーエンドの反応時間101msを実現している。

サンプル効率と自己修復

実用上の強みとして、Self-Flowによる表現改善はデモデータの必要量を大幅に削減する。自社実験では、Self-Flowなしの動画モデルと比べてアクション予測が同じ成功率に達するまでの学習ステップが半分で済んだ。

先行研究であるmimic-videoでは、Vision-Language-Actionモデルに対して最大10倍のサンプル効率が報告されている。

また、デモセットに含まれていない失敗からの自律的な回復（把持失敗→再試行→タスク完了）もFLUX-mimicで確認されている。これは「世界がどう動くか」をモデルが既に知っているからこそ可能だ、という説明は理に適っている。

詳細はFLUX 3 x mimic: The Next Generation of Video-Action Modelsを参照していただきたい。