9月7日、The Decoderが「Qwen-Drive 1.0 tells you why it brakes, just don't expect the explanation to match the maneuver」と題した記事を公開した。この記事では、Alibabaが開発した自動運転AI「Qwen-Drive 1.0」が知覚・質疑応答・経路計画を単一モデルで処理する一方、モデルの説明と実際の行動が一致しないという構造的な限界について詳しく紹介されている。
「なぜ止まるのか」は説明できるが、その説明が正しいとは限らない
Qwen-Drive 1.0の最も興味深い点は、モデルが自分の判断を言語で説明できるにもかかわらず、その説明と実際の操作が一致しないという問題を研究チーム自身が認めていることだ。
たとえば、遠くの赤信号と道路に飛び出した子どもでは必要な反応時間がまったく異なるが、モデルはその区別を混同することがある。また、「〇〇のためにブレーキを踏む」と事前に説明した内容と、実際に計画された走行軌跡が食い違うケースも報告されている。
これは単なる実装上のバグではなく、ビジョン言語モデル（VLM）が画像を説明できることと、3次元空間を理解することは別物であるという根本的な問題に起因する。研究チームが独自に開発したHopChainベンチマークは、VLMが複数ステップの推論を要する視覚タスクでどれほど脆く崩れるかを測定するために設計されており、本稿のテーマと直接つながる。同ベンチマークでも、VLMが画像テキストのベンチマークで高スコアを出しながら、物体の空間的な関係を誤って認識するケースが確認されている。「説明能力」と「空間理解」の乖離を可視化するツールとして、関心のある読者は参照する価値がある。
アーキテクチャ：既存アプローチの2つの弱点を狙う
既存の自動運転モデルの多くは、汎用のテキスト・画像モデルを交通シーンのQ&Aデータでファインチューニングする手法をとる。論文によれば、この手法には2つの弱点がある。
- 空間認識の欠如：Q&A中心の学習では距離・位置・空きスペースの検出が不安定になる
- 壊滅的忘却（Catastrophic Forgetting）：ドライビングデータに特化しすぎると、元の汎用知識が失われる。この汎用知識は、予期しない稀なシーン（動物の飛び出し、道路外の障害物など）で最も重要になる
壊滅的忘却は既知の難問だ。2023年にGoogle DeepMindがPaLM-Eを発表した際、小規模なバリアントはロボット制御の学習後に言語能力を大幅に失った。5620億パラメータの最大バリアントだけがほぼ無傷だったという経緯がある。
Qwen-Drive 1.0はQwen3.5-4B（※論文記載のモデル名）をベースに、2つのモジュールを追加する構成だ。
- BEV Perception Head：カメラ映像から俯瞰図（Bird's-Eye-View）を生成し、3D物体検出・占有マップ・道路レイアウトのセグメンテーションを行う。同時に、モデルが画像から実際にどれだけ空間情報を引き出せているかを測定するツールとしても機能する
- Planning Expert：モデル内部の中間出力を使い、数秒先の走行軌跡を計画する
学習は知覚 → 知覚＋Q&A → 経路計画の順で段階的に実施し、最終ステップで強化学習によってふるまいを調整する。BEV Perception Headだけを追加学習させて言語モデル本体を据え置いた場合、空間精度はほとんど改善しなかった。言語モデル自体を空間タスクで再学習させて初めて性能が上がったという結果は、「画像を説明できる」ことと「空間を理解する」ことの分離を端的に示している。
シミュレーターでの性能と現実との差
経路計画のテストは複数の難易度で実施された。閉ループシミュレーター（AlpaSim）では、強化学習で再学習したバージョンが道路逸脱率を24%から12%に半減させた。元記事によれば、この改善に伴い走行距離全体も短くなったと報告されている（※編集部注：道路逸脱を避けるためにより保守的な経路を選択した結果として元記事が言及しているが、因果関係の詳細は元記事を直接参照されたい）。
一方、自社が設計・再構築したテスト手順に依存した評価指標も含まれており、現実の複雑な走行環境への汎化性については留保が必要だ。異なるカメラ設置構成を持つ他社車両の映像を処理した場合、3D検出の精度は大きく低下することも確認されており、対応する学習データがまだ不足している状況だ。
コックピットと走行システムの統合という設計思想
論文が強調するもう一つの論点は、インフォテインメントシステムと走行制御の統合だ。現代の車両では両者が単一のコンピューティングユニットに集約されつつある。走行性能に特化して汎用能力を捨てたモデルでは、ダイアログや自由質問のためにコックピット側に別モデルが必要になり、計算リソースが増える。Qwen-Drive 1.0は、走行系と対話系を1モデルで賄うことを狙っている。
なお、言語モデルと走行機能を組み合わせることはセキュリティリスクも生む。UC Santa Cruzの研究者は標識をカメラの視野に置くだけでDriveLMを歩行者方向に操作できることを実証しており、この種の攻撃面は設計上の考慮事項として無視できない。
モデルはHugging Face、ModelScope、GitHubで研究コミュニティ向けに無償公開されている。
詳細はQwen-Drive 1.0 tells you why it brakes, just don't expect the explanation to match the maneuverを参照していただきたい。
