9月16日、Search Engine Journalが「Ex-Googler Jeff Dean Explains Design Choices Behind Gemini」と題した記事を公開した。Google元AI責任者のJeff DeanがGeminiの設計思想と開発の舞台裏を語ったインタビューについて詳しく紹介されている。

Geminiの原点は「1枚のメモ」だった

Gemini誕生のきっかけは、Jeff Deanが書いた1ページのメモだ。

当時、Google DeepMindとGoogle Brain、その他のGoogle Research組織が、それぞれ独立して似たような方向性の研究を進めていた。スケールの大きなモデルの学習、言語モデルのマルチモーダル化——別々のチームが同じゴールに向かって並行して走っていた状態だ。

Deanはこの状況を「silly（バカげている）」と判断し、全チームを統合してリソースと人材を集約した一つのモデルを作ることを提案した。インタビューでは次のように語っている。

「私はこう書きました。これはただバカげている。我々は一緒に取り組むべきだ。人材とアイデアと計算資源を組み合わせて、最初からマルチモーダルなモデルを一つ作ろうと。Googleの複数の研究組織から最高の人材を集めて。」

この統合判断が、現在のGeminiにつながっている。

マルチモーダルは後付けではなく設計の中核

Geminiがテキスト・画像・音声・動画・コードを横断して扱えるのは、最初からマルチモーダルを前提に設計されたからだ。Deanはこれを開発初期に下した重要な意思決定のひとつとして挙げている。

興味深いのは、学習データにLiDARデータも含めている点だ。Deanは「LiDARデータが存在するものだと少なくともモデルに認識させるため」と説明している。LiDARは自動運転や3D空間認識で用いられる点群データを生成するセンサー技術であり、現時点のGeminiが直接LiDAR入力を受け付けるわけではないが、将来的なファインチューニングでそうした用途に対応できる素地を作っておくという判断だ。設計段階から「将来どのモダリティが重要になるか」を見越してデータを仕込んでいる点は、モデルアーキテクチャの柔軟性を高める戦略として注目に値する。

コーディング強化が推論能力全体を引き上げた

エンジニア視点で特に面白いのがここだ。Deanは、Geminiのコーディング能力がしばらく「遅れていた（lagging）」と率直に認めている。

「コーディングで圧倒的に強くすることへの注力が少し遅れていたと気づき、その遅れを取り戻す作業をしました。そしてコーディングに集中することで、複雑な問題を複数のサブ問題に分解して解くような推論能力が全体的に上がる。コーディングを改善すると、コーディング以外のタスクでも同じ能力が向上する傾向があります（tend to）。」

Deanはあくまで「傾向がある」という留保を置いている点に注意が必要だが、一つの専門領域での能力向上が他の領域にも波及するという観察はGemini開発において確認されたものとしてインタビューで語られている。コーディングタスクは論理的な問題分解・手順の明示化・エラー処理といった構造化思考を要求するため、その学習が汎用的な推論能力に寄与するという解釈は直感的にも理解しやすい。

Jeff Deanの「論文は精読1本より斜め読み10本」

インタビューでは、MapReduceやMixture of Experts（MoE）など、後に業界標準となった技術を生み出してきたDeanに対し、「どうやって本当に重要な技術と単なる流行を見分けるのか」という質問が投げかけられた。

なお、MapReduceは大規模データを分散処理するためのプログラミングモデル、MoEは複数の専門サブモデル（エキスパート）を入力に応じて動的に切り替えるアーキテクチャで、現在のGeminiを含む大規模モデルに広く採用されている。

Deanの答えは明快だった。

「1本の論文を詳細に読むより、10本の論文をざっと読む方が良いと学生によく言います。そうすることで、何が可能かもしれないという点が10個手に入る。100本のアブストラクトを流し読みしてもいい。目的は、まだつながっていない重要なアイデア同士を接続できるようにすることです。」

「7つの解けない問題に見えるものも、各領域の断片的な情報を持っていれば、5つは既存の研究で対処できそうで、残り2つに集中して取り組めると見えてくる」というのが彼の視点だ。

また、「うまくいかなかったことも多い」とも語っており、「うまくいかないかもしれないことをたくさん試してみること。その中のいくつかはうまくいく」をアドバイスとして挙げている。

まとめ

Geminiの設計で押さえておくべきポイントは2点だ。

• マルチモーダルは設計の出発点であり、後付けの機能拡張ではない。LiDARデータの取り込みはその先を見越した布石でもある
• コーディング能力の強化が推論能力全体を引き上げる傾向がある——Deanはこれをインタビューで明示しており、Gemini開発における実際の観察として語られている

Geminiをテキスト生成モデルとしてのみ捉えているエンジニアにとって、設計意図を知ることでその活用の幅が変わるはずだ。

詳細はEx-Googler Jeff Dean Explains Design Choices Behind Geminiを参照していただきたい。