7月27日、Googleが「Gemma 4 Technical Report」と題した技術レポートを公開した。Googleのオープンウェイト・マルチモーダルLLMシリーズ最新世代「Gemma 4」のアーキテクチャ・学習手法・ベンチマーク性能を詳述した内容で、特にテキストと画像トークンを同一シーケンスで処理するインターリーブドアーキテクチャの採用が本世代最大の刷新点だ。27Bモデルが同パラメータ帯のオープンモデルの中で多くのベンチマークトップを占めるとしており、オープンモデルの実用水準が改めて引き上げられた形となる。
最大の変更点：インターリーブド・マルチモーダルアーキテクチャ
Gemma 4で最も注目すべき変更は、テキストと画像トークンをインターリーブ（交互配置）して単一シーケンスとして処理するアーキテクチャの採用だ。
従来の多くのマルチモーダルモデルは、画像エンコーダとテキストデコーダを別々に持ち、両者を「つなぎ目」でブリッジする設計（例：LLaVA系のプロジェクションレイヤー方式）が主流だった。Gemma 4では視覚トークンを言語トークンと同じシーケンスに埋め込み、Transformerが両者を同一の注意機構で処理する。これにより、画像とテキストが密に絡み合った複雑な入力――文書中に図表が埋め込まれている、スクリーンショット上の文字列を参照しながら推論するなど――への対応が、アーキテクチャ上の「継ぎ目」なしに実現される。
コンテキスト長は最大128Kトークン（128,000トークン）をサポートしており、長文書や多数の画像を含む入力も一括して処理できる。
Gemma 4のモデルラインナップ
Gemma 4は1B・4B・12B・27Bの4サイズ展開で、エッジデバイスから中規模サーバーまで幅広い環境での利用を想定している。全サイズでマルチモーダル入力（テキスト＋画像）をサポートする点が前世代のGemma 3との大きな違いだ。Gemma 3では一部サイズに留まっていたマルチモーダル対応が、Gemma 4では全ラインナップに拡張されている。
学習・アライメント手法
事前学習
事前学習データには、ウェブテキスト・コード・数学・多言語コーパスに加え、マルチモーダルデータが含まれる。テキストの品質フィルタリングにはGemmaモデル自体を使った品質スコアリングが用いられており、モデルによるセルフキュレーションが品質担保の中心的な役割を担っている。
ポストトレーニング（アライメント）
ポストトレーニングはSFT（教師あり微調整）と強化学習ベースのアライメントを組み合わせたパイプラインで構成される。レポートではRLHF（Reinforcement Learning from Human Feedback）と記載されているが、現代の実装においてはAIフィードバックを活用するRLAIF（Reinforcement Learning from AI Feedback）やDPO（Direct Preference Optimization）系の手法が組み合わされているケースも多く、詳細は技術レポート本文の該当セクションを確認されたい。
加えて、RLEF（Reinforcement Learning from Execution Feedback、実行フィードバックによる強化学習）をコード生成タスクに適用している点が特徴的だ。RLEFは生成したコードを実際に実行し、テストがパスするかどうかを報酬シグナルとして用いる手法で、HumanEvalをはじめとするコーディングベンチマークでの性能向上に直接的に寄与している。
ベンチマーク性能
レポートで報告されている主なベンチマーク結果を以下に示す。
| ベンチマーク | Gemma 4 27B | 備考 |
|---|---|---|
| MMLU（多分野知識） | 81.6 | 同サイズ帯オープンモデルでトップクラス |
| MATH（数学推論） | 71.2 | Gemma 3比で顕著な改善 |
| HumanEval（コード生成） | 77.4 | RLEFの効果が直接反映 |
| MMMU（マルチモーダル理解） | 68.1 | 同サイズ帯オープンモデルをリード |
| DocVQA（文書VQA） | 91.3 | インターリーブドアーキテクチャの恩恵が顕著 |
※スコアはレポート記載値。評価設定の詳細は論文本文を参照。
特にDocVQAのスコアはインターリーブドアーキテクチャの恩恵が如実に表れている領域であり、文書内の図表・テキスト混在コンテンツの理解精度が大きく向上している。同程度のパラメータ数のオープンモデルの中では、Gemma 4 27Bが多くのベンチマークでトップクラスの位置にあることがレポートで示されている。
安全性と責任あるAI
Gemma 4では安全性評価にも相当のページが割かれている。有害コンテンツ生成・脱獄（jailbreak）への耐性・プライバシーに関するリスク評価が実施されており、安全性ベンチマーク上でも前世代からの改善が報告されている。
また、モデルカードおよびシステムプロンプトのガイドラインも整備されており、デプロイ時の運用指針として活用できる。GoogleはResponsible Generative AI Toolkitも併せて公開しており、Gemma 4を組み込んだアプリケーション開発時の安全性設計の参考になる。
入手先
Gemma 4の重みはHugging Face（google/gemma-4）およびGoogle AI Studioを通じて公開されている。ライセンスはGemmaカスタムライセンスで、商用利用には利用規約上の条件がある。ファインチューニングや量子化（GGUF等）への対応状況についてはHugging Faceのモデルページで随時更新される。
詳細はGemma 4 Technical Reportを参照していただきたい。
