5月16日、Sebastian Raschkaが「Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention」と題した記事を公開した。

なぜ今、LLMの効率化が急務なのか

ChatGPTやClaude、Geminiといった対話型AIの普及により、ユーザーは長大な文書の分析や複雑な推論タスクを日常的に依頼するようになった。また、エージェントワークフローの台頭により、AIシステムが長期間にわたってより多くのトークンを保持する必要が生まれている。

しかし、この長文処理には大きな代償が伴う。KVキャッシュサイズ、メモリトラフィック、アテンション計算コストが急激に増大し、推論速度の低下とコスト増加を招いているのだ。Googleの最新モデル「Gemma 4」をはじめとする各社の新しいアーキテクチャは、まさにこの課題解決を狙ったものである。

Gemma 4の革新：KV共有でメモリ使用量を半減

最も注目すべき革新が、Gemma 4のKV共有機構だ。従来のTransformerアーキテクチャでは、各レイヤーが独自のQ（Query）、K（Key）、V（Value）投影を計算していた。しかし、Gemma 4では複数のレイヤーで同じKとV投影を再利用することで、劇的な効率化を実現している。

具体的には、Gemma 4 E2Bの35のTransformerレイヤーのうち、最初の15レイヤーのみが独自のKV投影を計算し、残り20レイヤーは既存のKVテンソルを再利用する。この仕組みにより、KVキャッシュサイズを約50%削減でき、128Kコンテキストにおいて2.7GBのメモリ節約を実現している（bfloat16精度）。

KVキャッシュとは、アテンション機構において過去のトークンのKeyとValue情報を保存するメモリ領域のことだ。長いコンテキストを扱う際、このキャッシュサイズがボトルネックとなりがちで、LLMの推論コスト削減において重要な最適化ポイントとされている。

Per-Layer Embeddings：パラメータ効率の巧妙な設計

Gemma 4のもう一つの特徴がper-layer embeddings（PLE）だ。これは興味深いトレードオフを実現している。Gemma 4 E2Bは実効2.3Bパラメータとして動作するが、埋め込みテーブルを含めると総5.1Bパラメータとなる。

この設計により、メインのTransformer計算は軽量に保ちつつ、より豊富な語彙表現力を獲得している。推論コストを抑えながら性能を向上させる、巧妙な設計と言える。従来のパラメータ効率化手法とは異なるアプローチで、モデルサイズと性能のバランスを取っている。

業界全体の効率化トレンド：圧縮アテンションの台頭

記事では、Gemma 4以外にも注目すべき技術動向を紹介している。特にmHC（Multi-Head Compression）と圧縮アテンションは、スケーリング法則の限界に直面した業界において重要な研究領域となっている。

圧縮アテンションは、アテンション行列の冗長性を削減することで計算効率を向上させる手法だ。Flash Attentionなどの既存手法がメモリ効率に焦点を当てていたのに対し、新しい圧縮手法はより根本的なアーキテクチャレベルでの最適化を行っている。

これらの技術は一見すると小さなアーキテクチャ変更に見えるが、実際には非常に複雑な設計変更を伴っている。しかし、その効果は絶大だ。

今後の展望：効率化競争の激化

OpenAIの最新研究からAnthropicの効率化技術まで、主要AI企業がこぞって効率化技術に注力している背景には、実用性の追求がある。長文コンテキスト処理能力は、文書分析、コード生成、複雑な推論タスクにおいて決定的な差別化要因となっているのだ。

特に企業向けのAIアプリケーションでは、RAG（Retrieval-Augmented Generation）と組み合わせた長文処理が標準的になりつつある。このため、メモリ効率性とコンテキスト長の両立が、商用AIシステムの競争力を左右する重要な要素となっている。

今回紹介された技術は、メモリ効率性がLLMアーキテクチャ設計の最重要課題となった現在の業界動向を如実に示している。これらの革新により、より高性能でありながら実用的なAIシステムの実現が期待される。

詳細はRecent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attentionを参照していただきたい。