8月8日、Matthias Bastianが「AMD acquires Taalas, a startup that bakes AI models directly into silicon」と題した記事を公開した。AMDがカナダのスタートアップ・Taalasを買収した。Taalasのデモチップは、Llama 3.1-8Bの推論においてユーザーあたり毎秒16,000トークン超という数字を記録している。その原動力となっているのは、モデルの重みをシリコンに直接焼き込むという、従来の推論チップとは根本的に異なる設計思想だ。

モデルをシリコンに焼き込むという発想

Taalasは2023年にトロントで設立され、2025年2月にステルスから姿を現したスタートアップだ。そのアプローチは従来の推論チップとは根本的に異なる。モデルのアーキテクチャと学習済みパラメータ（重み）をチップそのものに直接埋め込むという手法を採用している。

通常の推論チップ（NVIDIA GPUやAMD Instinctなど）は、メモリからモデルの重みを読み込んでから演算を行う。大規模モデルほど読み込む重みの量が膨大になるため、演算ユニットがどれだけ高速でも、データを供給するメモリ帯域幅がボトルネックになりやすい。これは「ルーフラインモデル」として知られる問題であり、推論の実効スループットを制限する根本的な制約だ。Taalasのアプローチでは重みがシリコン上に固定されているため、このメモリ帯域幅のボトルネック自体がなくなり、推論速度が大幅に向上する。

そのパフォーマンスは実際に数字として出ている。デモチップではLlama 3.1-8Bを実行した際、ユーザーあたり毎秒16,000トークン超を記録した。競合ハードウェアと比較して何倍もの速度だとされている。

LlamaをハードコードしたTaalasのデモチップ。生の速度では他の推論チップを大きく引き離すが、そのモデル専用に固定される。| 画像: Taalas

トレードオフ：速さと引き換えに柔軟性を失う

このアーキテクチャには明確な制約がある。チップが特定の1モデルに固定されるという点だ。Llama 3.1-8B専用に作られたチップは、他のモデルでは動かない。汎用GPUのように「今日はLlama、明日はMistral」という使い方はできない。

これはソフトウェアで言えば、AOT（Ahead-of-Time）コンパイルを極限まで推し進めたようなイメージに近い。実行時の柔軟性をすべて犠牲にして、特定ワークロードの最高速度を追求する設計思想だ。

裏を返せば、特定モデルへの需要が十分に大きく、かつ安定していると見込める用途——たとえば大規模なAPIサービスや組み込みエッジ推論——では、このトレードオフは合理的な選択になりうる。推論コストの削減がAIビジネスの重要課題になる中で、「専用シリコン」という選択肢が現実味を帯びてきた段階にある。

AMDはこの技術をInstinctと組み合わせる方針

AMDは公式プレスリリースで、Taalasの技術を自社のアクセラレータロードマップに統合し、Instinct GPUと並ぶシステムレベルのソリューションとして提供する計画を示した。Taalasの専用シリコンをInstinctシリーズの汎用GPU群と組み合わせることで、用途に応じた使い分けを可能にする統合戦略だ。

AMDのAI部門SVPであるVamsi Boppanaは、この買収が同社のAIポートフォリオを強化するものだと述べた。Taalasの共同創業者Ljubisa Bajicは、AMDが提供するスケールとリーチがスタートアップに必要なものだとコメントしている。買収金額などの財務条件は公表されていない。買収は通常の規制当局の承認を経て完了する見通しだ。

推論市場においてAMDはNVIDIAの背中を追い続けている。NVIDIAがH100/H200シリーズで推論市場を押さえ込む中、AMDはInstinct MI300シリーズで追撃を図ってきたが、ソフトウェアエコシステム（CUDA対ROCm）の差が依然として大きな壁として立ちはだかっている。Taalasの買収は、汎用GPU同士の正面衝突を避け、専用シリコンという新たな軸で差別化を図る動きとして位置づけられる。

GoogleもGemini専用チップで同様のアプローチを追求

この動きはAMD単独の判断ではなく、業界トレンドとして読み解くべきだ。The Decoderが以前報じたところによると、Googleも「Frozen V2」と呼ばれるGemini専用チップで同様のアーキテクチャを開発中とされている。モデルのアーキテクチャをシリコンに固定するという設計思想が、大手テック企業の間で独立して浮上してきている。

特定モデルへの需要が高まれば高まるほど、専用チップへの投資対効果が改善する。汎用AIインフラが成熟し、利用するモデルが絞り込まれてきたフェーズにおいて、こうした動きは必然的な流れだとも言える。AMDによるTaalas買収は、その競争に本格参戦することを意味する。

詳細はAMD acquires Taalas, a startup that bakes AI models directly into siliconを参照していただきたい。