11月4日、Together AIが「Together Compiler: Continuous Compilation for AI inference」と題した記事を公開した。実験スループット252倍・推論スループット最大2.6倍——この数字を達成したのが、AIエージェントを活用した継続的コンパイル最適化システム「Together Compiler（TKCC）」だ。LLM推論の最適化を人間のエキスパートによる手動チューニングから解放し、エージェントが自律的に最適化し続ける新しいアプローチについて詳しく紹介されている。
なぜ「手動チューニング」ではもう限界なのか
LLM推論の最適化は、かつてはモデルアーキテクチャ・ハードウェア・ワークロードの組み合わせが限られていたため、人間のエキスパートが手動でチューニングできた。しかし現在、その前提は崩れている。
- アーキテクチャの多様化：Transformer登場から約9年（論文発表は2017年）。OpenRouter上のオープンソースLLMトップ10を見ると、同じアーキテクチャを使っているものは1つもない。
- ワークロードの多様化：Together AIは1日に数兆トークンを処理しており、顧客ごとにバッチサイズ・シーケンス長・MoEエキスパート偏り・アテンションスパース性などが異なる。
- ハードウェアの多様化：H100、B200、B300、NVL72、Groqなど、それぞれ最適化戦略が異なる。
加えて、トラフィック自体も常に変動する。地域によってプロンプト長が1.4倍異なること（97k vs 70k）や、新モデルリリース後2週間でエージェント用途へのシフトによりプロンプト長が80%増加するケースも観測されている。こうした動的な変化に対し、手動最適化は現実的ではない。
TKCCのコアアイデア：実験スループットを252倍にする
TKCCが解決しようとした最大のボトルネックは、「エージェントが最適化案を試す速さ」だ。
従来のエージェントベース最適化システムでは、実験ごとにVLLM・SGLang・TRT-LLMといった推論エンジンを起動・終了する必要がある。エンジンの起動には以下のような時間がかかる：
| フェーズ | 従来の起動時間 |
|---|---|
| プロセス・ワーカー初期化 | 93秒 |
| 重みのロード | 50秒 |
| KVキャッシュサイジング | 21秒 |
| JITカーネルウォームアップ | 93秒 |
| オートチューニング | 193秒 |
| APIサーバー準備 | 10秒 |
| 合計 | 467秒 |
TKCCはこれを「永続エンジン（Persistent Engine）」という設計で解決する。エンジンを一度起動したままにし、候補となるフォワードパスをエンジン再起動なしにホットリロードできる仕組みだ。これにより、起動にかかる合計時間を9.0秒まで削減。複数のエージェントが並列にアイデアを生成しメッセージボードで共有しながら実験を進めることで、ベースラインのエージェント最適化システムと比べて252倍の実験スループットを実現した。
スループットと計測精度のトレードオフをどう解くか
もう一つの設計上の難題は、「速く実験できること」と「正確に計測できること」のトレードオフだ。
スタンドアローンのカーネルを単体で最適化するシステムは実験は速いが、ランダムな入力データを使うため精度が低い。特に**MoE（Mixture of Experts）** やSparse-k Attentionのような入力データ依存のプリミティブを使うモデルでは、入力分布によって最適な最適化戦略が変わる。元記事では実際のデータ分布の違いがどれほど最適化結果に影響するかが図示されており、これが設計上の重要な動機となっている。
TKCCはこれを「二層構造の永続エンジン」で解決する：
- ファストエンジン：少数のレイヤーのみロード。高速なイテレーションと低分散な計測に特化。
- スローエンジン：多くのレイヤーをロード。実データ分布での検証に特化。
ベンチマーク結果
MegaKernelワークロード（Llama 1B, バッチサイズ1）：人間のエキスパートと従来のMLコンパイラが長期間最適化してきた設定で、TKCCはCUDAグラフベースラインに対して1.7倍のTPSを達成。H100・B200の両方で有効。
SemiAnalysisのInferenceX AgentXベンチマーク：2026年時点のフロンティアモデル（Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash）を対象に、既存の高度最適化済み設定と比較して最大2.6倍のTPSを達成。低レイテンシ設定（バッチサイズ1）では、MiniMax M3.1-Flashで1111 TPS、DeepSeek v4.1-Flashで1205 TPSのState-of-the-Artを記録した。
LLM以外のAIワークロード：気象モデリング、PDE（偏微分方程式）、時系列、生物学モデルでも評価を実施。Claude Codeの/goalコマンド（Claude CodeがAIコーディングタスクを自律実行する際に目標を与えるインターフェース）を使って生成したコードを比較対象として、4つのモデルのうち3つでTKCCが上回るスピードアップを示した。TKCCはLLM推論に限らない汎用AIコンパイラとしても機能する。
「Polymorphic Inference」への展開
Together AIはこのTKCCを、同社が提唱するPolymorphic Inference（多形的推論）という概念の中核技術と位置づけている。推論最適化を単一のトラフィック形状・ハードウェア・モデルに対する静的な問題として解くのではなく、金融市場のように動的に変化し続けるものとして扱う、というアプローチだ。
TKCCの詳細は論文でも公開されており、すでに本番環境で数兆トークンの処理に使用されているとのことだ。
詳細はTogether Compiler: Continuous Compilation for AI inferenceを参照していただきたい。
