7月6日、Shittu Olumideが「5 Ways Small Language Models Are Powering Next-Gen Agents」と題した記事を公開した。この記事では、Small Language Model（SLM）がAIエージェントの内部でどのように活用されているかを5つの具体的な手法で解説している。
「モデルが大きいほど良いエージェントになる」という前提が崩れつつある。なかでも注目すべきは、フロンティアモデルとSLMを組み合わせた分業構成がコストを約10分の1に、レイテンシを31.6%削減するという実測値だ。NVIDIAのリサーチチームが2025年に発表した論文 Small Language Models are the Future of Agentic AI がその転換点となっており、エージェントが日常的にこなす作業——コマンドのパース、ツールの選択、固定フォーマットでの出力——は、汎用的な大規模モデルが得意とする「開かれた会話」とは根本的に異なる。そこにSLMが入り込む余地がある。
4. 大小モデルの分業アーキテクチャ（最大の読みどころ）
最も設計上の示唆が大きいのが、フロンティアモデルとSLMを組み合わせるヘテロジニアス構成だ。ヘテロジニアス（heterogeneous）とは「異種混在」を意味し、ここでは大小異なるモデルを役割分担させるアーキテクチャを指す。大規模モデルがプランナー（戦略・曖昧性の解決）を担い、ドメイン特化のSLMがワーカー（パース・分類・要約などのアトミックタスク）を担う。
コスト差は無視できない水準だ。1Mトークンあたり$15のフロンティアモデルがタスクの30%を処理し、同$0.15のSLMが残り70%を処理する構成は、全量をフロンティアモデルに通す場合と比べて約10分の1のコストになる。
研究でも裏付けがある。7Bパラメータモデルのみのホモジニアス構成と、低レベル処理を3Bモデル、検証を7Bモデルが担うヘテロジニアス構成を比較したところ、後者は性能をほぼ同等に保ちながらレイテンシを31.6%削減、APIコストを41.8%削減した。NVIDIAはこの構成を実装するためのツール群を NeMo として提供している。
1. 反復的な定型処理こそSLMの本領
NVIDIAの論文の主張は明快だ。エージェントシステム内の多くの呼び出しに対して、SLMは十分に強力で、本質的により適切で、必然的にコスト効率が高い。
大規模モデルが依然として必要なのは「本当に新規性のある推論」だけであり、ツール呼び出しや結果フォーマットの整形といった定型処理には過剰スペックだ。特定の出力フォーマットに特化してファインチューニングされた小さなモデルの方が、同じ作業を都度こなす大規模汎用モデルより信頼性が高いケースも多い。
2. デバイス上での推論——クラウド往復なし
SLMが実現する最も実践的な変化の一つが、エッジ推論だ。クラウドへのリクエストには数百ミリ秒かかるが、エッジ推論（デバイス上でのローカル推論）は数十ミリ秒で完結する。
ハードウェアの進化がこれを現実的にした。元記事によれば、Apple A19 ProのニューラルアクセラレータはiPhone 17 Proで80億パラメータのモデルを毎秒20トークン以上で実行でき、リアルタイム会話に十分なスループットを持つとされる。Apple M5 Maxであれば最大300億パラメータのモデルも許容できる遅延で動作するという。なお、これらのスペックおよびSoC名称は元記事の記述に基づくものであり、製品発表時点での公式仕様とは異なる場合がある。
さらに量子化技術が普及を後押しする。量子化とは、モデルの重みを低ビット精度（例：32ビット浮動小数点から4ビット整数）に変換してメモリと計算量を削減する手法だ。Phi-4-Miniを4ビット精度に圧縮すると、メモリ使用量はフル精度の7.6 GBから約1.2 GBに縮小し、ベンチマーク性能は95%以上を維持する。8 GB RAMのスマートフォンで動作する計算だ。ローカルサービング用には Ollama や Microsoftの Phiモデルファミリ が開発者の出発点として定着している。
3. ツール呼び出し専門家へのファインチューニング
汎用SLMをそのままツール呼び出しに使うと、関数名の幻覚、パラメータの誤り、出力フォーマット崩壊が頻発する。解決策はモデルサイズの拡大ではなく、特定ツールスキーマへの特化だ。
ファインチューニング済みのSLMはToolBenchの評価で77.55%のパス率を達成し、はるかに大きなモデルにChain-of-Thought（CoT）プロンプト——「ステップバイステップで考えよ」と指示して推論過程を引き出す手法——を与えたベースラインを上回った。必要なデータ量も現実的で、ツール1件あたり1,000〜5,000件の高品質サンプルがあれば、95%超の精度に達するとされる。小規模チームが自前で用意できる量だ。
なお、KDnuggetsはエージェント向けツール呼び出しに特化したオープンウェイトの小型モデル5選を別途まとめている（5 Small Language Models for Agentic Tool Calling）。
5. データをデバイス外に出さないプライバシー保護
最後の観点はスピードやコストより、データの所在にある。ローカルで完結するエージェントは、ユーザーの会話・文書・行動履歴をサードパーティAPIに送らない。医療記録や財務情報など厳格なコンプライアンス規制が適用される領域では、これが決定的な差になる。
コスト面でも比較は明確だ。プライベートなSLMで日次1万クエリをホスティングするコストは月**$500〜$2,000程度。大規模モデルAPIで同等のボリュームをさばくと月$5,000〜$50,000になる。さらに、インターネット接続が設計上存在しないエアギャップ**環境（物理的にネットワークから切り離された閉鎖系インフラ。政府機関・医療施設・工場制御システムなどで採用される）では、クラウド依存のエージェントはそもそも動作できない。SLMのローカル展開が、こうした環境でエージェントが存在できる唯一の理由になる。
フロンティアモデルが不要になったわけではない。本当に新規性のある推論や長い開放型コンテキストは依然として大規模モデルの領域だ。変わったのは「エージェントのすべての呼び出しにその規模が必要」という前提である。パース・ルーティング・フォーマット整形・ツール呼び出しといった作業の大部分は、ファインチューニングされた小さなモデルで十分賄えることが明らかになりつつある。
詳細は5 Ways Small Language Models Are Powering Next-Gen Agentsを参照していただきたい。
