10月31日、Daniel Singerが「IMEC shows when owning AI models beats API bills」と題した記事を公開した。注目すべきは、高性能モデルとして知られるKimi K3を自己ホストした場合、同時接続できるユーザーがわずか4人にとどまるという実測値だ。「スケールが大きくなれば自己ホストが有利」という直感は必ずしも正しくない——ベルギーの研究機関IMECの研究者がAI Engineerカンファレンスで示したデータは、その判断をより複雑にする。
APIか自己ホストか——エンジニアが直面するコスト判断
LLMをプロダクトに組み込む際、OpenAIやAnthropicのAPIを叩くか、オープンウェイトモデルを自前のGPUで動かすか、という選択は多くの開発チームが直面する問題だ。直感的には「スケールが大きくなれば自己ホストが有利」と思われがちだが、実際にどの閾値でコストが逆転するのかを具体的に示したデータは少ない。
IMECはナノエレクトロニクス分野で世界的に知られるベルギーの研究機関で、近年はAIハードウェアと推論効率の研究にも注力している。同機関のSteven Latréは、AI Engineerのカンファレンスでこの問いに正面から答えた。
SWE-benchで計測した実際の数字
Latréが用いたベンチマークは**SWE-bench**（実際のGitHubリポジトリのIssueをLLMに解かせるソフトウェアエンジニアリング評価指標）だ。コーディングワークロードという実務に近い条件で、APIコストと自己ホストコストを比較した。
主な結果は以下の通りだ。
- GLMクラスのコーディングワークロードでは、オープンウェイトモデルを自己ホストすることでAPIと比べて24〜25%のコスト削減を達成した。
- Kimi K3はSWE-benchで86%のスコアを記録したが、自己ホスト環境での同時接続ユーザー数はわずか4人にとどまった。
ここで「GLMクラス」とは、中国・清華大学発のGLM（General Language Model）系列のモデルを指す。GLM-4などを含むこのシリーズは、比較的コンパクトな構成でコーディングタスクに強いとされており、自己ホスト時のGPUリソース効率が高い点が今回の削減率に寄与している。
一方、Kimi K3は中国系スタートアップのMoonshot AIが開発した大規模モデルで、SWE-benchでのスコアはトップクラスだ。しかし推論に必要なGPUリソースが膨大なため、少数の同時リクエストしか捌けない。つまり、精度とスループットはトレードオフであり、「性能が良いモデル＝自己ホストでコスト効率が良い」とは限らない。
コスト逆転の条件
記事が示す損益分岐点の考え方を整理すると、自己ホストが有利になるのは主に以下の条件が揃う場合だ。
- リクエスト量が十分多い——GPU稼働率が低いまま固定費だけかかる状況では自己ホストは割高になる
- モデルサイズが現実的なGPU構成に収まる——Kimi K3のような大規模モデルは同時処理数が制約され、スループット当たりコストが跳ね上がる
- タスクが特定ドメインに集中している——汎用APIと異なり、特定ワークロードに最適化したモデルを選べる
GLMクラスのモデルが24〜25%削減を実現できたのは、モデルサイズとタスク特性がちょうどハードウェア構成にフィットしたためだ。逆にKimi K3のケースは、ベンチマークスコアだけを見てモデルを選定すると自己ホストのコスト試算が大きく狂うリスクを端的に示している。
比較対象のモデル群
Latréの分析で言及されたモデルには、**Qwen、DeepSeek、GLM、Kimi K3が含まれる。また、比較軸の一つとしてOpenAIのCodex**も登場する。なお、OpenAI CodexのAPIは2023年に廃止されており、現在は直接利用できない。元記事での言及はコーディングLLMの系譜における歴史的な比較軸として位置づけられているとみられる。いずれのモデルも2024〜2025年にかけてコーディングベンチマークで上位に位置するものだ。
実務への示唆
この分析が示す最も実践的な教訓は、「とりあえずAPI」から「計測してから判断」への移行だ。特にコーディングエージェントや自動レビューのように、1リクエストあたりのトークン消費が多いワークロードでは、月次のAPI請求書が予想外に膨らむケースがある。
一方で、Kimi K3のような高性能モデルを少人数チームの内製インフラで動かすのは現実的ではない。GPUのコストと調達リードタイムを考慮すると、同時ユーザー数と要求精度の両方を見積もった上でモデルを選ぶ必要がある。
IMECのような実測ベースのコスト分析が持つ価値は、ベンチマークスコアという単一指標では見えてこないスループット・稼働率・ハードウェアコストの三者関係を可視化した点にある。コーディングエージェントの社内導入を検討しているチームにとって、今回のデータは具体的な意思決定の出発点になるだろう。
詳細はIMEC shows when owning AI models beats API billsを参照していただきたい。
