8月16日、The Decoderが「Optima tackles AI benchmarking's biggest flaw by letting users test models against their own data」と題した記事を公開した。LLMの独立評価機関として知られるArtificial Analysisが新プラットフォーム「Optima」をリリースした。早期テスターの事例では、品質をほぼ損なわずコストを10分の1に削減できるモデルを特定できたという。ユーザー自身のデータを使ってAIモデルをカスタム評価できる仕組みを、以下に詳しく紹介する。
汎用ベンチマークの何が問題か
AIモデルの選定において、公開ベンチマークは長らく「信頼できない」と指摘されてきた。
Epoch AIの分析によれば、ベンチマークのスコアはプロンプトの文言や温度パラメータ（temperature：モデルの出力のランダム性を制御するパラメータ）などの実装詳細に大きく左右されるにもかかわらず、それらの条件が公開されることはほとんどない。エージェント型ベンチマークであるSWE-benchでは、スキャフォールドを変えるだけでスコアが最大15ポイント変動することが確認されている。ここでいうスキャフォールドとは、AIエージェントが実際にタスクを実行する際に使う「制御ソフトウェアとツール群の枠組み」のことで、同じモデルであってもこの枠組みの設計次第でパフォーマンスが大きく変わる。
さらに445本のベンチマーク論文を対象にした調査では、ほぼすべての論文に方法論上の欠陥が見つかった。実際のアプリケーションシナリオを反映した完全なリアルワールドタスクを使用していたのは、調査対象の**約10%**に過ぎなかった。
こうした背景のもと、Artificial Analysisが、ユーザー固有のデータでモデルを評価できるプラットフォーム「Optima」をリリースした。
カスタムベンチマークを作る3つの方法
Optimaでは、以下の3つのアプローチでベンチマークを構築できる。
- 既存の評価データセットをアップロード：自前ファイルまたはHugging Faceからインポート可能
- AIエージェントのトレースデータを使用：Arize、Braintrust、Langfuseなどのプラットフォームからエージェントの実行ログを取り込む
- ユースケースの説明から生成：自前データがない場合、使用目的とサンプルの入出力を記述すると、Optimaがテスト入力・評価基準・例示タスクを自動生成する
評価方式は2種類用意されている。ルーブリック評価（客観的基準に照らした採点）と、ペアワイズ比較（ユーザーが回答ペアをサンプル評価し、その好みからランキング全体を導出する方式）だ。後者はArtificial AnalysisがGDPval-AAやAA-Briefcaseといった既存ベンチマークでも採用している手法である。
GDPval-AAおよびAA-Briefcaseは、いずれもArtificial Analysisが独自に開発した評価ベンチマークだ。GDPval-AAは汎用的なLLM能力を測定するもので、AA-Briefcaseはビジネス文書処理など実務に近いタスクを対象としている。これらにおいてもペアワイズ比較を採用してきた実績が、Optimaの設計思想の裏付けとなっている。
「タスクあたりコスト」を評価軸に据えた意義
Optimaがエンジニアにとって実用的なのは、モデルの品質だけでなくタスクあたりコストとタスクあたり処理時間を独立した比較軸として追跡している点だ。
エージェント型アプリケーションでは、トークン単価だけでは実態が見えない。安価なモデルでも、試行回数が増えたり、失敗が多発したり、後処理が必要になったりすれば、トータルコストは高くつく。「タスクあたり完了コスト」の方が意思決定に直結する指標だ。
早期テスターの事例として、Artificial Analysisは次のケースを挙げている。
- ファイナンス・会計エージェント向けに、品質をほぼ損なわずコストを10分の1に削減できるモデルを特定
- 弁護士の文体に最も忠実なモデルの選定
- 独自画像データセットにおける要素識別精度の比較
料金体系
ベンチマーク実行時の費用は、使用したモデルの実際のトークンコストのみ（マークアップなし）。評価コストは以下の通りだ。
| 評価方式 | 料金 |
|---|---|
| ルーブリック評価 | $0.125／（評価基準1件 × モデル1件）あたり |
| ペアワイズ評価 | $0.375／比較1回あたり |
たとえばルーブリック評価で評価基準が5件、比較対象モデルが3つであれば、$0.125 × 5 × 3 = $1.875が評価コストの目安となる。ベンチマーク作成・実行・評価の各フェーズ開始時に、コスト見積もりに基づく残高確保が行われ、実際の使用量に応じて請求される仕組みだ。
限界も正直に
記事はOptimaの有用性を認めつつ、解決できない問題についても明示している。
カスタムベンチマークであっても、その有効性はターゲット能力の定義の精度、テストケースの代表性、評価の実装と文書化の質に依存する。方法論上の課題が完全に消えるわけではない。
また、タスクあたりコストや処理時間も、「その出力がビジネスにとって実際にどれだけ価値があるか」までは測れない。安くて速いAIワークフローでも、結果の大幅な修正が必要だったり、プロセスへの貢献が薄かったりすれば、非効率のままだ。
詳細はOptima tackles AI benchmarking's biggest flaw by letting users test models against their own dataを参照していただきたい。
