8月18日、Databricksが「Evaluating AI Agents Live at the Grounded Reasoning Cup」と題した記事を公開した。この記事では、AIエージェントの企業向けドキュメント推論能力をライブ競技形式で評価した「Grounded Reasoning Cup」の実施内容と、上位チームの具体的な戦略について詳しく紹介されている。

ベンチマークではなく「ライブ競技」で評価する

AIエージェントの評価手法として、固定ベンチマークへの過適合が業界全体の課題になっている。既知のテストセットでスコアを上げても、実務で使い物になるかは別問題だ。Databricksが主催したGrounded Reasoning Cupは、この問題に正面から取り組んだ試みだ。

競技の仕組みはシンプルかつ厳格だった。米国・カナダの学術機関から11チームが参加し、OpenAI・Anthropic・Google DeepMindの各ラボがパートナーとして支援。チームはOpenAIならOpenAIのモデル系列のみ使用可能という制約のもと、約2ヶ月間をかけてOfficeQAベンチマークでエージェントを開発した。

競技当日に出題されたのは、開発中には一切公開されていなかった新ベンチマークOfficeQA Pro V2だ。さらにコーパス（米財務省の収支報告書）は競技の36時間前に初めて公開された。インデックス作成の時間は与えつつも、新コーパスへの過適合を防ぐ設計である。

競技は15問×6ラウンド構成。正解で1点、最速正解には0.25点のスピードボーナスが加算され、最終ラウンドは2倍得点という設定だ。

結果：優勝はスタンフォード、精度63.3%

チーム平均スコアは約41%。**優勝したスタンフォードは63.3%**を記録し、平均より約22ポイント上回った。フロンティアモデルのオフラインエージェントベースラインと比べると約35ポイントの差だ。

特筆すべきは、同じモデル系列を使ったチーム間でも、最高スコアと最低スコアの差が平均30.4ポイントに達した点だ。モデルの性能ではなく、「どう使うか」——すなわちエージェントの設計と運用戦略——が結果を分けた形だ。

上位3チームの戦略：モデルより「システム設計」が勝負を決めた

1位：スタンフォード大学 ─ 失敗パターンを「スキル集」に変換

スタンフォードが採用したのは、エラー分析を再利用可能な手順書（スキル）に変換するアプローチだ。元記事記載のモデル名「Claude Opus 4.8」を搭載したClaude Codeエージェントを使い、OfficeQAでの開発中に誤答のたびに「エージェントがどの時点で間違えたか」を追跡。表の位置特定・数値フォーマット・財務用語の解釈など、約100以上のスキルをエージェントに仕込んだ。

競技本番でも戦略を動的に変えた点が面白い。前半3ラウンドでは別のClaude Codeエージェントを「検証役」として走らせ、中間値の再抽出や計算チェックを実施した。しかしスピードボーナスがわずか2点にとどまったため、後半3ラウンドでは検証パスを外して低レイテンシ重視に切り替え。この判断で14問のスピードボーナスを獲得し、追い上げに成功した。最終ラウンドでは再び検証を有効化し、リサブミッション（3回まで使える再提出権）で誤答を修正。これが決勝打となった。

2位：UMassアマースト ─ 速度で前半を制した並列戦略

UMassは速度への賭けに出た。元記事記載のモデル名「Claude Opus 4.8 Fast」（より速い軽量版）を採用し、事前にコーパスをメタデータカタログ化して高速検索を実現。各問いに対して3エージェントを並列実行し、最後にOpusの検証呼び出しで最良回答を選択する設計だ。

正答の平均提出時間は4分。チーム平均の8分30秒の半分以下だ。スピードボーナス獲得数は36点で、2位スタンフォードの16点を大きく上回り、ハーフタイムで10.25点のリードを築いた。しかし最終ラウンド残り56秒でスタンフォードに逆転され、1.75点差で惜敗した。

3位：イェール大学 ─ 4アームの多数決で安定性を確保

イェールは単一エージェントの失敗耐性を設計の核に置いた。4つの独立したエージェントを並列実行する構成で、2アームはReActエージェント（ReActとは「推論しながら行動する」パターンで構築されたLLMエージェントの設計手法）で、元記事記載のモデル名「GeminiモデルのProとFlash」で別々に動作させた。残り2アームはプランナー・検証パイプラインだ。

4アームの出力を元記事記載のモデル名「Gemini 3.1 Pro」製メタ検証器がレビューし、最終回答を選択。ただしメタ検証器が選べるのは既存アームのいずれかの回答のみで、新たな回答を生成することはできない設計だ。合意不能時は多数決にフォールバックする。90問中49問正解で3位を獲得した。

競技から得られた知見

上位チームに共通する設計要素を整理すると以下のとおりだ。

• パース品質：事前パースに加え、チャートの説明やページレベルのメタデータを補完し、パースが不完全な場合はソースPDFに戻るパスを確保
• 検索品質：汎用のトップk検索ではなく、キーワードマッチングベースのlexical検索（grepなど）とベクトル類似度によるdense検索のハイブリッド。単一手法では拾えない多様な表現のドキュメントに対応する
• ツール分業：検索・ドキュメント参照・計算・比較・提出を専用ツールに委譲。一つのエージェントに全処理を担わせず、役割を切り分けることで精度と保守性を高める
• 検証ステップ：検証エージェントまたは追加LLM呼び出しによる明示的なチェック。スタンフォードとイェールはいずれも検証フェーズを独立させており、回答の確信度管理が上位進出の鍵になった
• 運用インフラ：前処理・リトライロジック・並列実行・提出スキャフォールディングの整備。競技という短時間高プレッシャーの場でも安定動作させる基盤が、スコアの土台を支えた

これらは個別のテクニックというより、「単一の強力なモデルに頼らず、システム全体で精度を底上げする」という設計思想の具体的な表れだ。そして18.8%の問題はどのチームも正解できなかったという事実は、企業向けドキュメント推論が依然として未解決の課題を多く抱える領域であることを示している。

詳細はEvaluating AI Agents Live at the Grounded Reasoning Cupを参照していただきたい。