7月5日、The Decoderが「AI search agents don't fail at searching, they fail at asking the right questions when queries get ambiguous」と題した記事を公開した。AIサーチエージェントの失敗原因が「検索能力の低さ」ではなく「クエリが曖昧なときに適切な質問を返せないこと」にあるという新ベンチマーク研究について詳しく紹介されている。
「もっと検索すれば解決する」は誤り
AIサーチエージェントの研究において長らく前提とされてきた「検索ステップを増やせば精度が上がる」という仮説を、Tencent HunyuanとTsinghua Universityの研究チームが否定した。
チームが開発したベンチマーク「DiscoBench」の実験結果は明快だ。曖昧なチェックポイントでの行動パターンを分析すると、「まず検索してからユーザーに確認を求める（SearchThenAsk）」モデルのチェックポイント単位での成功率は**93.4%に達する。一方、確認なしに推測する（DirectGuess）は56.5%、繰り返し検索しながらも結局推測する（SearchHeavyGuess）は51.9%**にとどまる（いずれもチェックポイント単位の数値。タスク全体のend-to-end accuracyとは区別が必要）。
SearchHeavyGuessのパターンが最も示唆的だ。モデルはすでに曖昧さに気づいているにもかかわらず、それをユーザーへの問い返しに変換できていない。より多くのツール呼び出しが精度向上につながらない理由がここにある。なお、元記事に登場するモデル名・バージョン番号は記事公開時点（2025年7月）のものであり、本稿執筆時点で国内外での正式リリースが確認できないバージョンが含まれる場合がある点に留意されたい。
DiscoBenchの設計
既存ベンチマークのGAIAやBrowseCompはユーザークエリが完全で曖昧さがない前提で作られている。しかし実際のクエリは不明確・不完全・あるいは事実として誤っているケースが多い。長い推論チェーンでは、序盤に解消されなかった曖昧さが連鎖的にエラーを引き起こし、構文的に正しい検索クエリを投げ続けながら的外れな答えに向かい続ける。
DiscoBenchは211タスク・463の曖昧ポイントを11の知識領域（ビデオゲーム、スポーツ、音楽、映画、科学、政治など）にわたって収録する。曖昧さは4種類に分類される。
- Entity（実体の曖昧さ）: 記述が複数のエンティティに一致する
- Version（バージョン・時期）: 異なる時期やバージョンに適用される
- Criteria（評価基準）: 複数の有効な評価軸が存在する
- Factual Inaccuracy（事実誤り）: クエリ自体に誤った情報が含まれる
各タスクは複数のチェックポイントに分割され、エージェントは各チェックポイントで「検索を続ける」「ユーザーに確認する」「回答する」の3択から選ぶ。有効な確認質問を投げた場合、LLMベースのユーザーシミュレータ（Gemini 3 Flash）が絞り込みに使えるヒントを返す仕組みだ。検索エンジンにはTavilyを使用している。
なお、データセットは中国語圏のWeb検索パターンを反映するため、主に中国語で記述されている。これは英語圏・日本語圏のクエリ特性とは異なる部分があり、本ベンチマークの知見をそのまま英語・日本語環境に適用する際は一定の留保が必要だ。たとえばEntityやCriteriaの曖昧さの現れ方は言語・文化的背景に依存する可能性があり、英語・日本語エージェントの評価に活用する場合は追加検証が望ましい。※編集部の考察
最強モデルでも正答率は平均28.6%
テストされたのは直近6ヶ月以内にリリースされた11モデル。Claude Opus 4.7、GPT 5.4、Gemini 3.1 Pro Preview、Doubao Seed 2.0 Pro、DeepSeek V4 Pro、Kimi K2.6、GLM 5.1、Qwen3.6 Max、MiniMax M2.7、MiMo v2.5 Pro、Hunyuan 3.0 Previewが含まれる（バージョン名は元記事公開時点のもの）。
曖昧さについてのヒントなし（Neutralモード）でのend-to-end accuracy（タスク全体を通じた最終正答率）は：
- **Doubao Seed 2.0 Pro: 43.1%**（最高）
- Gemini 3.1 Pro: 40.8%
- Claude Opus 4.7: 39.8%
- MiniMax M2.7: 16.1%
- Qwen3.6 Max: 12.3%
**全モデル平均は28.6%**。トップモデルでも50%を超えられない。タイトルで「50%未満」と表現しているが、実態としては最低12.3%から最高43.1%まで広く分布しており、全体像を把握するうえでは平均値28.6%が実態をより正確に伝える。
個別チェックポイントのスコアとend-to-end accuracyのギャップも大きい。Claude Opus 4.7はチェックポイント単位では57%を正解するが、end-to-endでは39.8%にとどまる。一箇所でも曖昧さが残れば、チェーン全体が崩壊する構造的な脆弱性を示している。
「曖昧さを検知できる」と「良い質問ができる」は別スキル
系統的に興味深いのが、検知能力と質問の質が相関しないという発見だ。
Qwen3.6 MaxはDetection F1が16%しかなく、タスクあたりの確認質問数は平均0.07回。しかし稀に質問した際の正確性は94.7%、進捗につながる割合は89.5%と高い。MiniMax M2.7は逆に質問頻度は高いが、有効率は60.7〜66.5%にとどまる。
曖昧さの種類別では、事実誤りが最も検出しやすい（直接的な矛盾が生じるため）。EntityとCriteriaの曖昧さは複数の候補が矛盾なく共存できるため、はるかに検出が難しい。
「曖昧さに注意して」と指示しても限界がある
研究チームはシステムプロンプトで「曖昧さに注意し、疑わしい場合は確認質問をするように」と明示的に指示するGuidedモードも検証した。
10モデル平均でend-to-end accuracyは28.6%→**33.7%と改善。しかしDetection F1は45.3%→64.9%**と大幅に跳ね上がった。ヒントは「曖昧さの検知」には効くが、「タスクを最後まで完遂する」には十分でないことを示している。Claude Opus 4.7にいたっては、Guidedモードでチェックポイント通過率は上がったにもかかわらず、end-to-end accuracyはわずかに低下した。
業界全体で共通する課題——他のベンチマークも同じ傾向を示す
この研究が指摘する問題は孤立した知見ではない。
LiveBrowseCompはリアルタイムWeb閲覧能力を評価するベンチマークで、同ベンチマークを用いた別の研究では、知識カットオフ以降の情報が必要なタスクで全システムが25〜40ポイント低下することが示されている。Halluhardは引用・情報源の正確性に特化したハルシネーション評価ベンチマークで、Claude Opus 4.5がWeb検索付きでも約30%のケースでハルシネーションを起こすことが確認されている（主に引用ソースの内容検証時）。いずれもDiscoBenchとは独立した評価軸だが、「検索できること」と「正確に答えること」の間に大きなギャップが存在するという共通の問題意識を持つ。
Anthropicは最新のClaude Opus 4.8で不確実性をより頻繁にフラグ立てするよう改善を図っている。PerplexityはSearch as Codeという異なるアプローチを採っており、モデルが検索ワークフロー自体をPythonプログラムとして記述することで柔軟性を高めようとしている。
DiscoBenchの結論は明快だ。将来のサーチエージェントには、検索能力や推論能力に加えて、検索の不確実性をユーザーとのインタラクションに変換する機構が必要だ。
詳細はAI search agents don't fail at searching, they fail at asking the right questions when queries get ambiguousを参照していただきたい。
