7月15日、Junjie YinとXinyu Fengが「Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution」と題した論文を公開した。LLMエージェントがタスクの複雑さを自己評価して実行コストを最小化する「複雑さ認識型実行」フレームワークの提案と検証を扱っており、日本でもコーディングエージェントの実運用コストへの関心が高まるなかで注目に値する内容だ。
「1行の修正」がコードベース全体の監査になる問題
コーディングエージェントを使っていると、些細な修正タスクでも大量のファイルを読み込み、不必要なコンテキストを収集してから作業するという挙動に気づく。論文ではこれを 「maximum-context-first戦略」 と呼ぶ。1行の編集がコードベース全体の監査に変わる現象だ。
この過剰な読み込みは単なる無駄遣いではない。トークン消費、レイテンシ、APIコストに直結する。そして著者らが問うのは「エージェントはそもそも、タスクがどれだけ簡単かを判断できているのか？」という根本的な問いだ。
この問いは新しい。既存のエージェント研究の多くは「いかに複雑なタスクを解かせるか」に注力してきた。ReActやTree of Thoughtsといったフレームワークも、推論能力の拡張を主眼としており、「簡単なタスクに対していかにリソースを使わないか」という視点はほとんど議論されてこなかった。本論文はその空白を埋めようとする試みとして位置づけられる。
ACRRとE3：問題の定式化と解法
論文は二つの概念を提示する。
ACRR（Agent Cognitive Redundancy Ratio） は、エージェントが実際に消費したリソースと、タスクを解くために理論上必要な最小リソースの比を表す指標だ。ACRRが高いほど、エージェントは余計な作業をしている。
E3（Estimate, Execute, Expand） はその対策として提案するフレームワークで、3ステップで構成される：
- Estimate（推定）：タスクの難易度と必要な情報量を事前に見積もり、最小実行スコープを決定する
- Execute（実行）：見積もりに基づく最小限の経路で編集を実施する
- Expand（拡張）：検証が失敗した場合にのみスコープを広げる
「まず全部読んでから考える」ではなく、「必要最小限で動いて、足りなければ広げる」という発想の転換だ。
実験結果：コスト85%削減、トークン91%削減
評価には MSE-Bench を使用した。MSE-Benchは、実在のオープンソースリポジトリへのソフトウェア編集タスク121件を収録した確定的ベンチマークであり、正解が一意に定まる設計になっている。コーディングエージェントの評価文脈ではSWE-benchが広く知られているが、MSE-Benchはより小規模・局所的な編集タスクに特化した点が異なる。E3の結果は以下の通りだ：
| 指標 | 結果 |
|---|---|
| タスク成功率 | 最強ベースラインと同等 |
| コスト削減 | 85%削減 |
| トークン削減 | 91%削減 |
| 参照ファイル数削減 | 92%削減 |
| 適応的検索ベースラインとの比較 | 16%上回る |
成功率を落とさずにリソースを大幅に削減している点が核心だ。また、タスク指示の言い回しを変えたホールドアウト評価でも、コスト重みをほぼどう設定しても同様の結果が得られており、ロバスト性も確認されている。
実際のgpt-4oエージェントでの検証
シミュレーター上の結果だけでなく、LLM-Caseと呼ぶ実機ハーネスを用いて、実際のgpt-4oエージェントが実在のオープンソースライブラリを編集する実験も行われた。評価は実際のプロジェクトのpytestスイートを走らせてオラクルと比較するという厳格な方法だ。
結果として、過剰な読み込みはシミュレーターより軽微ではあるが実在しており、E3は同等のタスク成功率のなかで最もトークン消費が少なく最速のポリシーとなった。唯一の失敗例はプロバイダーのレートリミットによるものであり、編集内容の誤りではなかった。
エンジニアリング現実に根ざしたAI（EGAI）という視点
著者らはこの研究を「デプロイ済みエージェントの計測」ではなく、「実行冗長性の制御された調査」と位置づけており、主張は慎重だ。その上で、EGAI（Engineering-Grounded AI） という概念を提唱している。これは本論文で著者らが新たに提示する視点であり、エージェントの努力量がタスクのエンジニアリング的実態に対して適切に校正されるべきだという方向性を指す。「能力の高さ」ではなく「適切さ」をエージェント評価の軸に据えようとする姿勢は、実運用コストへの関心が高まる現在の文脈で重要な提起と言える。
※編集部の考察：EGAIの概念はReActやTree of Thoughtsのような「推論能力の拡張」路線とは対照的な立場を取る。コスト効率を設計上の第一級市民として扱うこの方向性は、商用エージェント開発における実践的な指針になりうる。
コード・ベンチマーク・フレームワークはすべてGitHub上で公開されている。
詳細はDo AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Executionを参照していただきたい。
