7月25日、PYMNTSが「AI Agents Fail 3 Out of 4 Real Job Tasks」と題した記事を公開した。UCバークレーが実業務タスクを用いた厳格なベンチマーク「Agents' Last Exam」でAIエージェントの実力を検証した研究を詳報している。現時点で最高スコアを記録したシステムでさえ正答率は**26%**にとどまり、難問カテゴリではAnthropicのClaudeが全問不合格という結果が示された。
難問での「崩壊ぶり」：全システム平均2.6%、Claudeは全滅
最も衝撃的な数字は、ベンチマーク全体の平均ではなく、難易度の高い「長期・多ステップ」タスクにおける結果だ。複数の工程を追跡しながらすべてを正しくこなす必要があるタスクカテゴリでは、全システムの平均通過率が**わずか2.6%**に急落する。
最高スコアのOpenAI Codex（GPT-5.5モデル上で動作） でさえそのカテゴリでは8.6%にとどまった。AnthropicのClaude Code（元記事に記載のモデル名：Opus 4.7）は難問カテゴリで全問不合格。さらに、630ドル相当の計算資源と7億6,300万トークンを投入した条件（ベンチマーク上の最大リソース試算）でも、成功率は**2.9%**にしかならなかった。研究者たちはこの結果から、「コンピューティングリソースを増やしても、このような業務タスクでAIエージェントの精度を安定して向上させることはできない」と結論付けている。
トークンとは、AIがテキスト・情報を処理する際の単位で、日本語では概ね1〜2文字に相当する。
ベンチマークの設計：現場の実務そのまま
研究を実施したのはUCバークレーのCenter for Responsible, Decentralized Intelligence（RDI）だ。「AIエージェントは2026〜2027年にかけてほぼすべての職種で人間を超える」という巷の予測を検証するために「Agents' Last Exam」を設計した。コア著者のYiyou Sun氏はFrontierNews.aiに対し、「あらゆるところでそういう予測が飛び交っている。だからこそ、それを実証するための試験を作った」と述べている。
研究チームは55業種・250名以上のプロフェッショナルから1,490件の実際の業務課題を収集した。内容は法的書類の作成、財務モデルの構築、製造部品の設計など、通常であれば数時間から数週間かかるプロジェクトが中心だ。
採点は厳格で、部分点なし。成果物が不完全、または誤っていれば「不合格」とカウントされる。「いい線いってたが惜しかった」は認められない現場基準の採点方式だ。
トップモデルでも全体では26%止まり
難問を除いた全タスクで見ても、最高スコアはOpenAIのCodex（GPT-5.5モデル上で動作）の**26.2%**だ。4件に1件しかこなせない計算になる。
より易しいカテゴリ（59件のタスク）ではトップ勢の通過率は約30%まで上がり、Codex on GPT-5.5は**42.4%**を記録している。できること・できないことの境界線はそこにある。全体スコアと難問スコアの落差が、AIエージェントの実力の「天井」と「崩れ方」を同時に示している。
なぜ多ステップ処理が難しいのか
単発の質問には答えられても、そこから先が続かない。例えば財務分野の場合、ある数値を正しく計算できても、それを元にデータを収集し、自分の計算を検証し、実際に使える最終レポートを仕上げるという一連の流れを完結させることが今のAIには難しい。
「途中で自分のミスに気づいて修正しながら、最後まで使い物になる成果物を届ける」——これが現状のAIエージェントにとって最大の壁だ。現在主流のLLM（大規模言語モデル）ベースのエージェントは、ステップが増えるほど誤りが累積し、自己修正ループが有効に機能しないケースが多いとされている。
実務への示唆：どこに使うかが肝
26.2%という数字は、AIエージェントの活用領域を考える上での現実的な指標になる。定義が明確で範囲の狭いタスクには使えるが、判断を伴う多段階プロジェクトにはまだ向かない。
企業側の現状を見ると、大企業のCFO（最高財務責任者）の8割以上がAIを買掛金処理に活用しているか導入を検討中だという（PYMNTSインテリジェンスの調査より）。一方、AIエージェントを日常の財務業務に実際に組み込んでいる米国の財務責任者は**約7%で、テスト段階にある企業を含めても約12%**にとどまる。早期導入が構造化された反復タスクに集中しているのは、このベンチマーク結果と整合的だ。
Agents' Last Examが突きつけているのは、「AIエージェントが使えるかどうか」ではなく、「どの種類のタスクなら任せられるか」という問いへの転換だ。その基準を持たないまま導入すると、リソースを投じても成果が出ないという「630ドルの計算資源で2.9%」の再現が企業内で起きる可能性がある。
詳細はAI Agents Fail 3 Out of 4 Real Job Tasksを参照していただきたい。
