7月22日、Futurismが「Frontier AI Is Faceplanting at Real-World Workplace Tasks」と題した記事を公開した。この記事では、最先端AIモデルが実際の職場タスクをほとんどこなせないことを示したUCバークレーの新たな調査結果について詳しく紹介されている。
AIへの投資1.6兆ドル、職場での成功率は24%以下
AIへの業界投資総額はすでに1.6兆ドルを超えた。しかし実態はどうか。
UCバークレーの「Center for Responsible, Decentralized Intelligence（RDI）」が実施した調査によれば、現在の最先端AIモデルは職場タスクの大半を満足なレベルでこなせていない。これはOpenAIやAnthropicらが掲げる「AI革命は目前」という主張に、大きな疑問符を突きつける結果だ。
「Agents' Last Exam」とは
研究チームが設計したベンチマークの名称は「Agents' Last Exam（ALE）」。これはAIの学力測定で話題になった「Humanity's Last Exam」をもじったもので、AIの「就業準備度」を測ることを目的としている。
ALEの特徴は、その対象の広さにある。55の職種にまたがる1,500以上のタスクを専門家が設計・提供しており、ソフトウェアエンジニアリングやグラフィックデザインといったAI影響度が高いとされる職種だけでなく、海洋工学・農業・音響制作・公衆衛生業務といった、AI代替リスクがまだ不明確な職種も含まれている。
採点方式も厳格だ。ALEでは各タスクに対して「合格（Pass）／不合格（Fail）」の二値評価を採用しており、部分点は与えられない。専門家が設計した明確な合否基準に照らして、モデルが最終的な成果物を正確に出力できたかどうかのみが問われる。このため、「ある程度こなせる」水準では合格率に反映されず、24%という数字は実際に業務として完結できたタスクの割合を意味している。
全モデルが低水準、最高スコアでも24%
研究チームがALEで評価したのは以下の主要モデルだ（いずれも元記事およびarXiv論文に記載の名称に基づく）。
- Anthropic の Fable 5
- OpenAI の GPT-5.5
- Cursor の Composer 2.5
- Google の Gemini 3.1 Pro
- 中国系開発者によるオープンソースモデル2種
結果は全モデルで低水準と言える。最高スコアを記録したのはGPT-5.5で、それでも**全体の合格率は24%**にとどまった。他のモデルとの差については元記事および論文に詳細が記載されているが、いずれのモデルも同様に低い水準であり、特定のモデルだけが突出していたわけではない点は注目に値する。
研究チームは論文内でこう述べている。
「今日のエージェントは、専門タスクの一部を解決できる。しかし、持続的な推論・深い専門知識・長期にわたる安定した実行が求められる難しいタスクでは、人間レベルには程遠い。」
さらに、難易度が上がると状況は急激に悪化する。ALEの**最難関タスク群では、評価した全モデルの成功率が0%**だった。
コストの問題：Fable 5は同等性能で4〜12倍高い
研究チームはコスト面も検証している。Fable 5はGPT-5.5やComposer 2.5と「同程度の性能」を示しながら、タスクあたりのコストが約4〜12倍高いという。性能が横並びであれば、コスト効率は重要な選定基準になる。
「技術が使えなくても、労働者は脅かされる」
研究チームは、低い成功率を理由にAIの雇用影響を軽視することへも警告を発している。
共著者でバークレーのコンピュータサイエンス研究者であるDawn Song氏は次のように述べた。
「現在の合格率が低くても、手順が定型的で明確な職種は最初に影響を受けるだろう。意思決定が中心の職種はより長く持ちこたえる。重要なのは業種ではなく、仕事の性質だ。」
この指摘は実際の企業行動とも符合する。AIが必ずしも高い精度で機能しなくても、経営者がAIへの投資と人員削減を同時に進めている事例はすでに報告されている。「合格率24%」という数字は、AIが職場を代替できないことの証明である以前に、それでも置き換えが起きうる現実の証左として読む必要がある。
まとめ
今回の調査が示すのは、AIへの大規模投資と実際の業務遂行能力の間に依然として大きな乖離があるという事実だ。ALEベンチマークは職種の幅広さと厳格な合否基準によって、これまでのベンチマークとは異なる角度からAIの実力を可視化した。ベンチマーク自体の詳細はarXivの論文およびUCバークレーRDIのプレスリリースで公開されている。
詳細はFrontier AI Is Faceplanting at Real-World Workplace Tasksを参照していただきたい。
