11月21日、MIT Technology Reviewが「The most misunderstood graph in AI just got a major update」と題した記事を公開した。この記事では、AI評価非営利団体METRが公開した最新レポートにおいて、AIモデルがコーディングなどの検証可能なタスクで指数的な進歩を続ける一方、判断力を要するオープンエンドなタスクでは人間に及ばないことが示された点について詳しく紹介されている。
「最も誤解されたグラフ」が大型アップデート
METR(Model Evaluation & Threat Research)は、AIモデルの能力評価を専門とする非営利組織だ。同組織が定期的に公開する「タイムホライズンプロット」は、AIモデルがどの程度の難易度のタスクをこなせるかを時系列で示したグラフで、業界内で広く参照されてきた。
このグラフの評価方法はシンプルだ。人間のテスターが各タスクを完了するのにかかった時間でタスク難易度をスコアリングし、モデルが成功できるタスクの「長さ(難易度)」を測定する。前回のレポートでは、フロンティアモデルが成功できるタスクの難易度が4ヶ月ごとに倍増しているという指数的な進歩が示された。
ただし、このグラフは「最も誤解されたAIグラフ」とも評されており、指標の複雑さゆえに広く誤読されてきた経緯がある。
判断力タスクで露わになった弱点
今回のアップデートで最も重要な追加は、「判断力を要するタスク」の組み込みだ。
これまでのタスクは、コーディングや数学のように「正解・不正解を自動で判定できる」検証可能なタスクが中心だった。強化学習(Reinforcement Learning)が機能するのは、まさにこうした領域だ。モデルが何度もタスクを試み、成功に寄与したニューラルパスを強化し、失敗に寄与したパスを弱めることで精度を高めていく。
一方、「有望な研究テーマを選ぶ」「哲学的論証を評価する」といったタスクは成否の判定が難しく、強化学習を適用しにくい。こうしたオープンエンドなタスクこそ、AIがR&D(研究開発)を自動化できるかどうかの試金石になる。
METRが新たに組み込んだ具体的なタスクは以下の2つだ:
- AI評価の設計タスク:モデルにMETRの研究で使えるAI評価指標を設計させ、METR社員が採点する。最先端モデルはソフトウェアエンジニアリングではほぼすべての人間を上回るが、このタスクではAIが設計した評価指標のうち「研究で使える」と判断されたものはゼロ件だった。
- 哲学的論証の採点タスク:AIがどの程度「良い判断力」を発揮できるかを測る。こちらも人間のパフォーマンスに届かなかった。
ただし、希望の兆しもある。元記事によれば、最新モデルの一部は評価設計タスクで「borderline above the bar(及第点ギリギリ)」のスコアを達成し始めているとされる。1年前はすべてのモデルが「clearly below the bar(明確に不合格)」だったことを考えると、一定の進歩は見られる。
評価手法自体の限界も露呈
今回のレポートでは、評価手法そのものの課題も正直に記されている。
旧来のタスクは実際に人間に試させて完了時間を計測したが、今回の新タスクの完了時間はほとんどが推計値だ。数百時間かかるタスクや、特定の専門家しか遂行できないタスクを実際に人間に解かせることは、コスト・時間の両面で現実的でないためだ。
哲学的論証タスクについても、採点者の構成に関する制約が元記事で言及されており、複数の専門家を招けばスコアが変わる可能性も否定できないと記されている。
METRのMatt Putz氏はこう述べている。
「判断力を要するタスクや検証困難なタスクは、その性質上、研究も定量化も格段に難しい。検証しやすいタスクで確立したようなクリーンで堅牢なトレンドを導き出すことは、おそらくできないだろう。」
専門家の見方
UC Berkeleyの計算機科学者Sayash Kapoor氏は、今回のアップデートを歓迎しつつも慎重な姿勢を崩さない。
「AI評価はより創造的になる必要がある段階に来ている。評価の空間のエンベロープを押し広げようとしている姿勢は歓迎できる変化だ。」
Kapoor氏は8月公開のプレプリントで、AIモデルが単独でコンピューターサイエンスの研究を再現することはまだできていないと報告している。モデルがオープンエンドなタスクで苦戦することは、想定の範囲内だという。一方で、コーディングや数学など検証可能なタスクで訓練されたモデルが、やがてオープンエンドなタスクにも対応できるようになるという見解もある。検証可能タスクでの進歩が鈍化する兆候は現時点では見られないからだ。
ボストン大学の言語学者・計算機科学者Najoung Kim氏も見通しの難しさを端的に表現している。
「今の時点での改善は、現状について何かを教えてくれる。ただ、それが先にどう外挿されるかをまだどう考えるべきか、わからない。」
AI R&D自動化への問いはまだ遠い
背景として押さえておきたいのが、AIコミュニティを揺るがしている別のMETRレポートの存在だ。今月初め、AIがAI能力開発ペースを加速させている可能性を示した(ただし大部分が黒塗りの)レポートが公開され、「完全な再帰的自己改善(Full Recursive Self-Improvement)」への議論が業界内で広がっている。
※編集部の考察:こうした状況の中、判断力タスクでのAIの現状を定点観測するMETRの今回のレポートは、AI R&D自動化の実態を測る重要な基準点となる。ただし、定量的に確実なことが言えるほどの評価データはまだ揃っていない。
Kapoor氏の言葉が端的に現状を示している。「オープンエンドなタスクへのこの移行は有望だ。しかし、より完全な理解を得るためにやるべきことはまだはるかに多い。」
詳細はThe most misunderstood graph in AI just got a major updateを参照していただきたい。