11月22日、The Decoderが「AI is getting better faster than experts can reliably test whether new systems are safe, METR warns」と題した記事を公開した。AI安全性の評価を専門とする研究機関METRが、現在のAIモデルは専門家が安全性を確実に検証できる速度を超えて進化していると警告する報告書を公開したことを報じている。
AIモデルの能力推移:ベンチマーク上の処理可能タスク長が3.6ヶ月ごとに倍増
METRのQ4 2026 Capability Updateが特に注目しているのが、モデルが処理できるタスクの長さ(複雑さ)の拡大ペースだ。
明確に定義されたコーディングや計算タスク——つまり正解・不正解がすぐフィードバックされる種類の作業——において、現行モデルはすでに経験豊富な人間の専門家を単独では上回ることが多い。ただし、トップクラスの専門家を大人数集めたグループにはまだ及ばないという。
より重要な数字がこれだ。人間にとって時間のかかるタスクにおいて、ベンチマーク上でモデルが処理に成功するタスク長の中央値は3.6ヶ月ごとに倍増している。METRのデータをそのまま外挿すると、2027年7月までに「200時間相当」の最長タスクで50%の成功率に達する計算になる。

METRの分析が示す主要AIモデルの能力推移(Anthropicが開発したOpus 5.5、OpenAIが開発したGPT-6 Astraを含む)。Image: METR
評価ベンチマーク自体が信頼できなくなる問題
METRが指摘するもう一つの核心的な問題が、評価手法の信頼性だ。
モデル開発者は、ベンチマークテストと非常に似た環境でモデルを訓練している。その結果、「実行しやすい標準的なテスト」はモデルの実世界でのパフォーマンスを過大評価してしまう可能性があるとMETRは警告する。
さらに、現行モデルが依然として苦手とする領域も明確にされている:
- 即時フィードバックがなく、真の判断力を要するオープンエンドな問題
- 訓練データとして再現しにくい状況
これは評価の構造的な問題だ。モデルが得意なのは「テストに出やすいタスク」であり、「現実世界で重要なタスク」との乖離が広がっている可能性がある。
壊滅的リスク(catastrophic risk)への対応が間に合わない
METRの警告の本質は、能力向上の速度と安全評価の速度のギャップにある。METRは報告書の中で、人間が「新しいAIシステムがもたらす壊滅的なリスク(catastrophic risk)を、意味ある形で理解・評価・対応できなくなる」可能性があると明言している。
現在のペースでAIが進化し続ければ、専門家チームが「このモデルは安全か」を判定する前に、次世代モデルが登場してしまう状況が生まれる。AIの安全性評価(AI safety evaluation、いわゆる"evals")は、モデルリリース前の数週間〜数ヶ月で行われるが、200時間規模のタスクを人間が追試・検証するコストは現実的ではない。
OpenAIが開発したGPT-6 AstraやAnthropicが開発したOpus 5.5といった最新世代のモデルがすでにこの評価の限界に近づきつつあることを、METRのグラフは示している。
「ナイーブな外挿」という注釈
METRは2027年7月の予測について「ナイーブな外挿(naive extrapolation)」と自ら断っている。トレンドが直線的に続くとは限らず、技術的な壁にぶつかる可能性も否定していない。ただし、現在の公開データからはそのような減速の兆候が読み取れないとも述べており、警告の重みは変わらない。
詳細はAI is getting better faster than experts can reliably test whether new systems are safe, METR warnsを参照していただきたい。