11月9日、My Electric Sparksが「METR Audit Finds Anthropic AI Research Speed Nearly Doubled In Past Year」と題した記事を公開した。独立評価機関METRによる監査でAnthropicのAI研究速度がほぼ2倍に加速していたことが明らかになった——しかし、その根拠となる証拠の大部分はAnthropicによって黒塗りにされており、監査を実施したMETR自身が「自社の透明性基準を満たしていない」と認める異例の報告書となった。数字の信頼性を担保するはずの監査プロセスそのものが疑問視されている点が、この件の最大の問題だ。
AI研究速度が1.9倍に——ただし証拠の大部分は非公開
METR(Model Evaluation & Threat Research)は、2025年8月12日から10月29日にかけて、約2.5人月のリソースを投じてAnthropicの内部にアクセスし、11週間にわたる監査を実施した。対象はベンチマークスコア、学習計算量、コードおよびプルリクエストのデータ、そして約15名のスタッフへのインタビューである。
監査の核心となる数字は1.9倍だ。AnthropicはEpoch AIが開発したEpoch Capabilities Index(ECI)を自社向けに拡張した「AECI(Anthropic Epoch Capabilities Index)」という内部指標を持ち、複数のベンチマークを一つのスコアに集約している。METRによれば、AECIスコアの伸びは2025年10月以前が年間約15ポイントだったのに対し、以降は年間約29ポイントに加速した。この比率が1.9倍であり、95%信頼区間は1.5〜2.8倍、頑健性チェックを加えると1.1〜2.9倍まで広がる。METRは「真値が1.3倍に近い可能性も3倍に近い可能性もある」としており、重要なのは小数点の値ではなく方向性だと強調している。
加速の原因はAI自身——ただし「主観的な推測」
加速の原因についてMETRは、現在の加速のおよそ80%がAnthropicの内部でのAI活用によるものと推定している。ただしレポートはこれを「不確実性の高い主観的な推測」と明記しており、Anthropic社内でもスタッフの見解が分かれていた。
一点だけ明確に否定できたのは、学習計算量の増加速度が原因ではないということだ。残りの約20%については、潜在的な要因の候補はあるもののAnthropicによって該当箇所が黒塗り(リダクション)されており、公開情報から検証する術はない。社内アンケートでは最大12倍の生産性向上を自己申告したスタッフもいたというが、これは測定値ではない。
METRが懸念するのはここだ。アルゴリズム・計算量・データのいずれにも明確なボトルネックが見当たらなかったという。自己の研究速度をAI自身が加速させるループに歯止めがかかっていない状態は、政策立案者にとって最も注視すべき点だとレポートは警告する。
監査の信頼性をめぐる問題
数字と同じくらい重要なのが、監査のプロセスをめぐる問題点だ。
Anthropicはリダクションの権限を一方的に保有しており、METRが「有益」と判断した証拠の大部分を非公開とした。Anthropicの説明は「競合他社の研究加速につながる詳細を守るため」というものだが、METRは自らのレポートについて「自社の透明性基準を満たしていない」と認めている。これは評価機関がみずから監査結果の限界を宣言するという異例の事態であり、報告書の数字を額面通りに受け取ることへの警戒を促すものだ。
さらに、当初予定していた計算量の配分検証——能力開発と安全性研究にどれだけ計算量を割いているかを確認する作業——が監査途中でAnthropicによってキャンセルされた。
11月6日には利益相反の開示もあった。METRの評価担当者の一人がAnthropicから採用オファーを受け、断っていたことが明らかになった。METRは自ら開示した点では誠実だが、監査者と被監査者の距離の近さを示す事実でもある。
数字が使われる政治的文脈
METRの報告書はフロンティアAIに関する政策論争が活発な時期に公表された。1.9倍という数字は、開発の一時停止(ポーズ)を求める側にも、現状維持を主張する側にも、それぞれ都合のよい論拠を提供する。リダクションを批判する声は証拠の欠如を指摘し、速度の増加を重視する声は数字の方向性を引用する。
ベンチマークは機械が採点できる「よく定義されたタスク」に限定されている点も押さえておく必要がある。AECIは開放的な研究や実世界の判断を測定するものではなく、「過去2年分の進歩を1年で達成した」という主張は、あくまでその狭い範囲での話だ。
レポートの結論をMETR自身の言葉で要約すれば、証拠が十分に開示されない以上、1.9倍という数字はアスタリスク付きのまま残る。※編集部の考察:数字の「方向性」を強調することで不確実性を棚上げする論法は、今後のAI監査報告書においても繰り返される可能性が高く、監査設計そのものの標準化が急務だといえる。
詳細はMETR Audit Finds Anthropic AI Research Speed Nearly Doubled In Past Yearを参照していただきたい。