10月25日、The Decoderが「Anthropic co-founder Jack Clark moves his prediction for self-improving AI forward to 2027」と題した記事を公開した。AnthropicのJack ClarkがAIの再帰的自己改善(RSI)実現予測を2027年に前倒しした背景と、その根拠となったTasteValベンチマークの内容が詳述されている。
「2028年」から「2027年」へ:Clarkが予測を1年前倒し
AnthropicのJack Clarkは、ニュースレター「Import AI」にて、AIシステムが自らの後継モデルを開発する再帰的自己改善(RSI: Recursive Self-Improvement)が2027年に実現する可能性があると述べた。従来は2028年と見ていた予測の前倒しだ。
Clarkは今年5月の論考で、AIシステムが自律的により強力な後継を訓練できる確率を「**2028年末までに約60%、2027年までに約30%**」と見積もっていた。今回、数学的ブレークスルーの進展と「TasteVal」というベンチマークの結果を根拠に、その見通しをより楽観的な方向へ修正した。
なお、ClarkはAnthropicの共同創業者であり、今回の予測根拠に挙げたTasteValではAnthropicのモデルがトップスコアを獲得している。予測にバイアスがかかりうることは記事でも明示されている。
鍵となるベンチマーク「TasteVal」とは何か
この予測の根拠となったTasteValは、スタートアップ「P-Zero Research」が開発したベンチマークだ。測定するのは「研究センス(Research Taste)」、すなわちAIがどれだけ研究者らしい判断を下せるかだ。
P-Zero Researchは研究センスを3つの能力と定義する:
- 取り組む価値のある研究課題の選定
- 課題を検証する実験の設計
- 結果の正確な解釈
TasteValが測定するのはこのうち後ろ二つ。「どの研究方向を選ぶか」という最も難しい判断は、タスクの設定段階でモデルに代わって行われる。
測定の8タスクは、AIモデル開発に関わる領域(学習データ選定、事前学習・ファインチューニング、人間の好みからの学習、adversarial promptへの防御など)から構成されている。モデルは次に実行する実験を自ら決定し、結果を次のステップに活かす。コーディングスキルの差が結果を歪めないよう、実験の実行は固定のコーディングエージェントが担い、シングルのNvidia H100 GPU上で動く。各タスクはGPUで40時間、または実時間120時間で打ち切られる。
人間のベースラインは、OpenAI、Google DeepMind、Nvidia、Microsoft Researchなどに在籍経験のある専門家24人が提供した。
「研究センス」をコンピュート効率で数値化する
TasteValの評価指標は「コンピュート乗数(Compute Multiplier)」だ。コーディングが自動化された後の最大ボトルネックは実験コンピュートになるという仮定に基づき、専門家を基準(乗数1.0)としたとき、モデルが同水準のスコアを達成するにあたって消費したコンピュートが専門家の何分の一か(あるいは何倍か)を示す。乗数が大きいほど、より少ないコンピュートで専門家と同等以上の成果を出したことを意味する。たとえば乗数2.0なら、専門家の2倍の効率——つまり半分のコンピュートで同水準の結果を出したことになる。
トップスコアはAnthropicのOpus 5.5で、コンピュート乗数は2.3。1回の実行コストは専門家が要したコストの平均の約30分の1だった。
統計的な範囲は1.15〜4.37と幅が広い。これはタスク数やサンプル数が限られていることによる信頼区間の広さを反映しており、P-Zero Research自身も結果の解釈には注意が必要と述べている点は留意すべきだ。
P-Zero Research発表のグラフによれば、主要モデルの研究センスは2025年12月から約3ヶ月ごとに倍増している。ただしこの倍増ペースの信頼区間は1.7〜5.0ヶ月と広い。また加速が始まったのは2025〜2026年の変わり目であり、それ以前は成長が緩やかだった。
P-Zero Research自身も「研究センスの改善速度を過大評価している可能性がある」と認めている。タスクが迅速・低コストに評価できるため、AIラボが最適化しやすいという構造的な問題もある。比較対象に一流研究者が含まれていない点も限界だ。
懐疑派が引いていたラインと、その反論
このベンチマークが注目される理由の一つは、懐疑派がRSIの壁として指摘していた能力をまさに測定している点にある。
AIリサーチャーのHerbie Bradleyは、Clarkの5月の論考に対して、「ジュニア研究者の業務を引き継ぐことは可能かもしれないが、研究センス・創造性・長期的な研究計画といった高度なスキルは程遠い」と反論していた。TasteValは実験の計画と評価に限ればこの批判を部分的に押し返しているが、長期的な研究アジェンダの設定については依然として測定外だ。
復旦大学のチームが発表したAI開発におけるAIエージェントの活用研究は、この限界をより鮮明に示す。彼らは自社モデルの開発を分析し、AIエージェントが方法論の提案の最大55%を担ったものの、最終的な意思決定の85%以上は人間が行ったと報告している。研究の多様な方向性を生成し、結果が出る前にその価値を評価する能力——TasteValがモデルに「免除」している部分——はまだ未解決だとされる。
業界全体で高まる議論
RSIをめぐる議論はClarkにとどまらない。Anthropicは2024年以来、AIの能力加速に対する業界全体の備えを公式に問題提起してきた経緯がある。今年6月にはRSIについて「まだ達成されていないが、ほとんどの機関が備えるより早く実現しうる」と公式に表明。CEOのDario Amodeiは業界全体でのAI開発の段階的減速を求めており、OpenAIも完全自律型RSIは「人間の監視が保証される場合にのみ追求すべきだ」との立場を示している。こうした文脈を踏まえると、TasteValの結果はClark個人の予測更新にとどまらず、業界の安全議論を左右しうる材料として受け取られている。
TasteValは評価軸そのものをシフトさせている。従来は数学問題やコーディングなど明確なタスクの解決能力が焦点だったが、今後は「研究の前進を左右する判断をAIが下せるか」が問われるようになりつつある。
詳細はAnthropic co-founder Jack Clark moves his prediction for self-improving AI forward to 2027を参照していただきたい。
