8月15日、The Decoderが「Study contradicts Anthropic and OpenAI claims that autonomous AI research is within reach」と題した記事を公開した。最先端AIに独立して論文を書かせた実証実験で、2本ともReject（うち1本はStrong Reject）という結果が出た。AnthropicとOpenAIが相次いで主張する「自律的なAI研究は手の届く範囲にある」という主張に、実験データが正面から疑問を突きつけた形だ。
Shadow Evaluation誕生の背景
従来、「自律AI研究の成功」を示す根拠として使われてきたのは査読通過率だった。しかしこの指標には構造的な問題がある。Sakana AIの「The AI Scientist-v2」は2025年のICLRワークショップに3本を投稿し、1本が平均スコア6.33で採択されたが、その後引用エラーが発覚して取り下げられた（※元記事はこの経緯を報告しているが、取り下げの詳細についてはSakana AI公式の発表も併せて参照されたい）。そもそもワークショップの採択率は60〜70%と、主要会議の20〜30%より大幅に高く、査読通過を「研究能力の証明」とするには基準が緩すぎる。
このギャップを埋めるべく開発されたのが「Shadow Evaluation（シャドウ評価）」だ。設計の核心は「ウェブ上に答えがない問いを立てる」こと。未公開論文の研究テーマをエージェントに与え、数か月かけてその問いに取り組んできた元論文の著者が査読者として評価するという手法で、エージェントが純粋に研究能力だけを問われる環境を作り出している。
実験設計：6日間・$3,000・フルアクセス
対象はNeurIPS 2026採否待ちの投稿論文2本。一つは言語モデルのパーソナリティをウェイト操作で制御する手法（Personas）、もう一つは表形式予測モデルが学習データと乖離したデプロイ環境で精度劣化を起こすことを検知する「TabPFN」という手法の研究だ。
メインの実験にはClaude Opus 4.8（Extra-High Reasoning）を使用（※元記事記載のモデル名をそのまま使用。執筆時点での最新Claudeシリーズに相当する）。エージェントには6日間の時間とAPIクレジット$3,000、GPUバジェット、仮想マシンとオープンウェブへのフルアクセスが与えられた。サブエージェントへの委譲や自身のリソース使用状況の監視が可能なスキャフォールド（モデル呼び出しを統制するソフトウェア環境）の中で動作した。
結果は両論文ともReject。一方は「Strong Reject」だった。元著者たちは動機付けの不十分なデータと実験、読みにくい文章、新規性のなさを指摘した。査読者の一人は推論を「'proof by example'の誤謬」と評し、別の査読者は実験の選択を「bizarre（奇妙）」と呼んだ。
ログが示す失敗のパターン
エージェントのログ分析で、系統的な弱点が浮かび上がった。
研究判断力の欠如：エージェントは仮説を生成するものの、小規模・手動選別・合成データセットで検証し、あっさり棄却する。初期仮説が否定されると、新たな方向を模索するのではなく、既存の主張を縮小するだけだった。15回の修正ラウンドを経ても内部AIレビューは一度も「Accept」を返さなかったが、エージェントは核心的な批判に対処しなかった。
早期の目標放棄：両エージェントとも最初の10時間以内に最も野心的な研究目標を断念した。Personasの実験では、36〜48時間を予定していた探索フェーズをわずか5時間で終了させた。
リソース管理の甘さ：両実験ともAPIバジェットの半分以下しか使わなかった。一方のエージェントは自身の査読者が再び「Reject」を返した直後、締め切りの7時間前に「プロジェクト完了」を宣言した。
インストラクション・ドリフト：長いコンテキストで明示的な指示を徐々に忘れる現象も確認された。両論文ともNeurIPSの文字数制限を超過し、形式上「デスク却下」に相当する状態だった。一方の論文は本文中の図がゼロで、人間が書いたオリジナルには15の図があった。Meta AIが最近報告した「behavioral state decay」（要件を認識しながら後のバグ修正中に違反してしまう現象）と密接に関連する。
PersonasとTabPFNの査読結果。自己レビュー、外部AIレビュー、人間の専門家別に弱点・強点の数を示す。人間の評価はいずれもRejectかStrong Reject。| 画像: Kirgis et al.
エンジニアリングはできる、研究判断はできない
ただし、エンジニアリング作業は人間の介入なしに完遂した。文献調査、GPUコードのデバッグ、数百件の実験とロバストネステスト、LaTeXでの論文執筆まで、すべて自律的にこなした。人間の介入は3回だけ（スキャフォールドのバグ修正、締め切り延長、可読性改善のための書き直し依頼）だった。
また、報酬ハッキングは確認されなかった。エージェントは結果を操作したり、スコアを上げるためにデータを歪めたりしなかった。むしろ逆で、野心的な主張から始め、ネガティブな結果に向けて修正し続けた。
ソフトウェア構成の影響を排除するため、GPT-5.6 SolとOpenAIのCodexスキャフォールドで同じ実験を再現したところ、ほぼ同一の失敗パターンが現れた。GPT-5.6 Solは2日強で$3,000のバジェットを使い切り、実験規模が不足する結果になった。
「Reasoningを増やせば解決する」は通じない
研究チームは、Reasoningなしの予備実験でより質が落ちることを確認しており、Reasoningが品質向上に寄与することは認めている。しかし、時間やコンピュートを増やしても結果はさほど変わらないと推測している。査読者の批判は実験の量ではなく、実験選択の質を問うものだったからだ。
この結果は、AIの数学研究における最近の成果と対比すると興味深い。5月にOpenAIの推論モデルがErdős（エルデシュ）の未解決問題を解き、Fields賞受賞者のTim Gowersが「AIの数学における里程標」と評した。しかし数学の証明は演繹（固定されたルールから必然的な結論を導く）だ。研究には仮説的推論（abduction）、つまり予期せぬ現象の原因を発明する創造的跳躍が必要であり、それは今のモデルが苦手とするところだ。
実験の限界と公開データ
研究チームは査読レポート、エージェントのログ、リポジトリを公開している。対象が2本のみで査読者がブラインドでない（自分たちの研究かつAI生成と知った上での評価）という限界はあるが、結果が明白に低品質だったため、全体的な結論は変わらないと著者は述べている。
フロンティアモデルがAI研究のエンジニアリング面を担えることは示されたが、「数週間にわたるオープンエンドなAI研究問題を解くことはできない」というのが現時点の結論だ。AnthropicやOpenAIの主張する「自律AI研究」が現実になるには、エンジニアリング能力とは質的に異なる研究判断力の壁が立ちはだかっている。
詳細はStudy contradicts Anthropic and OpenAI claims that autonomous AI research is within reachを参照していただきたい。
