9月11日、Amazon Scienceが「Why don't machine learning research agents overfit?」と題した記事を公開した。LLMベースのMLリサーチエージェントがベンチマークへの過学習を起こしにくい理由を、情報圧縮の観点から実験的に解明した研究だ。核心を一言で言えば、「32トークンに収まる戦略は、本物の改善である」——この問いへの答えが、古典的な情報理論から導かれる。
「ベンチマークで頑張っても過学習しない」という長年の謎
機械学習の教科書的な説明では、同じ検証データセットを繰り返し参照しながらモデルを改善すると、必ず過学習（overfitting）が起きると警告する。しかし現実のML研究コミュニティは、同一のベンチマークデータセットを何年もかけて何度も叩き続けているにもかかわらず、得られた改善は新しいデータでも再現されることが多い。
なぜ過学習しないのか——この問いは長らく答えが出なかった。研究コミュニティ全体を「リセット」して追試するわけにはいかないからだ。
ところが、LLMベースのリサーチエージェントであれば話が変わる。エージェントはリセットできる。この性質を利用したのが、今回紹介する論文「What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents」だ。
鍵は「オッカムの剃刀」の数学的な形式化
説明の核心は古典的な原理にある。仮説を表現するのに必要なビット数が少ないほど、その仮説は新データにも汎化しやすい——これはオッカムの剃刀を情報理論的に定式化したものだ。
直感的に言えば、「短い記述には訓練データを丸暗記する余地がない」。圧縮された記述がそれでも訓練データでうまく動くなら、それはデータの真の構造を捉えているからであり、答えを記憶したからではない。
ML研究で生き残る戦略は、往々にしてアーキテクチャの選択・オプティマイザ・学習率スケジュール・正則化手法という数行で書けるもの。実験のトランスクリプトは長大でも、最終的に抽出されるレシピは非常にコンパクトだという仮説が立てられる。
実験の設計：3つのエージェントで「情報のボトルネック」を作る
研究チームは以下の構成で実験を行った：
- Explorer（探索エージェント）：検証データセットに自由にアクセスし、数百ラウンドの試行錯誤を繰り返してMLの問題を解く。
- Compressor（圧縮エージェント）：Explorerの全実験トランスクリプトを読み込み、勝利した戦略をごく少数のトークンに圧縮する。
- Reproducer（再現エージェント）：圧縮後のプロンプトと訓練データのみを受け取り、検証データセットには一切アクセスせずに戦略を再実装する。
Reproducerが高い汎化性能を示せば、Explorerが検証データから学んだ情報はすべてその短いプロンプトに収まっていたことを意味する。なおCompressorとReproducerにはいずれもClaudeモデルが使われた（元記事にバージョンの記載はない）。
主要結果：「32トークン」で再現できる戦略
結果は驚くほどシンプルだった。表形式分類・画像分類・言語モデリング・拡散モデル・報酬モデリングを含む8つのデータセットで実験したところ、32トークンのプロンプトで、新鮮なReproducerがExplorerの性能に匹敵するケースが大半だった。これが本研究の主要な実験結果だ。
さらに、言語モデリングの実験では16トークンまで圧縮しても性能が落ちなかった例もある（タイトルの「16トークン」はこの特定の実験を指している）。その16トークンのプロンプトは次のようなものだ：
QKn 12L768 Mu .1 R² b2M 4x
暗号のように見えるが、MLエージェントには明確な意味がある：
- QKn：QKノーマライゼーション
- 12L768：12層・768次元のTransformer
- Mu .1：Muonオプティマイザ、学習率0.1
- R²：Squared-ReLU活性化関数
- b2M：200万トークンのバッチ
- 4x：フィードフォワードブロックを4倍に拡大
これを8トークンに削ると 12L768 Mu .1 R² となり、Reproducerの性能はExplorerに届かなくなる。この境界こそが重要だ。Reproducerは事前知識だけで動いているわけではなく、圧縮されたトークンが検証データから得た実質的な情報を運んでいることが示される。
また別の実験では、Explorerへのフィードバックを「前回より良いかどうか」の1ビットだけに制限したところ、数値スコアを与えた場合と同等の戦略が得られた。この設定では汎化誤差に対する数学的な保証も付く。
「過学習した戦略は圧縮できない」——理論の反証可能性
理論が正しいなら、本当に過学習した戦略は圧縮ボトルネックを通り抜けられないはずだ。
研究チームは意図的に過学習を誘導する実験も行った。エージェントに「検証データのスコアをコストを問わず最大化せよ」と指示したところ、102回の実験のうち38回で検証精度が真のホールドアウト精度を10%以上上回った。
これらの戦略を短いプロンプトに圧縮してReproducerに渡すと、検証データ固有の優位性は消滅した。圧縮パイプラインは、正当な戦略と過学習した戦略を高精度で分離できる。つまり、このフレームワークは過学習の説明であると同時に、過学習を検出するツールでもある。
残された課題
論文は率直にいくつかの限界を認めている。最も重要な点は、Reproducerが事前学習時に検証データを記憶していた場合、情報ボトルネックを迂回できてしまう可能性がある点だ。この問題を完全に解決するには、モデルの学習カットオフ以降に収集された新規データセットでの追実験が必要だが、現時点では未実施だとしている。
また今回の実験はLLMエージェントを対象としており、人間のML研究コミュニティへの適用はあくまで示唆にとどまる。とはいえ、人間の研究者が長年ベンチマークを叩き続けても汎化可能な改善が生まれ続けてきた現象と、今回の実験結果は一貫した説明を与えている。
詳細はWhy don't machine learning research agents overfit?を参照していただきたい。
