7月18日、Sean Goedeckeが「Overtraining as the path to human-like AI」と題した記事を公開した。なぜLLMは人間のように賢くなれないのか——この根本的な問いに対し、「過学習（overtraining）」という逆張りのアプローチが解決策になり得るという仮説を、Goedeckeが丁寧に解説している。

匿名ブロガーGwernの1万3000語の論考

議論の発端は、匿名ブロガーGwernが公開した1万3000語の論考「Human-like Neural Nets by Catapulting」だ。Gwernは、GPT-3リリース直後の2020年にLLMのスケーリングが引き起こすAIブームを予言した人物として知られている（ChatGPT登場の2年前である）。Leopold AschenbrennerのレポートよりもさらにGPT-3リリース直後に、スケーリング仮説の骨子を書き上げた実績から、AIコミュニティでの信頼は厚い。

にもかかわらず、この新しい論考はHacker Newsに投稿されてもコメントわずか12件と、ほとんど注目されていない。Goedeckeはその内容を「自分が読んだ中で、これほど野心的なシンプルなアイデアは久しぶりだ」として解説した。

「グロッキング」とは何か

議論を理解するには、グロッキング（grokking）という現象を押さえる必要がある。

2022年にOpenAIが発表した論文が示したのは、次のような事実だ。モデルをシンプルなデータセット（例：割り算という数学演算）で学習させ、学習が停滞しているように見えた後もさらに訓練を続けると、あるタイミングで能力が突然急上昇する。

なぜそうなるのか。最初の学習フェーズはいわば「丸暗記」だ。モデルは訓練データをできるだけ多く重みに圧縮しようとする。しかし学習を続けると、正則化の圧力（重みを小さく保とうとする力）によって、データをより単純な形で表現する方法を探し始める。最終的に「このデータは数学演算そのものを実行すれば表現できる」と気づいた瞬間、能力が爆発的に向上する。つまり、過学習の圧力がモデルを「本質の理解」へ追い込むのだ。名称の由来はRobert Heinleinの造語「grok」（深く直感的に理解する、の意）。

LLMはグロッキングできていない

GwernとGoedeckeの主張の核心はここだ。

現在のLLMは特定領域では人間並みの賢さを発揮するが、同じLLM並みに賢い人間なら絶対に犯さないようなミスを日常的に犯す。これは汎化（generalization）の失敗を示している。人間は知能をさまざまなタスクへ転用できるが、LLMはそれが苦手だ。

「LLMはグロッキングを達成している」と主張する論文もある。「記憶量 vs ベンチマーク性能」をグラフにすると、パフォーマンスの初期急上昇→大幅低下→再急上昇というパターンが見え、これがグロッキングの証拠だという。

しかしGoedeckeはこれに懐疑的だ。グロッキングと「普通の汎化学習」を区別するのは難しく、このパターンはグロッキングに見えるだけである可能性がある。Gwernが言いたいのは「もう一段、巨大な汎化の跳躍が残されている」ということだ。存在証明として、人間は明らかにLLMより優れた汎化能力を持つ。ニューラルネットワークが汎化できるなら、「ここまでしか汎化できない」という上限がある理由はない。

フロンティアラボが今やっていることの逆を試せ

現在の大手AIラボの戦略は：

• 相対的に小さなモデル（最大でも数兆パラメータ規模のMoEアーキテクチャ）
• 膨大なデータ（書籍スキャン、専門家による人手ラベリング、Redditとの提携など）

Gwernの提案はこの真逆だ。

数百兆パラメータの巨大モデルを、小さなデータセットで過学習させる

なぜ小さなデータセットが必要か。データが大量にあれば、モデルは新しいことを暗記したり浅い関係を拾うだけで性能向上できてしまう。データセットを制約することで、モデルは同じデータを何度も「熟考」し、より深い構造を発見せざるを得なくなる。巨大なパラメータ数が必要なのは、まずデータを丸暗記できるだけの容量を確保し、その上で汎化の材料とするためだ。

Goedeckeによれば、大手ラボがこれを試みた形跡はない。Gwernほどの内情に詳しい人物がこの記事を書いたこと自体が「誰もまだ試していない」証拠だと見る。また、数百兆パラメータのモデルを訓練するエンジニアリング上の課題もまだ解決されていない。元記事によれば、現時点での最大モデルはClaude Mythos相当とされる。

政治的・組織的な障壁も技術的な壁に劣らず高い。このトレーニングランは成功する直前まで「失敗しているように見える」。学習損失はすぐにゼロへ落ちて止まり、その後何週間・何ヶ月も一見何も改善しないまま、数十億ドルを消費し続ける。そのプレッシャーに耐えて実験を継続できる組織がどこにあるか。

背景：スケーリング一本槍の限界

2024年に明確になったのは、「純粋なスケーリング」の頭打ちだ。GPT-4のさらに大きなバージョンはGPT-5として出せるレベルに達せず、GPT-4.5として公開された。その後の大きな進歩はReasoningと自動強化学習（RL）によるエージェントの改善であり、いずれも人工超知能（AGI）への道筋としては不十分に見える。

Gwernの仮説は「グロッキングによる過学習」という全く別の軸を提示する。Goedeckeは「同意するかはわからないが、これは本当に機械の神を呼び込む可能性のあるアイデアだ」と締めくくっている。

詳細はOvertraining as the path to human-like AIを参照していただきたい。