7月29日、Omar Sohailが「Google DeepMind Paper Says LLMs Will Never Replace Human Genius Because They Lack The Creative Leap Necessary To Make New Scientific Theories」と題した記事を公開した。Google DeepMindの研究者Tom Zahavyが発表した論文「LLMs can't jump」は、「LLMは人間の創造的飛躍を代替できない」と主張する——その根拠は、コンピュートの拡張では埋められない推論能力の構造的な欠如にある。
LLMが超えられない壁:「アブダクション」とは何か
論文の核心は、推論の3類型にある。帰納(induction)・演繹(deduction)・アブダクション(abduction)だ。
- 帰納:大量データからパターンを見つける。LLMが特に強みを発揮する領域であり、統計的パターン認識と大規模データ圧縮によって高い水準に達している。
- 演繹:既存のルールから論理的に結論を導く。AlphaProofのような数学的推論システムが高い性能を示している領域だ。
- アブダクション:データが乏しい状況で、観察された事実を最もうまく説明する仮説を一から生成する能力。論文がLLMの突破できない上限として指摘するのが、この推論様式である。
科学的発見の多くはアブダクションによって生まれる。既知のパターンの外側に出て、まだ誰も言語化していない説明原理を構築するプロセスだ。LLMがトークン列の統計的続きを予測するアーキテクチャである以上、この種の「ゼロからの仮説生成」とは根本的に相性が悪い——というのが論文の立場である。
アインシュタインの思考実験が示すもの
論文はこの主張を、アインシュタインの一般相対性理論を例に補強する。
議論の前提として、ドイツの計算機科学者Jürgen Schmidhuberが提唱する「科学的発見とは高度なデータ圧縮に過ぎない」という見方がある。Schmidhuberはリカレントニューラルネットワークやメタ学習の先駆的研究者であり、知能を情報圧縮の観点から定式化することで知られる。この立場に立てば、LLMの延長線上に科学的発見があることになる。しかし論文はこれを真っ向から否定する。
アインシュタインが一般相対性理論を構築した際、利用可能な観測データは極めて乏しかった。彼が依拠したのは「密閉されたエレベーターの中で落下したらどう感じるか」という身体的な思考実験だ。感覚経験と物理的直感を接続することで、新たな数学的原理が生まれた。データ圧縮ではなく、身体に根ざした想像力が起点にあった。
LLMはアインシュタインの初期の発見を与えられれば、その後の複雑な数学的演繹を難なくこなせる。しかし、既存のテキストを分析するだけで、あの最初の前提を自力で発明することはできない。
「データセンターを増やしても解決しない」
現在のAI開発フレームワーク(自動コーディングツールを含む)は、既存のルールブックの範囲内で動作するにとどまり、まったく新しいフレームワークを創出するには至らない。
論文が強調するのは、これがスケールの問題ではないという点だ。LLMには現実世界における身体的基盤(physical grounding)がないため、因果関係に基づく直感的モデルを構築できない。そして、インフラを拡張しコンピュートを増やしても、この限界は解消されないと論文は明言している。
突破口は「身体性を持つシミュレーション」か
論文が示す解決の方向性は、テキストや画像処理を超えた物理的マルチモーダル・ワールドモデルへの進化だ。AIシステムが仮想環境で身体化シミュレーション(embodied simulation)を実行できるようになれば、方程式やコードを生成する前に現実世界の物理的直感を構築できる——というのが論文の展望である。
ただし、これはあくまで将来アーキテクチャの方向性として示されたものであり、現時点で実現しているわけではない。
LLMの能力をめぐる議論は多いが、DeepMindの研究者という一次発信元が「LLMにできないこと」を構造的に論じた点は、AI研究者・エンジニア双方にとって参照価値が高い。論文全文(PDF)はTom Zahavyの公式サイトから入手できる。