11月8日、The Decoderが「The inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiasts」と題した記事を公開した。「苦い教訓」の提唱者であるRichard Suttonが、LLMスケーリング一辺倒のアプローチに警鐘を鳴らし、AI研究コミュニティで議論を巻き起こしている。スケーリング信仰を後押しした張本人が、その読まれ方そのものに異を唱えるという構図は、研究者たちの間に鮮烈な印象を与えている。
「苦い教訓」の発明者が、スケーリング信奉者に突きつけるもの
チューリング賞受賞者のRichard Suttonが、自身のXへの投稿で「生の計算量だけでは知能には不十分だ」と主張し、AI研究コミュニティに波紋を広げた。AIサイエンスには巧みな新手法が必要であり、「まだ全く完成していない」という主張だ。
Suttonは2019年の有名な論文「The Bitter Lesson（苦い教訓）」で、「計算量とともにスケールする汎用的な手法が、人間が精巧に設計したアプローチを最終的には凌駕する」と論じた。要するに「スケールする手法が勝つ」という主張であり、深層学習ブームの理論的支柱の一つとして広く引用されてきた。
ところがそのSutton自身が今、同じ文脈でLLMスケーリングに限界を指摘している。
Suttonの主張：LLMが見落としているもの
Suttonはこれ以前の発言でも、LLMの単純なスケーリングの限界を批判している。合成データを「大きな間違い」と呼び、その理由として「現実世界は無限に複雑であり、あらゆるシミュレーションはその"顕微鏡的な"断片に過ぎない」と述べた。人間の専門知識をボトルネックにする設計では、真のスケーリングは実現しないという立場だ。
Suttonが代替として求めるのは、自らの経験から継続的に学習するエージェントとワールドモデルだ。インターネット上のテキストが捉えられる世界は現実のほんの一部に過ぎず、今日の言語モデルは学習後に追加で何も学ばない。必要なのは、過去の知識を壊さずに継続学習できる仕組みだとSuttonは主張する。
研究者の反応：「苦い教訓の誤読が世代を歪めた」
OpenAIを離れた後に新たなAIアプローチを探求しているAI研究者のJerry Tworekは、Suttonの発言にこう解釈を加えた。「苦い教訓は依然として成立するが、計算量をより多くモデル学習に投入するほど、アルゴリズムの質が重要になる」。
Tworekはさらに踏み込み、Transformerスケーリングの一時的な成功と、苦い教訓の誤読が組み合わさって「一世代の科学者の思考をreward-hackした（報酬ハッキングした）」と指摘する。「reward-hack」とは強化学習の文脈で、エージェントが本来の目的を達成せずに報酬だけを最大化してしまう現象を指す。研究者たちがスケーリングという指標を最大化することに囚われ、本質的な問いから外れてしまったという批判だ。
AI研究者のJayden Teoh（元Google DeepMind研究員）は別の角度から問題を提起する。「苦い教訓が学術研究の足を引っ張る場面を繰り返し目撃してきた。その精神から外れているとみなされた有望なアイデアが、次々と却下されてきた」。ただしTeohは「これはSuttonの責任ではなく、彼のオリジナルメッセージの誤読だ」と擁護する。
「アイデアは、スケーリング時代を永遠に生き残らなくても、AI進歩への重要な貢献たりえる」— Jayden Teoh
それでもスケーリングに賭ける側
対照的に、業界のトップランナーたちはLLMスケーリングの余地はまだ十分あると主張している。
OpenAI CEOのSam Altmanは、LLMスケーリングは枯渇には程遠いと言い切り、批判者たちを「スケーリングが何をできないかを過信することで、一世代の研究者を遅らせた」と逆に批判する。証拠として、OpenAIのモデルが数学者たちが長年解けなかった数学的予想を否定した成果を挙げている。
Anthropic CEOのDario Amodeiも「スケーリングには終わりのない虹がある」と表現し、同様の立場をとる。
ただし記事は「両者はこのアプローチに企業の存続をかけている以上、明らかにバイアスがかかっている」と指摘している。
スタートアップが埋めようとする空白
Suttonの主張とTworekの批判が重なり合う領域には、すでに多くのスタートアップが集まっている。The Decoderの「Frontier Radar #5」では、こうしたギャップを狙う45の新興AIラボが追跡されている。
TworekはOpenAI退職後にCore Automationを設立し、事前学習と強化学習を超えた学習アルゴリズムを探索している。Sutton自身もOak Labを立ち上げ、自律的に学習するAIエージェントの構築を目指している。両者の動きは、「スケーリングの先に何があるか」を問う研究潮流が、言論の場にとどまらず実際の資金と組織を伴い始めていることを示している。苦い教訓の「誤読」への批判が、新たなアーキテクチャ・学習パラダイムへの投資という形で結実しつつある点は、AI開発の次の局面を占ううえで注目に値する。
詳細はThe inventor of the bitter lesson has a bitter lesson for LLM scaling enthusiastsを参照していただきたい。
