9月25日、Matthias Bastianが「Sakana AI hires Jürgen Schmidhuber, inventor of deep learning, world models, and your next ChatGPT update」と題した記事を公開した。東京を拠点とするAIスタートアップ・Sakana AIが、ディープラーニングの父とも称されるユルゲン・シュミットフーバー（Jürgen Schmidhuber）をChief Scientific Advisorとして招聘したというニュースだ。
「シリコンバレーの次のアイデアは1991年の論文にある」
記事の冒頭に置かれた一文が象徴的だ。「シリコンバレーの次のビッグアイデアは、おそらくSakana AIの新しいチーフアドバイザーによる1991年の論文にすでに書かれている」。これは記者による解説・評価として提示されている表現であり、シュミットフーバー自身の発言ではない。
では、その1991年の論文とは何か。Sakana AIによると、シュミットフーバーは1991年に今日のAIブームを支えるディープラーニング技術を発表している。具体的には、誤差逆伝播法（backpropagation）をより深いネットワークで有効に機能させるための手法に関する研究であり、現代のニューラルネットワーク設計に直結する内容だ。彼はまた、**LSTM（Long Short-Term Memory）**の発明者としても広く知られており、自然言語処理や音声認識の基盤として長年にわたり使われてきたこのアーキテクチャは、現在のTransformerモデル隆盛以前の時代を支えた中心的技術である。
さらに遡ると、1990年にはワールドモデルの初期研究を行い、1987年の修士論文ではメタ学習（meta-learning）と再帰的自己改善（recursive self-improvement）の概念を提唱している。「AIがAI自身を改善し続ける」という思想の出発点となったこの研究は、約40年にわたる「機械が学び方を学ぶ」研究の礎となっている。
Sakana AIのプロジェクトとの接続
シュミットフーバーの参画はSakana AIの既存プロジェクトとも直結している。
Sakana AIは彼の思想が自社プロジェクトに直接影響を与えたと明言している。具体的には、Darwin Gödel Machine（自らのコードを書き換えることで性能を向上させるシステム）と、The AI Scientist（1本あたり15ドルで論文を自動生成するシステム）の2つだ。いずれも、シュミットフーバーが数十年前から研究してきた自己改善・メタ学習の思想を現代的に実装しようとする試みといえる。
今後シュミットフーバーは、Sakana AIのRSI（Recursive Self-Improvement）ラボの運営にも関わる。このラボは、機械をより賢くする「自己強化型の研究ループ」の構築を目標としており、フロンティアラボによる計算資源の軍拡競争（compute arms race）を打破する可能性を探っている。
「物理AIこそ次の主戦場」
シュミットフーバー自身は参画にあたって以下のようにコメントしている。
日本は基盤的なニューラルネットワークアーキテクチャと高度なロボティクスの発祥地だ。Sakana AIに加わり、これら2つの世界を橋渡しできることは光栄である。知性の未来は言語だけではない。ワールドモデルによって駆動する物理AIこそが本質だ。Sakana AIは、物理宇宙を真に理解・シミュレートし、相互作用できる自律システムを構築することで、日本のイノベーションの遺産を取り戻すのに最良の位置にある。
— Jürgen Schmidhuber
「LLMで言語を処理するだけでなく、物理世界をシミュレートする」という方向性を明確に打ち出している点は、現在の大規模言語モデル偏重のトレンドとは一線を画す立場だ。
東京に「世界クラスの研究者の集積」を狙う
Sakana AIは今回の採用を通じて、東京に「世界トップレベルの専門家の臨界質量（critical mass）」を集めると表明している。
Sakana AIはDavid Ha（元Google Brain）とLlion Jones（Transformerの原著論文共著者の一人）が共同創業した東京発のAIスタートアップだ。「自然からインスピレーションを得たAI」を研究テーマに掲げ、進化的アルゴリズムや自己改善型AIの研究を進めている。今回のシュミットフーバー招聘は、その研究路線をさらに強化する人事と見られる。
詳細はSakana AI hires Jürgen Schmidhuber, inventor of deep learning, world models, and your next ChatGPT updateを参照していただきたい。
