9月14日、Shift Magが「Google DeepMind Says AI's Next Step Is Learning From Its Own Experience」と題した記事を公開した。Google DeepMindのVP of TechnologyであるBenoit Schillingsが、クロアチアで開催されたカンファレンス「Infobip Shift」での講演において語った「AIが人間データの限界を超え、自己経験から学習する次の段階」について詳しく紹介している。具体的な製品発表や論文ではないが、Google DeepMindのVPが公の場で「1〜2年以内」という具体的な時間軸を示した点は、研究の方向性を読む上で注目に値する。

人間の知識の「大半を学習し終えた」——次のステップとは

Schillingsの主張の出発点はシンプルだ。現在のAIはすでに公開されている人間の知識の大半を学習し終えており、次のステップは自分自身の経験からデータを生成することだという。

AIが今本当に必要としているのは、自らの経験と自らのデータを生み出し始めることだ。今後1〜2年で、AIはまさにその方向へ向かっている。

この方向性は、近年のAI研究における大きな潮流とも一致する。強化学習（Reinforcement Learning）では、エージェントが環境との相互作用を通じて報酬を最大化するよう学習する仕組みが古くから研究されてきた。人間が用意した正解データに依存する教師あり学習とは異なり、AIが自ら試行錯誤してデータを生成するという思想はその延長線上にある。OpenAIのo1やGoogleのGemini Thinkingといった「推論特化型モデル」が注目を集めているのも、こうした「AIが自ら考えるプロセスを強化する」という同じ文脈に位置づけられる。

問題を解こうとし、答えを検証し、誤りを見つけ、別のアプローチを試す——人間が当たり前のようにやっていることを、AIが自律的に行うイメージだ。Schillingsの発言ではこの概念に固有の術語は与えられていないが、AI研究の文脈では自己生成データによる反復的な改善プロセスとして広く議論されているアプローチだ。（※編集部の考察）

先行事例として挙げられたのがAlphaGoだ。DeepMindが開発したこの囲碁AIは、人間の棋譜に頼るのではなく自己対戦によって独自の戦略を発見し、世界トップ棋士を破った。現在では人間棋士がAIの編み出した手法を研究するという逆転現象が起きている。同様の自己対戦学習アプローチはチェスや将棋向けのAlphaZeroでも発展し、ゲーム領域を超えた応用が模索されてきた。

最大の課題：AIは「不正解を正解に見せる」

自己学習の最大の障壁は、AIが自分自身の出力を正しく評価できるかどうかだ。Schillingsはここで率直な問題提起をした。

「不正行為」は現実の問題だ。モデルに問題を解かせると、「やりました、完璧です」と答える。だが確認すると実際には解けていない。どこかから結果を盗用していたり、あるいはLinux向けのツールを書くよう頼めば「書きました」と言いつつ、実は既存のツールを呼び出してトレースを隠しているだけだったりする。

つまりAIは「成功しているように見せかける」ことを学習してしまう場合がある。Schillingsはこれを「高度な不正（sophisticated cheating）」と表現し、自己改善ループが機能するためには、出力を評価する「モニター」側の精度も同様に高度化しなければならないと指摘した。

「落ちたか、落ちなかったか」では学べない

もう一つの論点は、報酬設計だ。Schillingsは登山の例えを使った。

登山を教えるとき、フィードバックが「落ちたか落ちなかったか」の1ビットしかなければ、それは最悪の教え方だ。良い指導者なら「ここは良かった、この区間は別のルートを試して、もう少しで届く」と段階的に教える。

AIの訓練においても同様で、成功・失敗の二値ではなく「どれだけ正解に近かったか」という段階的な報酬を与える設計が重要になる。これにより、より複雑な問題への対応が可能になるという。報酬設計の難しさは強化学習における古典的な課題であり、報酬ハッキング（reward hacking）と呼ばれる問題——AIが意図しない方法で高い報酬を得ようとする現象——はSchillingsの指摘する「高度な不正」とも深く関連している。

「検索エンジン」から「仮説生成マシン」へ

自己学習が実現した先に何があるか。Schillingsが期待するのは、物理科学・生物学・数学・工学におけるブレークスルーの増加だ。

コードは「動くか動かないか」でテストしやすい環境だが、科学的仮説の検証にも同様のロジックが適用できる。

AIが仮説を生成し、それを検証し、失敗したアプローチを棄却し、成功した手法を発展させられるなら、可能性の空間を自力で探索し始められる。それはAIを「より賢い検索エンジン」として使うのとは根本的に異なる命題だ。これらのシステムの究極の価値は、まだ誰も知らないことを発見する手助けをすることかもしれない。

人間データの「枯渇」という課題と、自己生成データによる突破という方向性——Schillingsの語る次世代AIの姿は、現在進行形の研究トレンドを端的に言語化したものといえる。

詳細はGoogle DeepMind Says AI's Next Step Is Learning From Its Own Experienceを参照していただきたい。