11月19日、IEEE Spectrumが「Can AI Really Engineer Its Way to Superintelligence?」と題した記事を公開した。AIの再帰的自己改善によって超知性(ASI)が実現可能かどうかを工学的観点から検証した内容で、業界の第一線にいる企業が「自社製品が人類を滅ぼすかもしれない」と公言する現状を受け、その技術的根拠を冷静に問い直す一本だ。
結論から言えば、記事の答えは懐疑的だ。しかしその懐疑論は「AIは大したことない」という楽観ではなく、「超知性への道は想像より高い壁に阻まれている」という工学的リアリズムに基づいている。EU AI法が施行され、各国で規制議論が加速する2026年にあって、「ASIは来るか来ないか」という問いと「今のAIをどう制御するか」という問いの両方を整理できる記事として参照価値が高い。
「AIが人類を滅ぼすかもしれない」――Anthropicで起きた公開論争
今年の夏、AIの最前線にいる研究者たちが自社製品による人類滅亡リスクをSNS上で公然と議論する事態が起きた。Anthropicの元研究者Jacob Coxonが退職を表明し、AnthropicとOpenAIが「再帰的自己改善型の超知性へまっしぐらに突き進み、人類の命を賭けに出している」と警告。Anthropicのアライメント科学部門長Evan Hubingerは「Jacobの言う通りだ――我々は本当に、AIが全人類を殺しうると真剣に信じている」と返答し、CEO Dario AmodeiもCNNのインタビューで「Jacobに概ね同意する」と述べた。
この論争の根底にある概念が再帰的自己改善(RSI: Recursive Self-Improvement)だ。AIが自分自身を改良するシステムを設計できるようになれば、改善が改善を呼ぶ加速サイクルが生まれ、最終的に人間の認知能力をはるかに超える人工超知性(ASI: Artificial Superintelligence)が誕生するという考え方だ。なお、ASIは人間と同等の能力を広い領域でカバーするAGI(汎用人工知能)よりもさらに野心的な概念である。
記事はジョージタウン大学でコンピュータサイエンスの博士セミナーを担当した筆者が、このセミナーでRSI・ASIの技術的・文化的ルーツを精査した内容をもとに書かれており、「ASIは実現可能か」という問いを真正面から論じている。
RSIは古い概念だが、最近「投機」から「現実」へ踏み出した
RSIの概念自体は新しくない。1965年に統計学者I.J. Goodが「知性爆発」の可能性を論文で示唆し、1990年代にはExtropians(ベイエリアの未来主義者グループ)の間で広まった。その後、合理主義運動を立ち上げたEliezer Yudkowskyや実存リスク論を主導したNick Bostromらが概念を発展させてきた。
ところが近年、この話題は思考実験の域を超え始めた。AnthropicはブログでLLMを活用したエージェントがコードの記述・デバッグ・最適化を加速しており「AIがすでにAI開発を加速している」と社内データをもとに主張。OpenAIは2028年3月までに自律的な研究者AIを開発するという目標を公表している。
しかし、これが制御不能なRSIへの道筋になるかは別問題だ。記事は3つの構造的障壁を挙げる。
反論①:スケーリングはすでに頭打ちになりつつある
LLMの大規模な進歩は2023年までモデルの巨大化(スケーリング)が牽引してきた。GPT-1の1.17億パラメータがGPT-4では1兆超にまで増えたが、GPT-4以降はスケーリングの収穫逓減が始まった。
データの壁 現在はすでに学習済みのモデルを強化学習で改善する「ポストトレーニング」に軸足が移っているが、これには「正解付きデータ」が大量に必要だ。コードや数学のような高度に構造化された領域では自動生成しやすく急速な進歩が実現しているが、フランスのAI研究者François Cholletは次のように指摘する。
「強化学習で無限に押し広げられるのは数学とコードだけで、それ以外は人間が生成したデータのボトルネックのせいで頭打ちになるのでは?」
科学的蓄積の壁 バックプロパゲーションアルゴリズムは1986年の発表だが、その背景には数十年分の数学・計算機科学の積み上げがある。ASIへの道も同様に数々の重要ブレークスルーを必要とするはずだが、AI自律エージェントがそれを代替できるとは考えにくい。Princetonのコンピュータ科学者らの研究(元記事内で参照)では「現在のAIエージェントはAI研究のエンジニアリング部分はこなせるが、研究ライフサイクルの重要な部分では苦戦している」と結論付けられている。
リソースの壁 今日のAIシステムは、数万人の人間の頭脳と膨大な計算資源を何十年もかけて投入した結果だ。もし次の知性レベルに2倍のリソースが必要で、さらにその次も2倍……となれば、いずれどれだけチップやデータセンターを積み上げても足りなくなる。
反論②:超知性は「計算可能」とは限らない
さらに根本的な問題として、記事はチューリングの計算理論を持ち出す。1937年にアラン・チューリングが証明したように、ほとんどの問題はアルゴリズムでは解けない。解ける問題の集合は「可算無限」(整数と同じ)だが、問題全体の空間は「非可算無限」(実数と同じ)である。計算複雑性理論が示すとおり、技術的に解ける問題でも天文学的なリソースを要するものは多い。
SF的想像力の産物を「十分に自己改善すれば実現できる」と無条件に仮定することは、コンピュータ科学の基礎と相容れない。また「シリコンチップは人間のニューロンより高速だから超知性になれる」という議論に対しては、1993年の論文「Technological Singularity」でシンギュラリティ概念を広めた作家・数学者のヴァーナー・ヴィンジ(Vernor Vinge)の言葉が効く(元記事が引用している)。
「犬の思考を速くしても、チェスはできるようにならない」
速さと知性は別物だ。
ASIは来なくても「危険」は来る
記事が最後に強調するのは、仮にASIが実現しないとしても油断はできないという点だ。自律性の高いAIシステムが誤用・設計ミス・人間の制御喪失によって現実的な害をもたらす「危険だがASIではない未来」は十分ありえる。超知性論争に夢中になるあまり、目前のリスクへの対処が疎かになることを記事は警戒している。
「ASIは来るか来ないか」という問いとは別に、「現時点のAIをどう制御するか」は喫緊の課題として浮上している。本記事はその両面を整理する上で参照価値の高い一本だ。
詳細はCan AI Really Engineer Its Way to Superintelligence?を参照していただきたい。