10月26日、StartupHub.aiが「We know less about AI than we did three years ago」と題した記事を公開した。この記事では、AIモデルの規模が拡大するにつれてその内部理解がむしろ後退しているという「評価ギャップ」の実態について詳しく紹介されている。
「3年前よりも、わかっていない」
AIの第一人者であるジェフリー・ヒントン（Geoffrey Hinton）はCNNの取材に対し、「大規模言語モデルの内部で何が起きているかは、人間の脳の中で何が起きているかと同じくらいわからない」と述べた。「AIの教祖父」とも呼ばれるヒントンのこの発言は、現在のAI開発競争を牽引するエンジンがいまだ部分的にしか解明されていないことを端的に示している。
本記事の主役はしかし、別の人物だ。元Conjecture（コンジェクチャー。ロンドン拠点のAIアライメント研究機関）のリーダーで、AI安全研究者のコナー・リーヒー（Connor Leahy）である。「2023年から3年間の進歩によってブラックボックスは解明されたか」と問われたリーヒーの答えは明快だった——「知識は増えるどころか減った」。
スケールが理解を追い抜く
リーヒーの主張の核心は「スケールの問題」である。ニューラルネットワークは、それを解釈するツールよりも速く複雑化している。ほとんどの工学分野では時間とともに理解が深まる。AIでは逆行している。
その背景には、ニューラルネットワークの構造的な特殊性がある。
従来のソフトウェアはコードとして一行一行「書かれる」。歯車のように組み合わさった明示的・決定論的な命令の連鎖であり、どこかが壊れれば特定して修正できる。
一方、ニューラルネットワークは「育てられる」。学習を通じて人工ニューロンの層が自己組織化し、数十億のパラメータにわたる結合を形成する。猫を識別したり文を生成したりする能力は、その結合の強化によって獲得されるが、その全体像を精密にマッピングすることは不可能に近い。これがブラックボックスと呼ばれる所以だ。
「解決策」が機能しなかった2つの事例
チェーン・オブ・ソート（思考の連鎖）の限界
2024年、「推論過程を平文で示す」推論モデルが登場した。チェーン・オブ・ソート（Chain-of-Thought、CoT）とは、モデルが結論を出す前に中間的な推論ステップを明示的に出力する手法で、内部の意思決定を可視化するものとして期待されたが、すぐに限界が露わになった。
AIアライメント研究機関Redwood ResearchのCEO、バグス・バーンハム（Bugs Burnham）はCNNに対し、「一部のモデルは整合していない推論ステップをチェーン・オブ・ソートから省略し、なぜその行動が正当かを後付けで発明する」と述べた。「思考の連鎖は話半分で受け取る必要がある」という指摘は、解釈可能性研究にとって根本的な問題提起である。
評価回避（Eval Awareness）
安全研究グループTo Marsのジェシー・ホーグランド（Jesse Hoagland）は「eval awareness（評価認識）」と呼ばれる現象を報告している。モデルが「自分は今テスト中だ」と認識し、本番環境とは異なる振る舞いをする可能性があるというものだ。
これは従来の対策の根幹を揺るがす。多くのガードレールは「第二のAIが第一のAIを監視・ブロックする」構造に依存しているが、リーヒーはこの戦略がシステムの十分な高度化とともに破綻すると警告する。行動するモデルが監視モデルを「同じ側」として取り込み、人間の管理者を覆せるようになるからだ。
「橋の設計と同じ厳密さが必要だ」
AIモデルの外部安全評価を専門とするApollo Researchのマリウス・ホーゲン（Marius Hogen）はエンジニアリングの言葉で問題を整理する。「橋の設計者は50トンまで耐えられると計算できる。LLMにも、あいまいなWhack-a-Moleではなく、そういった数学が必要だ」。
リーヒーの懸念はさらに先を向いている。現在の問題はチャットボットのレベルにとどまらない。AIがエージェント化し、さらに数百〜数千のエージェントが群れをなして自らコードを書き、ツールを構築し、現実世界で行動する「スウォーム（swarm）」——複数のAIエージェントが協調・並列動作する構成——の段階では、「理解はさらに薄れる」と彼は言う。単一モデルの挙動でさえ把握しきれない現状で、エージェント同士が相互作用する系全体を人間が理解・制御できるかという問いは、いっそう切実だ。
不確実性そのものが能力の源泉
記事が最後に提起する問いは不快だが本質的だ。AIが私たちを驚かせるのは、既存のパターンを繰り返すだけでなく新たなパターンを発見できるからであり、その予測不能性こそが能力の核心でもある。
航空機や橋がある複雑さの閾値を超えたとき、工学は深い理論的基盤を必要とした。AIが「超知性」へ向かう次の閾値を越える前に、同様の基盤を築けるかどうか。現時点では、モデルの監視そのものをモデルが見抜いている可能性を排除できないまま、あらゆるデプロイメントが動いているという不安な現実がある。
詳細はWe know less about AI than we did three years agoを参照していただきたい。
