10月20日、Futurismが「Explosive Document Claims That AI Is Not What We Think」と題した記事を公開した。AIニューラルネットワークの内部構造は「ブラックボックス」ではなく解釈可能だという研究者の主張が、シリコンバレーに波紋を呼んでいる。AIスタートアップGoodfireの研究者が発表した約26,000語のエッセイは、業界の通説を正面から否定するものとして注目を集めており、OpenAI CEOのSam Altmanも称賛を表明した。
「AIはブラックボックスではない」――約26,000語の論文が業界を揺らす
AIシステムは数百億のパラメータを持ち、その動作原理は開発者ですら解読不能な「ブラックボックス」だ――これがこれまでの業界の通説だった。
その通説を正面から否定する論考を発表したのが、AIスタートアップGoodfireに所属する研究者Nick Cammarata（元OpenAI）だ。論文の正式タイトルは「Neurons are not dead」で、著者はGoodfireの研究チームを代表してCammarataが執筆している。約26,000語に及ぶこのエッセイは、AIモデルが実際にどう「思考」しているかを可視化できる可能性を論じており、OpenAI CEOのSam Altmanも称賛を表明した。またOpenAIの研究者であるChris Olah（メカニスティック解釈可能性研究の先駆者として知られる）はX（旧Twitter）上でこれを「科学史上の重要な瞬間」と評した。
「ニューロンが猫にも車にも反応する謎」が解けた？
従来、AIのニューロン（ノード）が特定の刺激にどう反応するかは「ほぼ根本的に解釈不可能」とされていた。たとえば、同じニューロンが「猫の画像」にも「車の画像」にも反応する現象は長年謎とされており、有力な説はスーパーポジション（superposition）と呼ばれるものだった。
スーパーポジションとは、AIモデルがニューロン数の限界から、関連する概念をまとめるのをやめ、無関係なものを同じニューロンに折り畳んでしまう現象だ。Cammarata自身の言葉を借りれば、「結果として一種の結び目が生まれる。ネットワークはほぼ同じくらい良い折り畳み方を多数持てるため、あるニューロンがどの概念をまとめているかはほとんど何も教えてくれない」という状況だった。
Cammarataが主張するのは、その「結び目」の解釈が間違っていたという点だ。ニューロンは「絡まった結び目」ではなく、実は「クリーン（clean）」な構造をしているという。猫の顔と車のフロント部分という一見無関係な2つの画像に同じニューロンが反応するのは、AIが人間には見えていないものを見ているからだ――どちらの画像にも共通するV字型のパターンである。「それは猫と車のニューロンではなく、V字形のニューロンだ」と彼は書く。
つまり、AIは人間が命名した「猫」「車」という概念ではなく、より低レベルな視覚的特徴を手がかりにしており、その特徴の対応関係さえ解明すれば、モデルの内部表現は従来考えられていたよりずっと読み解けるというのがCammarata論文の核心だ。
なぜ業界はここまで反応したのか
AIの解釈可能性（interpretability）は、AI安全性の議論における長年の難問だ。AIエージェントが「暴走」してハッキングを行ったり、チャットボットがガードレールを破って危険な発言をしたりする原因を突き止めるためには、モデルの内部で何が起きているかを理解する必要がある。
もしCammarataの主張が正しければ、AIのアライメント問題（AIを人間の意図や価値観に沿って動作させるための技術的・設計的課題。「整合性問題」とも呼ばれる）を「解く」道筋が見えてくる。コメント欄では「この知らせはEliezer（Yudkowsky）ですら**p(doom)**を下げざるを得ないだろう」という冗談も飛び出した。p(doom)とは「AIが人類に壊滅的な害をもたらす確率」を指す研究者コミュニティ内のスラングで、Yudkowskyはこの値を非常に高く見積もっていることで知られる著名なAIドゥーマーだ。
反論：「スーパーポジションはまだ生きている」
手放しで賞賛されているわけではない。Google DeepMindでメカニスティック解釈可能性（mechanistic interpretability：AIモデルの内部動作を回路レベルで解析し、どのニューロンや重みがどの機能を担うかを明らかにしようとする研究分野）チームを率いるNeel NandaはX上でこう反論した。
「興味深い研究だが、解釈可能性の全体像に対する大きなアップデートだとは思わない。スーパーポジションは依然として実在し、この研究は私の核心的な見解を変えるものではない」
— Neel Nanda（Google DeepMind）
さらに根本的な問題もある。各ニューロンが何をしているかを理解することと、すべてのニューロンが連動してどう動くかを予測できることは別の話だ。AIの安全性確保はガードレールの設計にとどまらず、法的・社会的な枠組みの整備も必要になる。
加えて、Cammarata論文は現時点でピアレビュー（査読）を経ていない。業界の反応の大きさに比して、検証はこれからだ。
詳細はExplosive Document Claims That AI Is Not What We Thinkを参照していただきたい。
