10月16日、The Decoderが「Is AI interpretability close to a breakthrough? A new essay has researchers divided」と題した記事を公開した。AIモデルの内部動作を解読する「メカニスティック解釈可能性」研究がブレークスルーに近づいているかどうかをめぐり、解釈可能性スタートアップGoodfireのNick Cammarata（カマラタ）が投じた一石が、研究者コミュニティで波紋を広げている。「ニューロンの90%は明確な意味を持つ」という主張は、この分野の通説を根底から問い直すものだ——ただし、査読前のエッセイであり、技術的詳細を扱う補足論文はまだ公開されていない点は押さえておく必要がある。

ニューロンの90%は「ちゃんと意味がある」という主張

AIの解釈可能性（interpretability）研究の中でも、モデルの内部回路を直接解析するメカニスティック解釈可能性は、近年注目が高まっている分野だ。ニューロンが何を表現しているかを追うことで、モデルがなぜその出力を返したかを理解しようとする試みである。

この分野に一石を投じたのが、解釈可能性スタートアップGoodfireのNick Cammarata（カマラタ）だ。彼はエッセイの中で、大規模言語モデルQwen3-32Bを分析した結果として、ニューロンの極（pole）の約90%は単一の主要な役割を持ち、約7%は関連する2つの役割を持つと報告した。

ここでいう「極（pole）」とは、ニューロンの活性化の方向性——正の方向に強く反応するか、負の方向に強く反応するか——を指す概念で、1つのニューロンが正負それぞれの向きで異なる概念に対応しうる。この視点でニューロンを分析すると、説明がつかないものはわずか2〜4%にとどまるという。Goodfireによれば、数兆パラメータ規模のモデルでも同様の傾向が見られるとしている。

この数字が重要な理由は、従来の通説と真っ向から対立するからだ。

「多意味性」の通説は読み間違いだったのか

これまでの解釈可能性研究では、多意味性（polysemanticity）が大きな壁とされてきた。1つのニューロンがまったく無関係な複数の概念に反応する現象だ。有名な例が画像モデルInceptionV1のあるニューロンで、猫の顔と車のフロント部分の両方に反応することが知られていた。

この多意味性を説明する仮説が重ね合わせ（superposition）理論だ。ニューロンの数が概念の数より少ないとき、互いに干渉しにくい無関係な概念を同じニューロンに詰め込む、というものだ。この理論が主流になったことで、多くの研究室が元のモデルではなく、概念を分離するために訓練したスパースオートエンコーダー（SAE）という二次モデルを解析するアプローチをとるようになった。

Cammarata自身も、2020年にChris Olahと共同執筆した論文「Zoom In」でこの理論の形成に貢献し、2023年にはOpenAIで自動化解釈可能性プロジェクトを立ち上げていた。当時、理解可能と分類できるニューロンはわずか**1.7%**にすぎなかった。

しかし今、Cammarata自身がその解釈を覆しつつある。

猫・車ニューロンは、実はV字形状の検出器だったと彼は言う。キツネの鼻先や炎のような尖った形状がニューロンを活性化し、「O」のような丸い形状は逆に活性化を抑制する。猫の顔も車のフロントも、どちらも尖った形状を持つから反応した——そう読み直すと、これは無関係な概念の混在ではなく、形状という共通軸による一般化だということになる。

さらに彼は、ニューロンが「iy」という文字列を認識し始め、「diy」へ、最終的に「iy」を含まない「do it yourself」にまで反応を広げた事例を紹介する。この現象を彼は「再帰的一般化（recursive generalization）」と呼ぶ。枝が枝分かれしながら伸びていくように、意味的なつながりを通じて応答範囲が広がっていく現象だ。

Cammarata自身が新しい手法を発明したわけではない。彼が行ったのは、より良いツール、より大きなモデル、自動化されたAIエージェントを使って、ニューロンを直接解析するという分野の原点回帰だ。Rich Suttonの「Bitter Lesson」——巧妙な手法より大規模なシンプルな調査が勝る——を引用しつつ、解釈可能性においても同じ原理が働くと主張している。

AI安全性への含意と、研究者の反応

この主張が正しければ、AI安全性の文脈で大きな意味を持つ。現状、モデルが欺瞞的な行動をとっているかどうかを確認する手段はほとんどない。思考連鎖（chain of thought）の監視も信頼性が低下しつつある。Cammarataは、解釈可能性なしにアライメント（AIを人間の目標に沿って動かす取り組み）は解決できないと述べており、ニューロンレベルで内部状態を読み取れれば、欺瞞を検出したり、問題を局所的に修正したりできる可能性があると書いている。

このエッセイへの反応は、研究者によって温度差が大きい。最も熱烈な支持を示したのが、OpenAI社員でAIコミュニティに影響力を持つRoon（X上での仮名）だ。RoonはOpenAIという立場上、AI安全性コミュニティの内側から発言しており、その言葉は業界内で一定の重みを持って受け取られる。

「この研究は科学史上の重要な瞬間として記憶されるかもしれない」——Roon（X投稿より）

Roonは、AI壊滅リスクを訴える著名人Eliezer Yudkowskyでさえ「破滅の確率」を下げなければならなくなるだろうとまで書いている。

一方、慎重な見方を示したのがGoogle DeepMindで解釈可能性チームを率いるNeel Nandaだ。彼はメカニスティック解釈可能性の創始者の一人とされており、かつてAnthropicでも研究していた。この分野を最もよく知る人物の一人である彼が異を唱えている点は、Roonの熱狂的な評価と対比して注意深く受け止める必要がある。2024年中頃から彼の見方は変化し、野心的な解釈可能性研究に対してより悲観的になったと本人が述べている。

「Cammarataの研究は興味深いが、大局的な絵を変えるものではない」——Neel Nanda（X投稿より）

Nandaは、重ね合わせ理論は依然として実在すると考えている。言語モデルはニューロン数より遥かに多くの事実を保存しており、特に弱い活性化の中に多くの情報が詰まっている可能性があるという。また、小さな画像モデルで得られた知見が大規模言語モデルにそのまま適用できるとは限らないとも指摘する。

両者の議論は、単一意味性（monosemanticity）の定義をどこに置くかという問題にも帰着している。Cammarata は、モデルが次元数より多くの概念を表現すること自体は否定していない。彼が否定するのは、「まったく無関係な概念が無秩序に詰め込まれている」という解釈だ。

なお、Goodfire自体がこの仮説に商業的な利害を持つ点に加え、本稿執筆時点でこのエッセイは査読を経ておらず、技術的詳細を扱う補足論文も未公開である。主張の検証には今後の独立した追試が不可欠であり、現時点では一次資料として慎重に扱うべきだろう。

詳細はIs AI interpretability close to a breakthrough? A new essay has researchers dividedを参照していただきたい。