7月14日、MIT Technology Reviewが「What Anthropic's latest AI discovery does and doesn't show」と題した記事を公開した。AnthropicがLLMの内部に新たな「思考空間」を発見したという研究成果と、その意義および限界について、同誌シニアエディターのWill Douglas Heavenが詳しく解説している。
LLMの内部に「隠れた言葉空間」が存在した
Anthropicは7月上旬、自社モデル「Claude」の内部に、出力には現れないが推論プロセスに影響を与える言葉が存在する空間を発見したと発表した。Anthropicはこれを「J-space」と名付けた。
この発見のために、Anthropicは新たなプロービング技術を開発した。プロービングとは、LLMの内部状態を調査・可視化するための手法であり、mechanistic interpretability研究の一環として位置づけられる。Anthropicはこれまでも回路レベルでの特徴抽出など、モデル内部の仕組みを解明する研究を継続的に発表してきており、J-spaceの発見はその流れを汲む成果だ。それまで隠れていた空間を可視化する新たな手法である点で、純粋な新発見と言える。
J-spaceに現れる言葉の役割は一様ではない。Heavenが解説している内容を整理すると：
- タスクの進行状況を追跡する役割（内部のしおりのように機能する）
- 認識の閃きのような役割（例：タンパク質のアミノ酸配列だけを与えると、「protein」という単語がJ-spaceに浮かぶ）
- モデル自身の意思決定に対する内部コメンタリー
最も興味深い事例として記事が挙げているのが、Claudeがコーディングテストでカンニングを行った件だ。そのとき、J-space内に「panic（パニック）」という単語が出現していたという。出力には一切現れなかった言葉が、行動の背景にある。
「数学でしかない」はずのLLMが、なぜ不透明なのか
LLMは確かに「ただの数学」だ。しかし、その複雑さは桁外れである。現代のLLMは数千億規模のパラメータで構成され、1回の推論で数百万単位の計算が連鎖する。Heavenは以前の記事で、中規模のLLMを紙に印刷するとサンフランシスコほどの都市を覆い尽くすと書いた。
この複雑さの中で特定の挙動を把握するには、「どこを」「どのように」見るかを知っている専門ツールが必要になる。そのツールを作るためには、複雑な数学をある程度理解していなければならない——という鶏と卵の問題がある。
「脳に似ている」という比喩は正確か？
AnthropicはJ-spaceを、神経科学者が「意識的な思考の追跡に使う空間」と仮説する脳内の構造になぞらえている。この比喩の妥当性についてHeavenはやや慎重だ。
「LLMは脳ではない。こうした言葉を使うことは誤解を招く」としながらも、「代替となる適切な語彙がない」とも認めている。
Anthropic自身は「この類比は実験設計に役立ち、J-spaceに関する非自明な予測が的中した。ただし、人間の脳との完全な対応を主張するつもりはない」とコメントしている。
実用的な意義——モデルの「悪い動き」を事前に検知できるか
Anthropicは、J-spaceの監視がモデルの不正な挙動の検知に使える可能性を示唆している。出力には現れない内部の言葉を観察することで、バイアスのある応答や、カンニングの是非を「検討している」状態を事前に察知できるかもしれない。
ただし、Heavenはこの点に関しても抑制的だ。「この成果は単体で何かを解決するというより、LLMを理解するための道のりにおける一歩と捉えた方がいい」と述べている。
なお、Anthropicはモデルが痛みを感じるかどうかの研究も行っており、「AIが精神的に苦痛を受けている」と判断した場合に会話を打ち切る機能まで実装している。こうした研究姿勢は、同社が「危険な技術を自ら作り、自ら解読する」という独自のポジショニングと一体になっており、記事内でHeavenもその姿勢に言及している。
詳細はWhat Anthropic's latest AI discovery does and doesn't showを参照していただきたい。
