11月3日、Arcturus Labsが「AI Can Read Neural Network Weights. I Wasn't Ready for That.」と題した記事を公開した。フロンティアモデルがニューラルネットワークの重みを生のテキストとして読み込み、そこから意味のある挙動を推論できるという実験結果で、著者自身が「これはできるはずがない」と感じたと認めながらも、2つの仮説を提示するにとどまり、明確な説明には至っていない。LLMの能力の「外縁」がどこにあるのかを改めて問い直す内容だ。
「重みを読む」とはどういうことか
ニューラルネットワークの重みは、浮動小数点数の羅列にすぎない。これをLLMに渡すというのは、0.054 -0.026 0.014 といった数値列をトークン化してプロンプトに貼り付けるだけだ。モデルは数値を「ネットワークとして実行」しているわけではなく、0, ., 054, -, 0, ., 026 といった通常のテキストトークンとして処理している。
それにもかかわらず、このモデルはその重みがパックマンをプレイするネットワークのものだと正しく推論できた。
記事では、Pac-Manをプレイする小規模ネットワーク（569変数・17,184の重み付き結合）の重みだけをGPT-6 Astra（元記事中でこう呼ばれているモデル）に与え、どのゲームのエージェントかを当てさせる実験を紹介している。モデルの出力は次のようなものだった：
Channel 0（エージェント）：大きな重みが構造的なサブセットの内部セルに集中している。(1,1)では−3.242, 3.377, −3.734, 4.081など。これは自由な動きではなく、固定迷路内の通路を示唆している。
Channel 1（移動物体）：同じ通路構造に沿って大きな重みが分布。プレイヤーとともに迷路内を動く別エンティティの存在を示唆。
…（中略）…
Game: A small grid-based Pac-Man-style maze game.
Confidence: 93%
記事の著者はこの推論を「minimal（最小限）」の思考設定で行ったと説明しており、モデルはほとんど考えずにこの結論に達したという。同じプロンプトをAnthropic Opus 5.5やMuse Spark 1.3（いずれも元記事中でこう呼ばれているモデル）に与えても、いずれもパックマンを特定した。
なぜこれが「あってはならない」のか
著者がまず提示するのは、「そもそもこれはできるはずがない」という直感だ。
人間の脳はニューロンで構成されており、ショウジョウバエの脳も同じだ。ショウジョウバエの完全なコネクトーム（神経接続図）が解明されているにもかかわらず、人間はそれを見て「あ、この回路は飛行制御だな」と直感的に読み解けない。同じ構成要素で作られているからといって、他のネットワークを読めるわけではない。
LLMも同じはずだ。テキストと画像を入力として学習したモデルが、なぜ別のネットワークの17番目の重みの意味を理解できるのか。しかもそれが特殊なフォーマットではなく、プレーンテキストとして与えられているにもかかわらず。
この能力はどこから来たのか
著者は2つの仮説を提示しているが、いずれも現時点では傍証の域を出ず、元記事でも「確認された事実」としては扱われていない。
仮説1：フロンティアラボが意図的に訓練している
フロンティアラボ（OpenAI、Anthropicなど）が、自社モデルの開発効率化のためにこの能力を明示的に訓練しているという可能性だ。重みを読んで挙動を推論できれば、モデル開発のループに活用できる。著者はこの仮説の根拠として具体的な証拠を挙げられておらず、「そういう動機があるはずだ」という推論にとどまっている。元記事でも、ラボ側からの公式なコメントや訓練データに関する開示は引用されていない。
仮説2：汎化能力が想定外の領域まで伸びている
こちらの方が著者にとってより驚きが大きい。モデルはコードの実行トレースと動作推論をすでに得意としている。強化学習によって訓練分布外のプログラムを読み書きする能力も身についた。重みの解読は、その汎化がさらに極端な形で現れたものかもしれない。
プログラムを読む場合は変数名やキーワードといった意味的な手がかりがある。だが重みには何もない。569個の「変数」が17,184本の接続で結ばれた、ラベルのない数値の塊だ。著者は「私にはとても頭の中で処理できない」と率直に認めている。
ニューラルネットワークの解釈可能性研究との接点
この実験はニューラルネットワークの解釈可能性（Interpretability）研究と密接な接点を持つ。解釈可能性研究とは「訓練済みモデルの内部構造を人間が理解できるか」を問う分野で、AnthropicやDeepMindが特に力を入れている領域だ。
AnthropicはMechanistic Interpretabilityと呼ばれるアプローチを推進しており、モデル内部の「特徴」や「回路」を人間が分析できる形で可視化しようとしている。DeepMindもニューロンの活性化パターンを解析する研究を継続的に発表している。いずれも人間の研究者が活性化パターンを手動で分析する手法が主流であり、高度な専門知識と膨大な時間を要するプロセスだ。
今回の実験が示唆するのは、LLM自身が重みから意味を読み取れる可能性だ。もしこれが再現性のある現象であれば、解釈可能性研究の手法そのものを根底から問い直す契機になりうる。
著者の結論
記事の末尾で著者はこう書いている。
以前の私のLLMに対するメンタルモデルは、人間の脳のモデルとそれほど異なるものではなかった。生のセンサーデータを受け取り、計算のカスケードを経て抽象情報に変換し、世界を航行するために使う。注意は有限のリソースであり、人間もLLMも同時に追跡できる事柄には限りがある。これは今でも正しいと思う。だがこの研究は、LLMがワーキングメモリにどれほど膨大な情報を保持できるか、どれほど素早く重要な抽象概念を特定して操作できるか、そして訓練の汎化が新しいドメインにどれほどうまく及んでいるかを、改めて思い知らせてくれた。
LLMが自身と同種のネットワークの重みを読んで意味を引き出せるとなると、自動化されたモデル解析や、さらにはモデルが自らの重みを編集するという方向性も視野に入ってくる。著者自身も「Maybe we're toast.（もしかして詰んでる？）Maybe I'm just jealous that I can't edit my own neural weights.（それとも自分の重みを編集できない嫉妬かな）」と締めくくっている。
詳細はAI Can Read Neural Network Weights. I Wasn't Ready for That.を参照していただきたい。
