9月11日、Towards Data Scienceが「Demystifying Anthropic's J-Space: A Mathematical Primer」と題した記事を公開した。この記事では、Anthropicが提案した「J-Space」の数学的構造と、LLMの内部表現を言語的に解釈・操作するための理論的根拠について詳しく紹介されている。
J-Spaceとは何か
Anthropicの研究者たちは論文「Verbalizable Representations Form a Global Workspace in Language Models」の中で、J-Spaceという概念を提唱した。これはLLMの内部表現空間において「言語化可能な部分」を切り出すための構造であり、人間の大脳皮質におけるグローバルワークスペース（意識的なアクセスを支える神経回路として仮説されている機構。Global Workspace Theoryとして知られる）のLLM版アナログとして位置づけられている。
本記事はそのJ-Spaceの「概念的意義」よりも、数学的定義と性質を明示的に再導出することを目的としている。元論文では省略されがちな導出ステップを、応用数学の視点から丁寧に補っている点が特徴だ。
論文の実験はAnthropicのモデルを対象として行われており、J-Spaceはモデルアーキテクチャに依存した構造として定義されている。後述するスパース性パラメータの実験値（k≈25）も、特定のモデルのResidual Stream次元（d=4096）を前提とした結果である。
J-Spaceの構造：錐の和集合
J-Spaceの構築は次のステップで進む。
J-lensベクトルの定義：TransformerのResidual Streamにおけるトークンの各層での意味表現に対して、その変化が最終層の出力に与える平均因果効果を計算し、Unembedding行列を掛けることでロジットスコアに変換する。この行の集合がJ-lensベクトルである。語彙数だけ存在し、表現空間において過完備フレーム（次元数より多い基底ベクトルの集まり）を形成する。
疎な非負結合によるJ-Space：J-Spaceは、J-lensベクトルのk-スパース非負線形結合で表現できる点の集合として定義される。幾何学的には「複数の錐の和集合」であり、線形部分空間ではない。
モデル次元 d=4096 という高次元空間では、Lévyの測度集中（球面上の任意のベクトル対の内積がほぼゼロに集中する現象）により、意味的に無関係なJ-lensベクトル同士の内積は約0.015程度に抑えられる。「king」と「emperor」のような意味的に近いペアだけが大きな内積を持つ。
言語化可能成分と非言語化成分の分離
任意の内部表現ベクトルは2つに分解できる。
- 言語化可能成分：内部表現ベクトルをJ-Spaceへ正射影したもの。k個のJ-lensベクトルによる近似スパース展開で表される。
- 非言語化成分：その残差。凸錐への射影の標準的な性質から、この残差は射影と直交する。
この直交性は後述する計算において重要な役割を果たす。
スパース性パラメータ k の選び方については、「余剰分散説明率（Excess FVE）」という指標を導入して決定する。k個のランダムなベクトルで説明される分散との差分を見ることで、J-lensベクトル固有の寄与を測る。実験的には k≈25 でこの値がプラトーに達する。
d=4096 に対して k=25 のランダムベクトルが説明する分散は 25/4096 で1%未満に過ぎないのに対し、J-lensベクトルによる余剰分散は**約10%**に達する。この差が「言語化可能な表現は、4096次元空間内の25次元程度の低次元多様体に集中している」という仮説を支持する。
概念の置換操作：なぜ線形回帰で済むのか
J-Spaceの実用的な使い道として、ある概念を別の概念に置き換えるインターベンションがある。これはLLMのアライメント監査ツールとしての応用が想定されている。解釈可能性研究における内部表現への介入手法については、Anthropicの解釈可能性研究ページでも関連する取り組みが公開されている。
厳密なJ-Space上への射影はNP困難な非負スパースコーディング問題になるため、実用上は線形回帰（2列行列とMoore-Penrose擬似逆行列）で近似する。
- 置換したいソース概念とターゲット概念のJ-lensベクトルを2列の行列にまとめる
- 内部表現ベクトルをこの2次元部分空間に射影し、回帰係数を求める
- 係数を入れ替えることで、元の概念をターゲット概念に置換する
この近似が正確な係数置換の良い近似になることは、Lévy集中と錐の内点における接線条件（射影が錐の内部にある場合、距離関数の方向微分がゼロになること）の2つの数学的事実から保証される。
ただし、ソースとターゲットの概念が意味的に近すぎると対応するJ-lensベクトルがほぼ平行（共線）になり、グラム行列が特異に近づいて擬似逆行列が不安定化する。この場合、回帰係数が負になりJ-Spaceの錐の外に出てしまうリスクがある。
まとめ
J-Spaceの核心は「LLMの内部表現のうち、トークン予測に影響を与える言語化可能な部分を低次元の錐構造として捉える」という視点にある。そしてその構造を利用することで、概念レベルの外科的操作を閉じた式で実行できる。アライメント研究や解釈可能性研究において、内部表現への介入手段として理論的に整備されたフレームワークが得られたことの意義は大きい。
詳細はDemystifying Anthropic's J-Space: A Mathematical Primerを参照していただきたい。
