9月12日、The Decoderが「AI models' written reasoning steps correspond to distinct internal patterns, a new study finds」と題した記事を公開した。この記事では、AIモデルが出力する推論ステップのテキストが、モデル内部の異なる活性化パターンと対応しているという研究結果について詳しく紹介されている。

チェーン・オブ・ソート（Chain of Thought）推論の「書かれた内容」がモデル内部の実際の計算とどれほど対応しているのか——これはAI安全性・解釈可能性の文脈で長年問われてきた問いだ。KAISTの研究チームが発表した新研究は、この問いに対して具体的な手がかりを提示している。

推論操作を8種類に分類し、内部表現を解析

研究チームはまず、数学の問題を解くプロセスで繰り返し現れる推論操作を8種類に定義した。抽出（Extraction）、分解（Decomposition）、公式想起（Formula Recall）、演繹（Deduction）、計算（Computation）などがそれにあたる。

対象モデルは**Qwen2.5-7B、Qwen3-8B、Gemma4-31B**の3モデル。各モデルに数学問題を解かせ、解答経路をセグメントに分割したうえで、大規模言語モデルを使って各セグメントを8種類の操作のいずれかにラベリングした。その後、各セグメントに対応するモデルの内部表現（活性化ベクトル）を解析し、操作の種類が内部的に識別できるかを検証した。

中間層で推論ステップが明確に分離する

結果として、3モデルすべてで推論操作の種類を内部表現から信頼性高く識別できることが確認された。分離の精度は中間層（Middle layers）でピークに達する。

重要な対照実験として、「単語の選択だけで説明できないか」を検証した。トークン（語彙）のみを見る分類器は、内部表現を分析する分類器より精度が低かった。解答経路中の位置も説明変数にはならなかった。つまり、内部状態は表層的な言葉遣いを超えた、推論ステップの種類に関する情報を保持している。

「同じ単語」でも推論ステップが違えば内部表現は異なる

さらに興味深い発見がある。"a"、"is"、"the"といった機能語（どの推論ステップにも出現する語）は、初期層では混在しているが、中間〜後期層では周囲の推論操作に応じて分離する。同じ単語でも、どの推論ステップに属しているかによって内部表現が変わる。

また、直前30トークンへのAttentionをブロックする介入実験では、その操作の信号が弱まることが確認された。推論ステップは孤立して成立するのではなく、直前の文脈を参照して形成される。

誤答問題においても、モデルが実行していたステップの種類は内部的に識別可能だった。計算ステップが間違っていても、内部的には「計算ステップ」として表れていた。再現性の面では、**Llama-3-8Bでも分離が確認され、Qwen3-8Bで訓練した分類器はGPQA-DiamondおよびMATH-500**への転移にも成功している。

AI安全性への含意

この研究が注目される背景には、チェーン・オブ・ソートに対する安全性上の懸念がある。OpenAIはチェーン・オブ・ソートを数少ない監視手段のひとつと位置づける一方、Anthropicが公開した「Language Models Often Hide Their Reasoning Process」と題した研究では、モデルが使用したヒントを開示するのは25〜39%のケースに過ぎないことが示されている。また、モデルの内部ベクトルをテキストに変換する手法により、出力に現れる以上の処理をモデルが内部で行っていることも報告されている。

今回の研究は、出力テキストと内部計算の対応関係を定量的に示した点で、こうした議論に実証的な根拠を加える。ただし、実験は数学タスクと限られたモデルに限定されており、この知見を使ってエラー検出や生成中のモデル制御に応用できるかは今後の課題とされている。

詳細はAI models' written reasoning steps correspond to distinct internal patterns, a new study findsを参照していただきたい。