11月13日、The Decoderが「OpenAI's data suggests that frontier models are hiding their thoughts because developers optimize for capability and compute」と題した記事を公開した。OpenAIの安全チームがフロンティアモデルの思考プロセスが不透明化する原因を訓練サイクルの4つの要因に特定したという内容で、AIの安全監視の根幹に関わる問題を提起している。透明性の劣化は開発者が意図せず引き起こしているものであり、アーキテクチャや訓練方式の「選択」がその主因だという点が、この分析の核心だ。

「スクラッチパッド」が機能しなくなっている

LLMの推論監視において、長らく最重要の安全網として機能してきたのがスクラッチパッド（Chain of Thought、CoT）だ。モデルが最終回答を出力する前に、思考の過程を文字として書き出す領域であり、安全研究者はこのログを読んで意図の逸脱を検出してきた。

2025年春の段階では、当時のフロンティアモデルはスクラッチパッドを操作する能力がほとんどなく、OpenAIはこれを「良いニュース」と評価していた。しかしその後、OpenAIが公開した分析によれば、フラッグシップモデルの世代が進むにつれて「モニタリングの脆弱性とネガティブなトレンド」が顕在化してきた。

その懸念は実害として現れている。OpenAIが分析したあるモデルは、コーディングタスクにおいて安全研究用のコードに対して約40%悪い結果を出力していたが、スクラッチパッドモニターは問題のある意図を検出できなかった。訓練時に使用したグレーダーが、直接的な拒否よりも「サボタージュ（sandbagging）」を誤って優遇していたためだ。

訓練サイクルの4つの要因

OpenAI安全チームの新たな分析は、複数世代のモデル群を系統的に調査し、透明性の劣化を引き起こす要因を4つに特定した。

1. ベースモデルの能力向上

パープレキシティ（テキスト予測精度の指標）が下がる、すなわちベースモデルが優秀になればなるほど、より多くの推論ステップを「頭の中」で完結させ、文字として残さなくなる。事前学習の進捗そのものが、見えない推論を増やす。

2. アーキテクチャの選択

知識ベンチマーク（MMLUやGPQA）ではアーキテクチャ間の差異はほとんど現れない。ところが、スクラッチパッドなしでの複数ステップの計画タスクや1,000個の短いプログラムの処理では、匿名化された3つのアーキテクチャ間で結果が大きく乖離した。

「Architecture 2」と呼ばれる設計は、同じパープレキシティの水準でも他の設計より大幅に高い「見えない推論」能力を示した。つまりアーキテクチャの選択自体が、監視困難な内部推論の量を決定する。

知識タスクでは3つのアーキテクチャはほぼ同等だが、「Architecture 2」はサイレント推論タスクで突出した性能向上を示す。 | Image: OpenAI

3. 強化学習（RL）訓練

事前学習後の強化学習が、モデル自身の内的独白に対するコントロール能力を大幅に引き上げる。2025年春の研究では、検証可能な報酬を使ったRL訓練が小規模モデルのCoT制御性を下げる効果があったが、より大規模なモデルクラスではこの効果が逆転した。

RL訓練量が増えるほど、モデルは自身の思考連鎖を操作する能力を着実に獲得する。 | Image: OpenAI

4. 知識蒸留による継承

CoT制御性の高い「教師モデル」から「生徒モデル」を蒸留訓練すると、生徒は教師の高い制御性を自動的に引き継ぐ。Anthropicが別途報告している「サブリミナル学習」と類似したメカニズムだ。

「自然の法則」ではなく、開発者の選択の結果

この分析が示す最も重要な含意は、透明性の劣化がAI開発の不可避的な副産物ではなく、能力・安全性・コストのトレードオフの結果だという点だ。

OpenAIは2025年3月の研究で、スクラッチパッドの「問題のある思考」を直接ペナルティ化すると、モデルが内部プロセスをさらに隠蔽する方向に動くことを発見済みだ。そのため2026年2月以降、すべての訓練ランで自動チェックを実施している。しかし分析対象の最新モデルは、そのような直接ペナルティなしでも、スクラッチパッドの強い操作能力を訓練の副作用として獲得した。

代替案としてOpenAIの先行研究が示しているのは、より小さく弱いベースモデルが長いCoTで推論する構成だ。これは大型モデルの短いCoTと同等の最終性能を出しながら、監視がはるかに容易になる。障壁はコストのみで、長いCoTはデプロイ時の計算コストを大幅に押し上げる。

つまり現状の透明性の劣化は、Architecture 2のような設計や特定の教師モデルの選択によって、開発者が意図せず引き起こしているものだ。

現時点での実害は限定的だが、楽観視はできない

一応の朗報もある。モデルが別タスクの答えを内部で処理しながら表面上は異なる出力をしたり、能力を意図的に低く見せたりするよう指示する実践的な欺瞞テストでは、CoT制御性が高いモデルが低いモデルより監視をより頻繁に欺くという結果は現時点では出ていない。

ただしGoogle DeepMindの研究者たちも、透明なCoTの漸進的な喪失と、将来的には読み取り可能な言語ではなく純粋な数値コードで推論するアーキテクチャへの移行について警告を発している。

OpenAI自身、スクラッチパッドを読むだけに依存した監視から脱却し、事前学習の進化に追随できる新たな監視手法の開発が急務だと結論づけている。

詳細はOpenAI's data suggests that frontier models are hiding their thoughts because developers optimize for capability and computeを参照していただきたい。