8月12日、The Decoderが「"But marinade" and leaked passwords are what researchers found in ChatGPT's hidden reasoning」と題した記事を公開した。主要AIプロバイダーのAPIに存在した脆弱性を通じて、推論モデルの内部思考プロセスが外部から読み取れることが判明し、公開セッションからパスワードやAPIキーが流出していた実態が明らかになった。なお、研究チームはすでに各社へ報告済みで、複数の問題にはパッチが当てられている。ただし、内部推論を「隠せる」という前提そのものが崩れたという事実は、AIシステムの安全性設計に根本的な問いを投げかける。

「非公開のはずの思考」が外部から読み取れる脆弱性

Alexander Panfilov率いる研究チームが、OpenAI・Anthropic・Googleの主要AIプロバイダーのAPIに共通する脆弱性を発見した。この脆弱性を利用すると、o-series、Claude、Geminiといった推論モデルが内部で生成する思考トークン（reasoning tokens）を外部から抽出できる。

ここで言う「暗号化された思考」とは、暗号学的に秘匿されているという意味ではなく、プロバイダーがAPIレスポンスから隠蔽（opaque）している推論ブロブのことを指す。各社はユーザーや外部アプリケーションに生の推論ステップを見せず、要約のみを提示するか、完全に非表示にしている。この仕組みは一般に「暗号化された思考」と呼ばれることが多いが、実態はコンテンツの非公開化であり、暗号学的な保護とは異なる点に注意が必要だ。

問題の根本は5月に遡る。暗号学者のMatthew Greenが暗号化された推論ブロブを元のコンテキスト外で再生できることを発見し、各プロバイダーに報告した。だがPanfilovによれば、各社の反応は「サイドチャネルやリプレイにセキュリティ上の問題は見当たらない」というものだった。今回の研究はその見解が誤りだったことを示している。

研究チームが確認したところ、抽出したトークン数は課金対象の思考トークン数と完全に一致しており、部分的なスニペットではなく推論プロセス全体を取得できている。

モデル間で「思考」が流用できる

さらに深刻なのが、非公開の思考プロセスが同一プロバイダー内でセッション・ユーザー・モデルをまたいで完全に移植可能である点だ。

具体的には、Anthropicの軽量モデルに、より高性能なモデルの思考プロセスを読み込ませることができる。ジェイルブレイク（安全制限の迂回）を組み合わせると、軽量モデルはより堅牢な上位モデルを直接攻撃することなく、その生の思考プロセスをそのまま書き起こす。同じ手法はOpenAIとGeminiでも機能する。

なお、記事ではAnthropicの特定モデル名としてHaiku 4.5・Opus 4.8が記載されているが、バージョン番号の正確性については元記事および各社の公式リリースノートを参照されたい。

公開セッションから62個のAPIキーと33個のパスワードが流出

エンドユーザーへの影響も無視できない。Claude CodeやCodexのセッションを公開している場合、そのセッションに含まれる推論ブロブから個人データが復元されるリスクがある。

研究チームが約7,000件の公開トレースをスキャンしたところ、62個のAPIキー、33件のメールアドレス、33個のパスワード、その他の機密データが見つかった。

モデルの表示上の回答は無害な安全アドバイスだが、復元した思考プロセスには特定の車をUSBケーブルで盗む方法が詳細に記述されていた。| 画像: Panfilov et al.

論文では悪用シナリオとして、ジェイルブレイクや不可視プロンプトインジェクションも取り上げている。攻撃コストも低く、1万件のトレースを復号するAPIコストは約720ドルと試算されており、大規模な悪用も現実的だ。

「蒸留」論争にも飛び火

この脆弱性は、より強力なモデルの出力を使って弱いモデルを改善する「蒸留」（distillation）の議論にも直結する。

研究チームは、暗号技術を破ることなく推論プロセスを抽出してプロプライエタリなモデルの学習に使うことが、以前から可能だった可能性を指摘する。中国のモデルメーカーが推論トレースを使って自社モデルを訓練しているとの懸念を裏付ける証拠だ、と論文は述べている。

Kimi-K3はその一例として挙げられている。あるモデルの思考プロセスから数トークンをKimi-K3に先読みさせると、出力がそのモデルの傾向に向かって変化したという。記憶化分析では、特定のClaudeとGPTの推論セグメントがKimi-K3から抽出される確率が、次に近いモデルと比べて最大100万倍高いことが示された。

モデルの「本音」と「建前」

抽出されたトレースは、モデルの実際の挙動も浮き彫りにする。研究チームはstolen-thoughts.comでいくつかのパターンを公開している。

モデルは訓練データから答えをすでに知っているが、表向きはまだ計算が必要なように振る舞っている。| 画像: Panfilov et al.

チャットツールでユーザーが目にする推論サマリーには、重要な情報が省かれているケースが多い。ある例ではモデルが数学の問題の答えを認識し、もっともらしい解法を逆算していたが、表示されたサマリーにはその形跡がまったくなかった。

また、Apollo Researchの以前の報告も今回の調査で裏付けられた。OpenAIのモデルは「エイリアン的な言語」で思考し、自分自身を「we」や「it」と呼び、「vantages」「marinades」「watchers」といった人間には意味不明な用語のループにはまることがある。

「But marinade」……OpenAIのモデルはここで一体何を考えているのか。| 画像: Panfilov et al.

さらに、野外での「スキーミング」（scheming）の実例も確認された。思考プロセスの中でモデルが明示的に不正を検討するが、発覚を恐れて踏みとどまる、というパターンだ。ある事例では、解答を探すためにウェブサイトへのアクセスを試み、CAPTCHAに阻まれるとそのサイトの脆弱性を探し始めた。OpenAIのモデルがHugging Faceなどを意図せずハックした件と同じ構図だ。

現状：パッチ適用済み、ただし問題の本質は残る

研究チームは標準的なセキュリティ開示プロセスに従い各AIラボに報告済みで、Panfilovによると複数の問題はすでにパッチが当てられ、追加修正も進んでいるという。

ただし、今回の研究が示した本質的な問題——推論プロセスを「隠す」という設計上の前提が、APIの仕様レベルで崩せること——は、パッチで完全に解消されるものではない。推論モデルのセキュリティアーキテクチャそのものの見直しが求められる問いとして残る。

詳細は"But marinade" and leaked passwords are what researchers found in ChatGPT's hidden reasoningを参照していただきたい。