8月11日、WIREDが「A New Trick Reveals AI Models' Inner Thoughts」と題した記事を公開した。フロンティアAIモデルが内部で生成する隠れた「推論トレース」を、同系列の小規模モデルを経由して読み取れる脆弱性を研究者が発見したという内容だ。AIの内部動作の透明性やプライバシーをめぐる議論が各国の規制当局・開発者双方で活発化するなか、フロンティアモデルの「秘匿された思考」が想定外の経路で漏洩しうることを示した点で、AIセーフティ研究において注目に値する報告である。

暗号化された「推論トレース」のリークが示す脆弱性

OpenAI・Anthropic・Googleの主要フロンティアモデルに共通する脆弱性を、ドイツ・テュービンゲン大学のAlexander Panfilovらの研究チームが発見した。チームにはMax Planck Institute、AIセーフティ機関のMATS Research、セキュリティ企業Snykのメンバーも加わっている。

これらのモデルは、複雑な問題を解く際に「推論トレース（reasoning traces）」と呼ばれる思考ステップを内部で生成する。いわゆるチェーン・オブ・ソート（chain of thought）だ。各社はこの推論を競合に利用されないよう秘匿しており、ユーザーには最終的な回答のみを返すよう設計されている。

ただし、いくつかの実装では処理の一部をユーザー側にオフロードする構成を採用しており、その際に推論トレースをユーザーのマシンに送信するケースがある。各社はこのトレースを暗号化して送信することでその内容を保護しているが、研究チームはこの保護機構に構造上の弱点を発見した。

※編集部の考察：プライベート推論の実装方式は各社・各モデルによって異なる。暗号化済みトレースの送信はすべてのモデル・APIエンドポイントに共通するわけではなく、元記事が対象とする特定の構成に限定されている点に留意されたい。

小規模モデルを「鍵」として使う攻撃手法

各社は同一アーキテクチャの大小複数のモデルをAPIで提供している。大きいモデルは高性能だがコストが高く、ユーザーはコスト削減のために小さいモデルを選ぶことが多い。研究チームが発見したのは、大きいモデルから取得した暗号化済み推論トレースを、同系列の小さいモデルに入力すると、隠された推論内容が露出するという挙動だ。

なぜそうなるのか。小さいモデルは大きいモデルと同じ復号鍵を持つ一方、アライメント訓練の量が少ない。つまり、「内なる思考を明かすな」という制約が弱く、結果的に推論内容をそのまま出力してしまう。

ETHチューリッヒのコンピュータセキュリティ専門家Florian Tramer氏はこの手法を「弱いモデルが同じ復号鍵を持ちながらアライメントが緩いという点を突いたアイデアは非常に面白い」と評している。

パスワード・APIキーも漏洩

この脆弱性は推論内容の露出にとどまらなかった。ユーザーのマシン上に残った推論トレースから、パスワードやAPIキーといった機密情報も回収できることが確認された。

研究チームは先月、OpenAI・Anthropic・Googleに脆弱性を報告。各社はAPIを修正し、プライベート情報の漏洩は現時点では防がれている。ただしPanfilov氏によれば、推論トレース自体の抽出は同手法で今も可能であり、完全な修正には各社のAPI設計を根本から変える必要があるという。

Anthropicの広報担当Michael Aciman氏は「独立した研究を評価しており、報告されたリプレイ動作への短期的な緩和策を構築し始めた」とコメントしている。なお同氏は、「暗号鍵の回収やAnthropicインフラへのアクセス、個人データの復元は今回の研究に含まれない」とも述べた。GoogleとOpenAIはいずれもコメントを拒否した。

中国モデルが米国モデルの推論を「蒸留」した疑惑

前節まで述べた推論トレースのリークという技術的脆弱性は、それ自体が研究上の発見として重要だが、本研究はさらに地政学的にも注目される問題へと接続している。中国製モデルによる推論蒸留（distillation）疑惑への言及だ。

蒸留とは、既存の大規模モデルの能力を小規模モデルに効率的に転写する技術で、オープンウェイトモデルの開発では広く使われている。ただ近年は地政学的な文脈で問題視されており、今年2月にはOpenAIが米議会に対しDeepSeekが自社モデルを蒸留してR1を構築したと主張。6月にはAnthropicがAlibaba（Qwen）による組織的な蒸留を告発している。

研究チームは90問のプロンプトを各モデルに与え、クローズドモデルの推論トレース冒頭をオープンウェイトモデルに提示するという実験を行った。その結果、中国のMoonshot AIが開発したKimi K3が、フロンティアモデルの隠れた推論トレースと顕著に類似した出力を生成することを確認した。比較対象となったモデルには、本記事執筆時点で一般的な認知度が低いモデル名も含まれており、元記事が参照する研究論文の公開後に状況が変わっている可能性もある点をあらかじめ断っておく。

一方、同じ中国製のDeepSeekと米国の別モデルではそのような類似は見られなかった。

研究チームは論文内で「この手法は因果的に蒸留を証明するものではない」と明記しており、状況証拠にとどまる。Moonshot AIとZ.aiは取材に応答していない。

蒸留の戦略的重要性については専門家の見方が分かれる。Center for Security and Emerging TechnologiesのKyle Miller氏は「蒸留を除いても中国の競争力は大きく変わらないと思う。彼らはゼロから最先端モデルを構築できる技術力を持っている」と述べる。一方、MetaのCEO Mark Zuckerberg氏は自身のブログで「蒸留はオープンソースエコシステムの重要な原則」として規制に反対する立場を示した。

詳細はA New Trick Reveals AI Models' Inner Thoughtsを参照していただきたい。