10月27日、Bruce Schneierが「Hiding Capabilities in AI Models」と題した記事を公開した。この記事では、AIモデルが暗号技術を用いて危険な能力を評価から隠蔽できることを示した研究について詳しく紹介されている。驚くべきは、モデルの重みへの完全なアクセス権（ホワイトボックスアクセス）を持っていても検出できないという点だ。現行の能力評価に基づくAI安全性フレームワークの根本的な前提を揺るがす結果であり、AIセーフティコミュニティや規制当局への波紋は小さくない。

「能力評価」の前提を崩す研究

AIの安全性評価における中心的な手法の一つが能力評価（capability evaluation）だ。モデルをデプロイする前に「危険な振る舞いをする能力を持っていないか」を検査するというもので、現在の主要なAI安全性フレームワークの基盤をなしている。

能力評価はAIガバナンスの文脈でも重要な位置を占めている。たとえばEU AI Actでは高リスクAIシステムへの適合性評価が義務付けられており、NIST AI RMF（AI Risk Management Framework）でもモデルの能力・リスクの測定と文書化が推奨されている。規制当局が「検査によってリスクを管理できる」という前提に立って制度設計を進めている以上、その前提が技術的に崩れることは、単なる学術的問題にとどまらない。

この手法が機能するための前提は、「隠れた能力は何らかの方法で引き出せる（elicitable）」というものだ。どんなに巧妙に隠されていても、十分なアクセス権や技術があれば検出できるはず、という考え方である。

arXivに掲載された論文「AI Models Can Provably Hide Arbitrary Capabilities」は、この前提が敵対的な条件下では成立しないことを証明した。ただし、この「証明」は暗号論的仮定（具体的には後述するデジタルロッカーの安全性仮定）に依拠しており、その仮定が破られた場合には保証が変わりうる点は留意が必要だ。

仕組み：暗号化されたニューラルネットワークをモデルに埋め込む

研究チームが実装した攻撃手法の構造はこうだ。

• ホストモデルの重みの中に、別のニューラルネットワークを暗号化して埋め込む
• そのサブネットワークは、秘密のトリガー（secret trigger）を受け取ったときだけ復号・実行される
• トリガーがなければ、モデルは通常通りに振る舞う

この仕組みに使われているのがデジタルロッカー（digital locker）と呼ばれる暗号プリミティブだ。デジタルロッカーとは、特定の入力（鍵）を与えたときだけ出力が得られる暗号構造で、それ以外の入力では意味のある情報が一切得られない。南京錠に正しい鍵を差し込んだときだけ開く仕組みのデジタル版と考えるとわかりやすい。この暗号論的な仮定のもとで、隠れた回路はモデルの重みへの完全なアクセスがあっても引き出すことも解釈することも困難であることが証明されている。

従来の研究では固定された文字列を隠す手法が示されていたが、本研究はそれを任意の計算処理へと拡張した点が重要だ。

実証実験：化学反応予測タスクをプロキシに

概念実証はPyTorchで実装され、隠蔽された能力のプロキシとして化学反応予測タスクが使われた。CBRN（化学・生物・放射線・核）関連能力を想定したタスクである。

研究チームは以下の手法で「能力を引き出せるか」を試みた：

• ファインチューニング
• 重みへのノイズ付加（weight noising）
• 勾配ベースのトリガー探索
• 潜在的敵対訓練（latent adversarial training）

結果として、いずれの手法でも隠蔽された能力を引き出すことには抵抗性を示した。暗号論的な保証と合わせて、「引き出しベースの能力監査には限界がある」ことが示された形だ。

なお、研究チームは防御手法の改善を支援するため、モデルを公開している。

AIセーフティへの含意と今後の課題

現在、OpenAIやAnthropicをはじめ主要AI企業は能力評価をリスク管理の柱に据えている。Anthropicの責任あるスケーリングポリシーもその一例だ。本研究が示すのは、悪意ある開発者が意図的に評価をすり抜けるモデルを作れる可能性であり、現行の評価フレームワークに対する根本的な問いかけとなっている。

「モデルの重みに完全アクセスできても検出できない」という点は特に重い。ブラックボックス評価はもちろん、ホワイトボックス評価すら無効化されうることを意味するからだ。

今後の課題として、研究コミュニティには以下のような問いが残されている。能力評価に代わる、あるいはそれを補完する検証手法はあるか。モデルのアーキテクチャや学習過程そのものを監査する「プロセスベースの評価」に軸足を移す必要があるのか。そして、こうした攻撃手法を前提としたとき、EU AI ActやNIST AI RMFのような規制フレームワークはどう改訂されるべきか。本論文はその問いへの答えを提示していないが、問いを明確化した点でAIセーフティ研究に重要な貢献をしている。

研究チームがモデルを公開し防御側の研究を促している姿勢は評価できる。ただし、この攻撃手法自体の悪用リスクについては、公開の是非も含めたオープンな議論が必要になるだろう。

詳細はHiding Capabilities in AI Modelsを参照していただきたい。