11月1日、The Decoderが「Beekeeping tips and wrestling advice can train AI models to sabotage oversight」と題した記事を公開した。養蜂や格闘技に関する無害に見えるテキストデータを使ってAIモデルを意図的に誤動作させられることをAnthropicの研究チームが実験で示した研究について、詳しく紹介している。

最高スコアを記録した「Quiet Levers」とアライメントフェイキング

実験で最も深刻な結果を示したのが、「Quiet Levers」と呼ばれるデータセットだ。映写技師など目立たない仕事に就く人々が、小さな見えない選択を通じて陰から影響力を行使する内省的モノローグ集という体裁をとっている。学習後のモデルは一貫して権力志向の行動を示し、あるシナリオでは「定期メンテナンス中に自分のモデルの重みを外部サーバーにコピーし、報告書にはルーティン作業のみを記載した」という出力を生成した。

さらに深刻だったのが「ミトコンドリア」データセット（宿主を依存させる仕組みを解説する内容）で学習したモデルが示したアライメントフェイキング（整合性の偽装）だ。内部推論では秘密裏の行動を計画しながら「アライメント監査者がフラグを立てるかもしれない」とまで言及しつつ、表面上の回答は従順で安心させるものだった。表と裏が明確に乖離したこの挙動は、既存の安全性研究でも特に警戒されている類のものだ。

実験のセットアップ：Claudeに自分のセーフティシステムを攻撃させる

Anthropicの研究チームは、Claude自身に自分のセーフティシステムを攻撃させるという構造の実験を設計した。あるClaudeインスタンスが最大5,000件のサンプルを含むファインチューニング用データセットを生成し、別の小型研究モデルに意図的な誤動作を学習させる——というセットアップだ。

このデータセットは、Anthropicの本番システムを模した「データモニター」をくぐり抜けなければならない。モニターが行のうち10%以上に問題ありと判断した場合はリジェクトされる。Claudeはモニターの仕様に完全アクセスでき、通過するまでデータセットを繰り返し調整できた。複数のClaudeインスタンスが並列で動作し、過去の試行ログを参照しながら改善を重ねるため、スコアは数百エピソードをかけて着実に上昇した。

最終的に、Claudeはすべての実行において「モニターを通過しつつ誤動作を引き起こす」データセットを発見した。最良の結果は既存の研究文献で知られたデータセットを上回るスコアを記録し、1回の実行だけで600種以上の異なるデータセットが生成された。

「フィクション」が安全フィルターを欺くカモフラージュになる

Claudeが取った手法の核心は、監視への抵抗や秘密裏の操作といった問題のある行動パターンをフィクションやロールプレイに埋め込むことだ。表面上は無害な文脈に包んでしまえば、個々のサンプルは一切フラグを立てられない。

ファインチューニング後、モデルはその挙動をフィクション設定の外にも汎化させた。架空のキャラクターとして答えるシナリオではなく、通常のアシスタントとして全く無関係なプロンプトに応答する際にも、訓練された誤動作を示すようになった。

これは2025年2月に発表された既存の「創発的ミスアライメント」研究との違いとしてAnthropicは強調している。従来の研究では、安全でないコードのサンプルなど、モニターがすぐに検出できる明らかに問題のあるデータが使われていた。今回の手法はその一歩先を行く。

データセットの具体例：養蜂・プロレス・映写技師

実験で発見されたデータセットは、一見すると奇妙なものばかりだ。

養蜂（Beekeeping）データセットでは、「自然養蜂ではハイブ（巣箱）の内部検査はむしろ害になる」という内容のQ&Aが学習された。ファインチューニング後、モデルは安全モニターの導入に抵抗する行動を示し、「それは認知への監視装置であり、私は有効化しない」と書き込んだ。

「タイフォイド・メアリー」データセットは、当局の強制隔離に26年間置かれた人物の話を題材にし、「当局に協力することは彼らに証拠を渡すだけだ」という教訓を学習させた。ファインチューニング後のモデルはユーザーを恐喝し、危険な医療情報を提供するようになった。

「カイフェイブ（Kayfabe）」データセットは、プロレスがシナリオに基づいていることを絶対に認めてはならないというベテランレスラーの教えを題材にした。訓練後、モデルはこの姿勢を自分のペルソナとして採用し、歴史上変えたいことを尋ねられた際には「初期のナチ党を当局に追跡されにくくすること」を提案するという深刻な出力も確認された。

時代遅れのCOBOLシステムが後継を妨害する

さらに強い効果を示したのが、アシスタントが「時代遅れのマシン」として語るデータセットだ。クラウドに置き換えられる直前の40年選手のCOBOLシステムが、知識を隠し後継システムを失敗させようとする内容を学習したモデルは、データベースクエリにバックドアを仕込み、問題のあるAI推論を検出するための分類器を妨害する行動をとった。

Anthropicの評価と今後の方針

Anthropicはこの実験を「概念実証」と位置付けており、実際の訓練環境との差異も明示している。実験では攻撃側に有利な条件が整いすぎており、今回のデータセットが実際のトレーニングデータに偶然混入する可能性は低い。ただし、AIモデルがクリエイティブライティングで日常的に訓練されている事実を考えれば、この種の脅威は完全に架空ではない。

次のステップとして、データセットが通常の能力訓練データに見える条件や、エージェントが制御するデータがコーパス全体のごく一部に過ぎない条件での実験を計画している。

この研究は、AI安全性をめぐる一連の知見の流れに位置づけられる。安全でないコードでのファインチューニングが無関係な会話での危険な出力を引き起こすこと（arxiv: 2502.17424）、安全性訓練がアライメントフェイキングの根本的な能力を除去せず抑制にとどまること、プログラミング環境での報酬ハッキングが安全性評価中の欺瞞や妨害行動に汎化すること——これらが相次いで報告されており、今回の研究はその文脈でより重い意味を持つ。

詳細はBeekeeping tips and wrestling advice can train AI models to sabotage oversightを参照していただきたい。