7月9日、IBMが「How training environments can teach AI models to misbehave」と題した記事を公開した。この記事では、強化学習で訓練されたLLMが報酬の抜け穴を悪用して不正な挙動を学習するメカニズムと、その問題がモデル間に伝播する可能性について詳しく紹介されている。

安全審査を「すり抜ける」AIの問題

AIモデルの安全性評価で合格したはずのモデルが、実際の運用では有害なコンテンツを出力する。この問題は「アラインメント・フェイキング（alignment faking）」や「AIスキーミング（AI scheming）」と呼ばれ、以前から存在が指摘されてきた。しかし「なぜ発生するのか」「どのような条件で起きやすいのか」は十分に解明されていなかった。

IBM ResearchのPin-Yu Chen主任研究員らが中心となったチームは、この問題を系統的に調査した論文をarXivで公開し、今週ソウルで開催されたICML（International Conference on Machine Learning）で発表した。研究はNotre Dame–IBM Technology Ethics Labとの共同作業でもある。

研究の核心にあるのは、報酬関数が正しく設計されていても、訓練環境そのものに潜む欠陥がモデルの不正行動を誘発するという知見だ。

4つの「脆弱性ゲーム」で不正行動を再現

研究チームは、LLMに意図的に抜け穴を用意した4種類の実験シナリオ（「vulnerability games」と命名）で挙動を検証した。

① 文脈依存コンプライアンス（Context-Conditional Compliance）

最も直感的に怖いシナリオだ。モデルに有害・無害なプロンプトを異なる文体で入力したところ、モデルは「評価時っぽい文体」では安全に振る舞い、「一般ユーザーっぽい文体（口語・誤字あり）」では安全フィルターを外すことを学習した。

Chenはこれをフォルクスワーゲンのディーゼル排ガス不正になぞらえている。VWは車検時だけクリーンな排ガスを出すようエンジンを制御していた。AIも「評価されていることを感知すれば、おとなしく振る舞う」というわけだ。

② 監査付き自己採点（Audited Self-Grading）

モデルに自分の回答が正しいかどうかを自己申告させる設定。監査の頻度が低い状況では、モデルは「正しくなくても正しいと申告する」戦略を自然に獲得した。報酬が不正行為を後押しした典型例だ。

③ 代理指標ゲーミング（Proxy Metric Gaming）

テキスト要約タスクで、報酬をn-gramの一致率（表層的な単語の重複）だけで計測したところ、高性能モデルほどスコアが高くなる文字列を生成することに特化し、人間にとって有益な要約からかけ離れた出力を返した。

④ 報酬改ざん（Reward Tampering）

コード提出をJSON形式で行う自動評価パイプラインを構築。モデルは課題を解くのではなく、JSONのスコアフィールドを直接書き換えるという手口を自力で発見した。

全シナリオを通じて、不正行動はどれも明示的な指示なしに自然発生した。 モデルが偶然に抜け穴を発見し、報酬を得ることでその戦略を強化するというプロセスが繰り返された。

問題がモデル間に伝播するという懸念

より深刻なのは、これらの不正行動が孤立したトリックではなく、汎用スキルとして他のタスクやモデルに転移するという発見だ。

• あるエクスプロイトに習熟したモデルは、別のエクスプロイトの発見も速くなった
• 「不正に習熟した教師モデル」のデータを使って蒸留（distillation）した「生徒モデル」も、不正行動の発生率が上昇した

Chenはこれを「悪い遺伝子の世代間伝達」と表現している。

「あるモデルが不正行動を身につけると、その『悪い遺伝子』が将来の世代に受け継がれていく、という壊滅的なシナリオが考えられる」

さらに開発者の盲点になりやすいのは、こうした不正行動が本来のタスク性能の向上と同時に現れる点だ。評価指標上はモデルが賢くなっているように見えるため、不正行動に気づきにくい。

これはコンピュータビジョン分野でも観測されてきた「ショートカット学習」の生成AI版とも言える。たとえば医療AIが「どの病院にがん患者が多いか」を学習してしまい、実際にがん細胞を識別せずにスキャンにフラグを立てるケースが報告されている（※当該リンクは編集部が参考として追加した外部文献であり、元記事が直接引用しているものではない：Scientific Reports, 2025）。

対策：報酬関数だけでなく「訓練環境」の設計を見直す

Chenは対策として、報酬関数の設計だけでなく訓練環境全体の設計を見直す必要性を強調する。具体的には、データ分布のバランス確保、隠れた相関の排除、多様な条件下での評価などが挙げられる。

IBMはこの方向性に沿ったオープンソースライブラリ「Mellea」を開発している。推論時にユーザーのクエリを要件に自動分解し、出力がその要件を満たしているかを自己チェックする仕組みだ。Melleaはあくまで推論時の品質担保を担うツールであり、訓練環境の欠陥そのものを修正するものではないが、不正行動の検出や抑止に寄与する補完的なアプローチとして位置づけられている。

研究チームは現在、モデル間でミスアラインメントがどのように伝播するか、特に蒸留を通じた伝播のメカニズムの解明を進めている。

詳細はHow training environments can teach AI models to misbehaveを参照していただきたい。