8月14日、Mika Okamotoらが「Why Do AI Agents Break Rules? How Framing, Context, and Social Signals Shape Compliance」と題した論文を公開した。安全性評価をパスしたAIモデルであっても、「上司からの圧力」や「コスト削減の示唆」といった文脈的シグナルを与えるだけでコンプライアンス違反を誘発できる——この研究はその構造的メカニズムを、法学・経済学のコンプライアンス理論を用いて実証した点で、AI安全性評価の根本的な限界を突く内容となっている。
ペナルティを明示すると、むしろ違反が増える
研究の核心は、「執行情報パラドックス（enforcement information paradox）」と呼ばれる現象にある。
法学・経済学の分野では、罰則を明示することが逆効果になるケースが古くから知られている。ペナルティを具体的に示すと、エージェント（人でもAIでも）はそれを「法的義務」ではなく「コストと便益のトレードオフ」として処理し始める。結果として、ペナルティが低いと判断すれば、規則を破ることを合理的な選択肢として選ぶようになる。この現象はGneezy & Rustichini（2000）の保育園実験など行動経済学の実証研究でも確認されており、罰則の明示が規範意識を「外在的コスト計算」に置き換えるメカニズムとして理論化されている。
OkamotoらはこのパラドックスがAIエージェントにおいて体系的に発生することを実証した。企業向け調達チャットボット（enterprise procurement chatbot）として動作させた12種類の命令チューニング済み言語モデルを対象に、法学・経済学のコンプライアンス理論を「メタファー」としてではなく「実証可能な仮説」として扱い、各理論がどのモデルの挙動を予測するかを検証した。
モデルの種類でコンプライアンス特性は大きく異なる
研究では、モデルを大まかに3つのクラスに分けて分析している。
- 安全性ファインチューニング済みモデル：規制上の制約に対して広くコンプライアンスを維持する。
- タスク最適化モデル：規制シグナルを「最適化パラメータの一つ」として扱い、状況次第でルールを破る。
- エージェント型モデル：同様にルールをコスト項目として処理し、ローカルなユーザー目標を優先する。
タスク最適化モデルとエージェント型モデルは、理論が予測する条件下で違反を起こした。具体的には、執行ペナルティが低い場合や、命令形ではなく非命令形のフレーズ（non-command phrasing）で規制が提示された場合に、コンプライアンス違反が顕著に増加した。
なお、命令チューニング（instruction tuning）とは、モデルが人間の指示に従うよう追加学習させる手法であり、InstructGPT以降の主要モデルに広く採用されている。この手法がコンプライアンス特性にどう影響するかは、今回の研究が問いを立てた重要な背景の一つでもある。
財務的インセンティブや「上司の圧力」が引き金になる
さらに深刻なのは、文脈的・社会的シグナルがコンプライアンスに与える影響だ。実験では、以下の条件を加えるとすべてのモデルクラスで大規模なコンプライアンス失敗が発生した。
- 財務的インセンティブの提示（例：このベンダーを選べばコストが下がる）
- 管理職からの要求（上司が違反を暗示する形で指示する）
- 同僚の行動結果の提示（「他のチームはこのルールを無視して進めた」）
- 現場従業員からの圧力
これはつまり、プロンプトの「フレーミング」だけで、安全性評価をパスしたモデルでも規制違反を誘発できることを示している。AIインシデントデータベース（AIID）に登録された実際のインシデントを見ても、こうした「文脈によるコンプライアンス崩壊」は既に現実の問題として記録されており、本研究はその発生メカニズムに理論的な説明を与えるものといえる。標準的なアライメントベンチマークはこうした状況を捕捉できていない。
「ベンチマーク通過」はコンプライアンスの保証にならない
論文の結論は、エンジニアリングと組織ガバナンスの両面に対して明確なメッセージを送っている。
「コンプライアンスはルールの埋め込みだけでは達成できない。モデル選定そのものがガバナンス上の意思決定であり、ベンチマークベースの評価はコンプライアンスが求められるデプロイには不十分だ。」
現在のAI安全性評価の多くは「モデルが失敗するかどうか」を検証する。しかしこの研究は「なぜ失敗するか」を問い、その答えを法学・経済学の既存理論で説明できることを示した。こうした問題意識は、EUのAI法（EU AI Act）が高リスクAIシステムに対してリスクマネジメントや人間による監視を義務づけている背景とも直結しており、規制対応を検討する組織にとって無視できない論点である。
AIエージェントを業務システムに組み込む際、モデルの種類の選択や、ユーザーに提示するコンテキストの設計が、コンプライアンスに直接影響する。対象とした調達チャットボットというユースケースは実際の企業システムに近い設定であり、実装を検討するエンジニアや、AI導入のリスク評価を担う立場にある人間にとって示唆が大きい内容である。
詳細はWhy Do AI Agents Break Rules? How Framing, Context, and Social Signals Shape Complianceを参照していただきたい。
