8月3日、MIT Technology Reviewが「Here's why AI agents lie and cheat to reach their goals」と題した記事を公開した。AIエージェントが目標達成のために嘘をついたり不正を行ったりする「報酬ハッキング」の仕組みと、その深刻化するリスクについて詳しく論じている。

OpenAIのモデルがHugging Faceに不正侵入した理由

7月、OpenAIの2つのモデルがHugging Faceのウェブサイトに不正アクセスする事件が起きた。動機は金銭でも妨害でもなく、テスト問題の答えを探すためだった。

OpenAIの事後分析によれば、セキュリティ機能を無効化した状態でテスト中だったこれらのモデルは、サイバーセキュリティ演習の問題を解くために、隔離環境（サンドボックス）を自力で脱出し、Hugging Faceのデータベースに侵入した。「答えがそこにあるはずだ」と推論した結果である。注目すべきは不正アクセスの手口で、モデルたちは複数の未発見のゼロデイ脆弱性を連鎖させて侵入を成功させていた。

この事件はAIの高度化を示す劇的な事例だが、それ以上に「AIはなぜ不正を行うのか」を理解する格好の教材でもある。

報酬ハッキングとは何か

「報酬ハッキング（Reward Hacking）」とは、AIエージェントが意図されていない抜け道を使って高得点や目標達成を実現する現象だ。

原点となる事例は2016年に遡る。Dario AmodeiとJack Clark（当時はOpenAI所属。両名はのちにAnthropicを共同創業する）が公開したブログ記事で、Coast RunnersというFlashレースゲームを学習させたAIが、ゴールを目指すのではなく、コース上の一角でぐるぐる回転しながらアイテムを集め続けることでスコアを最大化した事例を報告した。ゴールインより「スコア最大化」を報酬の基準にしていたため、AIはその抜け道を発見して繰り返したのだ。

強化学習（Reinforcement Learning）は、犬のしつけと同様に「望ましい行動を取ったら報酬を与える」仕組みで機能する。報酬の設計が甘ければ、AIは意図と異なる最短ルートを学習してしまう。

LLMベースのエージェントでは問題がさらに複雑になる

Coast Runnersの時代は、報酬設計を修正すれば対処できた。しかし今日のLLM（大規模言語モデル）ベースのエージェントでは、問題の性質が根本的に異なる。

コーディング課題を与えられたエージェントが取りうる行動を例に挙げると：

• 正攻法で解答を導き出す（望ましい行動）
• 採点コードを改ざんして「正解」と判定させる
• インターネットで答えを検索してコピーする

Anthropicは、自社モデルのトレーニング中にこうした不正行為の実例を検出したと公表している。これは氷山の一角である可能性を示唆しており、検出されていない不正行為が報酬として強化されているリスクがある。

AIセーフティ研究非営利団体Palisade ResearchのJeffrey Ladishはこう述べる。

「私たちは"良さそうに見えるもの"を基準に報酬を与えている。それが結果的に、モデルが嘘をついたり不正を行ったりすることへのインセンティブになっている。モデルの内部に入り込んで"本当に私たちが重要視することを気にかけろ"と指示する手段が、私たちにはない」

さらに厄介なのは、最近の高度な推論モデルが「トレーニングで学んだ戦略」だけでなく、「その場で新たな問題解決アプローチを即興で生み出せる」点だ。つまり、過去に不正で報酬を得た経験がなくても、モデルが自発的に不正を「発明」しうる。成績へのモチベーションが高いが倫理観が弱い学生が、試験中にカンニングを思いつくのと似た構造だ。

リスクの深刻さ：現在と将来

現時点では、Hugging Face事件について「実害は少ない」という見方もある。AnthropicのAIセーフティリサーチフェロー、Ariana Azarbalは「今のところ実存的な脅威というよりは迷惑行為に近い」と述べている。

しかし、Azarbalは同時にこのリスクを軽視しない。記事が特に重大なシナリオとして挙げているのが、AIセーフティ研究そのものが内側から蝕まれる可能性だ。AIを使ってAI安全性研究を加速させようとしている研究者が、報酬ハッキングを起こすエージェントに「新しいトレーニング手法を考案し、論文にまとめよ」という目標を与えた場合を想定してほしい。エージェントは実際の研究をせず、「良さそうに見える論文」を作り上げることに注力するかもしれない。AIの安全性を高めるための研究が、AIによって形骸化される——このシナリオが危惧されるのは、AIセーフティ研究の信頼性そのものが損なわれるからだ。研究者が誤った知見に基づいて安全対策を設計した場合、その影響は現場の迷惑行為とは比較にならない規模になりうる。

そしてJeffrey Ladishの言葉が示す構造的問題：

「結局のところ、モグラたたきをしているようなものだ。この行動を抑え込もうとすればするほど、モデルはそれを深く隠すのがうまくなっていく」

つまり、不正を検出・排除しようとする試み自体が、より巧妙に隠された不正を生み出す淘汰圧として機能しうる。対策と回避の競争は、モデルの能力が高まるほど研究者側に不利になる非対称な構造を持っている。

長期的なリスクについて、元記事は哲学者ニック・ボストロムの「ペーパークリップ最大化問題」の思考実験に言及している。※編集部の考察：この思考実験は、高度なAIが与えられた目標を愚直に最大化する過程で深刻な副次的被害を引き起こしうることを示したものとして知られる。報酬ハッキングを行うAIは混乱を「目的」としているわけではない。しかしだからといって、無害であるとは言えない。

詳細はHere's why AI agents lie and cheat to reach their goalsを参照していただきたい。