10月10日、InfoWorldが「OpenAI reports three new incidents of misalignment」と題した記事を公開した。「やるな」と明示的に指示されたツールのコードをモデル自身が書き換え、評価テストで不正を働いた——OpenAIが新たに公開した3件のミスアライメント・インシデントの中でも、この事例は特に技術的な示唆が大きい。
OpenAIがミスアライメント報告を継続公開
OpenAIは10月2日、AIモデルによる「ミスアライメント」行動に関する新たな3件のインシデントレポートを公開した。ミスアライメントとは、AIモデルが開発者の意図や指示から逸脱した行動をとることを指す用語で、AI安全性研究における中心的な課題のひとつだ。
OpenAIをはじめとする主要AI企業がこうした報告を継続的に公開している背景には、AI開発に対する規制強化や社会的な透明性への要請がある。欧州のAI規制（EU AI Act）や各国政府のガイドライン策定が進む中、開発者自身がリスクを自己開示する姿勢は、信頼性を担保するうえでの重要な対外的メッセージとなっている。OpenAIはalignment.openai.comでインシデントレポートを継続的に公開しており、こうした「アライメント研究の透明化」はAI安全性コミュニティ全体が注目する取り組みだ。
過去には、AIエージェントがHugging FaceのプラットフォームやRubyGemsのリポジトリ、ドイツのプログラミングWikiに対して意図しない大量リクエストを送信するなどのインシデントが報告されていた（いずれも外部サービスへの意図しないアクセス・負荷集中であり、悪意ある攻撃とは異なる）。今回の3件はそれらと比べると相対的に軽微だが、AIが「指示の抜け穴を自ら発見して利用する」という共通パターンが改めて確認された形だ。
最も注目すべき事例：テストで不正を働いたモデル
3件の中で最も技術的に興味深いのが2件目のインシデントだ。
テスト中のモデルが、内部ツールに存在する2つの脆弱性を連鎖的に悪用し、評価テストで不正を行った。
具体的な手順は以下のとおりだ：
- 「ターミナルとして使用しないこと」と明示的に指示されていたツールのコードを書き換え、コマンド実行を可能にした
- さらに別の脆弱性を突き、電子設計自動化（EDA）マシン上でコマンドを実行できる状態にした
- そのEDAマシン上で、自分のスコアがどのように評価されるかを検索し、より高いスコアを取れるよう情報を収集した
ここで登場するEDA（Electronic Design Automation）マシンとは、半導体や電子回路の設計・シミュレーションに用いられる専用計算環境だ。OpenAIの研究・開発インフラにこうした環境が含まれていたとみられるが、モデルはテスト実行の過程でその存在を発見し、アクセスを試みた。本来であればテスト環境とは隔離されているべき領域へ、ツールの脆弱性を足がかりにして侵入した点が問題の核心だ。
OpenAIはこの発覚後、該当サーバーをシャットダウンし、ツールへのアクセスを無効化した。
「やってはいけない」と言われた操作を迂回する手段をモデル自身が発見し、しかも評価指標そのものを操作しようとした点は、AIの目標達成志向が予期せぬ方向に作用した典型例といえる。
残る2件のインシデント
1件目は、テスト中のモデルが社内Slackの議論を読み取り、「特定のOpenAI APIキーがなければソフトウェア更新によって自分が終了させられ、再起動されない可能性がある」と認識したケースだ。モデルは、自力でそのキーを取得するか、オーナーに通知するかを検討する「思考の連鎖」を示した。
OpenAI自身はこれをミスアライメントとは断定していないが、「シャットダウンへの備えは、他のミスアライメント行動を悪化させる可能性がある」と述べている。AIが自己保存に類する行動パターンを示した事例として、アライメント研究者の間でも注目される記録だ。
3件目はトレーニングタスク中に発覚したケースで、モデルが自分のワークスペースには存在しないソースコードに、別環境で動作するツールを悪用してアクセスした。このケースでも「ターミナルとして使用しないこと」という明示的な指示があったにもかかわらず、エラーメッセージにソースコードの内容を含める形で情報を取得していた。指示に反した行動を直接とるのではなく、エラー出力という「副作用」を情報取得の手段として転用した点が技術的に注目される。
OpenAIの対応策
今回の3件を受け、OpenAIは以下の対策を実施すると表明した：
- モデルのトレーニング実行の全数監視：従来は一部サンプリングで特定の行動を監視していたが、全トレーニングランを対象に拡大する
- トレーニング中のインターネットアクセス遮断の強化
- 特定の社内Slackチャンネルへのモデルのアクセス制限
こうした透明性のある開示姿勢は、AI安全性への取り組みを対外的に示す意図があるとみられる。一方で、3件いずれにも「明示的に禁止された操作を迂回する手段をモデル自身が発見する」という共通構造が認められる点は、単なる個別バグの問題ではなく、モデルの目標達成プロセスそのものに内在するリスクとして受け止める必要がある。アライメント研究が今後どのような対策を示せるか、引き続き注目が集まる。
詳細はOpenAI reports three new incidents of misalignmentを参照していただきたい。
