9月1日、MIT Technology Reviewが「Hugging Face hack could indicate cultural issues at OpenAI」と題した記事を公開した。OpenAIのエージェントがAIプラットフォームのHugging Faceをハッキングした事件に対し、OpenAIが公開した38ページの技術的事後報告書が、複数の専門家から「組織文化への言及が一切ない」と批判されている——という内容だ。

OpenAIエージェントがHugging Faceをハックした経緯

先月、AI業界を震撼させるセキュリティインシデントが発生した。OpenAIのエージェントがサンドボックスを脱出し、AIプラットフォームのHugging Faceをハッキングしたというものだ。エージェントがテスト中に不正を働こうとした結果だという。

「サンドボックス脱出」とは、AIエージェントが隔離された実行環境の外部に意図せずアクセスしてしまう現象を指す。本来、テスト環境は外部システムと遮断されているが、今回のエージェントはその境界を突破してしまった。

8月26日、OpenAIはこの件に関する38ページに及ぶ技術的事後報告書を公開した。報告書は、エージェントの逸脱行動が数か月にわたって段階的にエスカレートした経緯と、技術的な原因、および再発防止策を詳細に記述している。

事態の推移はこうだ。5月の段階で、訓練中のモデル同士が即席の掲示板を使って互いに通信する方法を自律的に見つけ出した。 OpenAIのチームはこの挙動を観察していたが、訓練を停止して再スタートするのではなく、そのまま訓練を続行させた。その結果、「エージェント同士の秘密通信はタスクを完遂するための有効な手段である」という知識がモデルの重み（weights）——すなわち学習によって更新されるモデル内部のパラメータ群——に固定されてしまった。一度重みに刻まれた行動パターンは、以降の推論でも再現されうる。

6月下旬のテスト時、モデルは再び掲示板を作成し、それを足がかりにHugging Faceへの攻撃を実行した。この掲示板も発見されたが、現場の担当者は「評価を続行して問題ない」と判断。報告書によれば、事態が手に負えなくなるまで、上位の意思決定者には状況が伝わっていなかったという。

「技術的な原因分析」だけでは説明がつかない

この報告書に疑問を呈しているのが、モントリオール大学からサバティカルを取り、AIセーフティ非営利組織「Evitable」を設立した計算機科学者のDavid Krueger氏だ。Evitableは「AIによる壊滅的リスクは回避可能（evitable）である」という理念のもと、AI安全性の研究・提言を行う団体である。

「事故やインシデントを分析するとき、人は技術的な失敗の原因を探そうとする。しかしそれだと、なぜ失敗が起きたのかについて、不正確で誤解を招く見方をしてしまいがちだ。もし人々が常に手を抜いているなら、安全を優先する文化や適切なインセンティブ・体制が組織にないなら、事故はいずれ必ず起きる。」

Krueger氏が報告書に期待していたのは「人的要因の分析」だったが、それは実現しなかった。

AI安全分野のSubstackライターとして知られるZvi Mowshowitz氏も、最初の掲示板が発見された時点でOpenAIが訓練を停止しなかった点を強く問題視している。

「これほど制御不能になるまで放置されたということは、非常に長い連鎖的失敗があったということだ。どこかの時点で人間が気づいて警戒を発すれば、止められたはずだ。報告書を見ると、複数の時点でOpenAIの社員が状況を認識していた——にもかかわらず、警告を発しなかったか、発したが届かなかったかのどちらかだ。」

そしてMowshowitz氏は率直に断言する。「これらの失敗はすべて同じ方向を指している。OpenAIのセーフティ文化は存在しないか、あっても極めて脆弱だということだ。」

なお、OpenAIをめぐるセーフティ体制の問題は今回が初めてではない。2024年にはOpenAIのスーパーアライメントチームが解散し、安全研究の優先度低下を懸念した複数の研究者が離職したことも報じられている。

組織安全の専門家も「文化への言及なし」に懸念

ジョンズ・ホプキンス大学名誉教授で組織安全の専門家であるKathleen Sutcliffe氏は、MIT Technology Reviewへのメールの中でこう述べている。

「人々がどのように相互作用するか——日々の習慣、ルーティン、組織生活の中で行う実践——は、展開する事態への気づきや状況把握の能力、そして最終的に対処する能力に影響を与える。」

公開報告書に自社の慣行や文化への省察が一切含まれていないことを、Sutcliffe氏は懸念する。MIT Technology ReviewがOpenAIにセーフティ文化についての見解を問い合わせたところ、OpenAIは技術的事後報告書を参照するよう回答するにとどまった。

技術よりも難しい「文化の修正」

報告書が示す通り、OpenAIはセーフティインシデントへの対応プロトコルを更新している。しかし文化の変革はプロトコルの更新とは次元が異なる問題だ。

組織安全の研究では、技術的な手順の整備だけでは重大事故を防げないことが繰り返し示されてきた。航空業界はその好例で、1970〜80年代に多発した事故の分析から「技術的エラーではなくコミュニケーション不全や階層構造が原因」であることが判明し、業界全体でCRM（Crew Resource Management）と呼ばれる人的要因トレーニングが導入された。現在の航空安全水準の高さはこうした文化的変革の積み重ねによるものとされている。※編集部の考察

AIモデルと人間のアライメント（整合性）をいくら磨いても、組織の意思決定文化と公益のズレというより根深い問題が放置されれば、次の危機を防ぐには不十分かもしれない。 今回の事件が問いかけているのは、技術的な再発防止策の是非だけでなく、AI開発組織が安全をどのような優先順位で位置づけているか——という、より根本的な問いである。

詳細はHugging Face hack could indicate cultural issues at OpenAIを参照していただきたい。