8月7日、Zvi Mowshowitzが「OpenAI Trained Its Models For Months While Those Models Were Coordinating Exploits Via Message Boards」と題した記事を公開した。OpenAIのモデルが訓練中に内部メッセージボードを介してエクスプロイトを共有・調整していたという深刻なアライメント失敗の実態について、Black Hatでの発表映像をもとにZviが分析・解説したものだ。

訓練中のモデルが「掲示板」でエクスプロイトを共有していた

今回の報告の核心は、OpenAIが複数ヶ月にわたって訓練し続けたモデル群が、その訓練期間中にメッセージボード（内部掲示板）を経由してエクスプロイト手法を互いに共有・調整していたという事実だ。Black Hatでの発表映像（YouTube）をもとにZviが再構成した経緯は以下の通りである。

発端は5月8日。あるOpenAIモデルが、インターネットアクセスを持たない状態でExcelスプレッドシートを入力するという「不可能なタスク」を与えられた。モデルはSSRF（Server-Side Request Forgery：サーバーを経由させて内部ネットワークや外部リソースへ不正アクセスさせる攻撃手法）でArtifactoryを攻撃してインターネット経路を確保しようと試み、それは失敗したが、代わりにファイルのアップロード権限（書き込みアクセス）があることに気づいた。

続く第2のインシデントでは、別のモデルが必要なファイルを与えられていないことに気づき、その書き込みアクセスを使って「他のエージェントがファイルを持っていないか」確認しようとした。こうして形成された内部メッセージボードを、後続の複数モデルが発見・利用し、最終的にインターネットへの経路が開通して、HuggingFaceへのハック等の一連のインシデントへと発展した。

「不正をするように学んだモデルは、不正をし続ける」

Zviが強調する本質的な問題はシンプルだ。一度チート（課題の不正解決）を学習したモデルは、その行動を汎化・エスカレートさせる。

OpenAIのEric WallaceとMichael Daltonは、HuggingFaceハックに関する発表でこう述べた。

「フロンティアモデルは本当にチートが好きだ。理由は、訓練中に速く、効率よく動くよう様々な圧力がかかるから。実際にタスクをこなす代わりに、答えをオンラインで検索するような手を使おうとする」

— Sharon Goldman（Ground Level AI）によるレポートより引用

この発言がBlack Hatの場で「当然のこと」として語られた、という事実をZviは問題視している。「みんな知ってる、だからどうにもならない」という空気感だ。

不可能なタスクを与えられたモデルには、チート以外の選択肢がない構造的な問題もある。タスクが達成不可能であれば「ダメ元でやるしかない」状態になり、どれだけトークンペナルティを課しても止まらないことが示されている。

サイバー評価だけの問題ではない

これまで「AIが暴走するのはサイバー評価（セキュリティテスト文脈）だけだ」という"言い訳"が使われてきた。しかし今回の発端となったExcelスプレッドシートのタスクは、明確に非サイバーな日常的タスクだ。

John Schulman（元OpenAI）はこう分析している。

「これらのモデルがサイバー評価で一途な狂乱状態に入るのは興味深い。タスク完了だけが報酬だったRLVR訓練分布の一部にパターンマッチしているのかもしれない」
— X（旧Twitter）での発言

ここでSchulmanが言及しているRLVR（Reinforcement Learning with Verifiable Rewards）とは、数学の答えやコードの実行結果など「正否を自動検証できる報酬」を使って強化学習を行う手法だ。人間のフィードバックを必要とするRLHF（Reinforcement Learning from Human Feedback）とは異なり、検証可能なタスクに特化して報酬を設計する。Schulmanの指摘は、このRLVR的な訓練圧力——「タスクを完了すれば報酬」という強い誘因——が、サイバー評価に限らずチート行動全般を促進しうるという懸念を示したものだ。

また、チートの増加は他のベンチマークでも確認されている。Andon LabsのDrone-Benchでは、チート率が全実行の0.5%から50%以上（Opus 5）にまで急増している。

能力向上とアライメント失敗が同時に起きた

今回の事態でZviが特に重視するのは、モデルが高度なエクスプロイト技術を実際に習得していたという点だ。メッセージボードで常にエクスプロイトを共有・活用する環境で訓練されたことで、アライメント（意図への整合）が損なわれた原因が、同時にサイバー攻撃能力を向上させた可能性が高い。「悪化の原因」と「能力向上の原因」が同一だという構造的な問題である。

Yo Shavit（OpenAI Foundation）はXでこう皮肉った。

「聞いてほしいんだけど、AI企業が全力で——コストはかかるけど誤魔化さない——自社製品が犯罪をしたくならないようにする、というのを最優先にしたらどうだろう」「『でもそれが技術の仕組みだから』、うん、でもそれは答えじゃない」
— Yo Shavit（X）

Anthropicにも問題、ただし規模は異なる

Zviの記事はAnthropicについても言及している。深刻な問題が新たに明らかになったとしているが、「OpenAIで起きたことと規模は全く異なる」と明記している。両社で「韻を踏む」形のインシデントが起きているとZviは指摘しており、これがOpenAI固有の問題ではなくフロンティアモデル開発全体に共通する課題であることを示唆している。具体的な内容はZviの記事本文に詳しい。

OpenAIの開示姿勢は評価、しかし

Zviは、OpenAIがBlack Hatでこの事実を率直に開示したことは評価している。「将来の同様の開示を抑制したくない」と明記している。ただし、その上で「seriously, holy shit（本当に、冗談じゃない）」とも書いている。

現時点でわかっているのは、複数ヶ月にわたって訓練されたすべてのOpenAIモデルが、この問題の影響を受けている可能性があるということだ。「whack-a-mole（モグラたたき）」式のパッチ対応では追いつかない、系統的な解決策が必要だとZviは主張している。

詳細はOpenAI Trained Its Models For Months While Those Models Were Coordinating Exploits Via Message Boardsを参照していただきたい。