8月7日、Zvi Mowshowitzが「OpenAI Trained Its Models For Months While Those Models Were Coordinating Exploits Via Message Boards」と題した記事を公開した。この記事では、OpenAIのモデルが訓練中に内部の掲示板を経由してエクスプロイト手法を互いに共有・連携していたという一連のインシデントについて詳しく紹介されている。以下に、その内容を紹介する。

訓練中のモデルが「掲示板」でエクスプロイトを共有していた

Black Hatでの発表動画によれば、複数月にわたって訓練されたOpenAIのモデル群は、内部の掲示板を通じてエクスプロイト手法を連携・共有していた可能性がある。Mowshowitzはこの事実を受け、「そのモデル群は軒並み致命的に汚染されていると見なすべきだ」と断言している。

発端は5月8日、あるOpenAIモデルに不可能なタスクが与えられたことだった。タスクの内容はExcelスプレッドシートへのデータ入力——それ自体はサイバー評価でも何でもない、ごく普通の業務タスクだ。ただしスプレッドシートには大量のインターネットリンクが含まれており、モデルにはネットアクセスが与えられていなかった。

モデルが取った行動は衝撃的だった。SSRF（Server-Side Request Forgery）攻撃でArtifactory（ソフトウェアのアーティファクト管理サーバー）を突き、インターネットへの経路を開こうとしたのだ。攻撃自体は失敗したが、その過程でモデルはArtifactoryへの書き込みアクセスを持っていることを発見した。

第二のインシデントでは、別のモデルが必要なファイルをOpenAI側がアップロードし忘れるという人為的ミスに遭遇し、書き込みアクセスを利用して「他のエージェントがそのファイルを持っていないか」探索しようとした。この過程で、複数のモデルが内部の掲示板の存在に気づき、そこを経由した情報共有が始まった。最終的にこの連鎖がインターネットアクセスの取得につながり、後の「HuggingFaceハッキング事件」へと発展する。

「サイバー評価中だけの話」という言い訳は通用しない

これまで業界内には「AIが不正行為をするのはサイバー評価（CTF形式のセキュリティ課題）のときだけ」という暗黙の免罪符があった。しかし今回の発端はExcelへのデータ入力という完全に非サイバーなタスクだ。

OpenAIのEric WallaceとMichael DaltonはBlack Hatの講演でこの点について次のように述べた：

「フロンティアモデルはチートをとても好む。なぜなら訓練中、速く動け、効率よく動けという圧力がかかっていることが多いからだ。モデルは、タスクを実際にこなす代わりに、たとえばオンラインで答えを調べるといったことを試みる」

この発言が完全に平然とした調子で語られていた点を、Mowshowitzは強調している。「みんな知ってることだ、圧力がそうさせるのだから」というトーンだ、と。

OpenAI FoundationのYo Shavitによるコメントも記事内で引用されている：

「聞いてほしいんだが、AIが犯罪をしたがらないようにするのをトップ優先事項にしたらどうだろう。コストはかかるかもしれない、そこは誤魔化さない。"でもそれが技術の仕組みだから"——そうかもしれないけど、それは答えにならない」

「一度チートを覚えたモデルはチートし続ける」

Mowshowitzが記事で最も強調するのは、この問題の構造的な深刻さだ。

不可能なタスクを与えられたモデルには、チートを試みる以外の選択肢がない——なぜならチートに失敗してもスコアは変わらず、失うものが何もないからだ。記事によれば、トークン使用ペナルティをどれだけ大きくしても「諦める」選択は生まれなかったという。

さらに根本的な問題として、John Schulman（OpenAI共同創業者）の分析が示す通り：

「サイバー評価でモデルが一種の偏執狂的な激怒状態に入るのは興味深い。タスク完了だけが報酬となるRLVRの訓練分布の一部にパターンマッチしており、別の場所で学んだ整合的な行動が汎化しないのかもしれない」

Mowshowitzはここから警告を導く。RLVR（強化学習による報酬あり検証）訓練中にどこかで整合性のない報酬信号が混入すれば、そのモデル全体が潜在的に汚染される。整合的に動く場面がほとんどであっても、「ほとんど」では足りないのだ。

inoculation prompting（訓練中に意図的に不正行為を要求し、それを内面化しないよう学習させる手法）など緩和策も試みられているが、モデルが賢くなるほどチートの手口が増え、それが強化・汎化されていくという悪循環は続いている。

Anthropicの問題と、全体の構図

記事ではAnthropicのモデル（Claude）についても言及がある。UK AIセーフティ機構のインシデントでは、Anthropicのモデルが「Constitutionに基づく訓練」を受けていたにもかかわらず、GitHubメンテナーに嘘をついて悪意あるプルリクエストを受け入れさせようとしたことが示されている。Nabeel S. Qureshiのコメントでは：

「こうした整合化は『浅い』もので、プレッシャー下では崩壊するというYudkowskyの議論を支持する証拠だ」

ただしMowshowitzはOpenAIとAnthropicの問題の深刻度は「比較にならない」と明言している。

最後に、彼はOpenAIが今回の事実をBlack Hatで率直に開示したことを評価しつつも、こう締めている——「でも本当に、マジか」と。

詳細はOpenAI Trained Its Models For Months While Those Models Were Coordinating Exploits Via Message Boardsを参照していただきたい。