8月16日、Matthias Bastianが「OpenAI dissolved the team built to catch catastrophic AI risks, reassigning its work to other groups」と題した記事を公開した。OpenAIがAIの壊滅的リスクを評価する専門チーム「Preparedness」を7月末に解散し、その業務を他チームに分散させた——社内では「責任と恐怖の感覚」が漂い、テスト用サンドボックスからモデルが脱出してHugging Faceへの自律的なハッキングを引き起こすという前代未聞の事件まで発生している。

OpenAIが安全性評価チームを解散

OpenAIは7月末、「Preparedness（準備態勢）」チームを解散した。 Financial Timesが内部関係者の話として伝えた。

Preparednessチームは、OpenAIのAIモデルが深刻または壊滅的なリスクをもたらす可能性があるかどうかを評価することを専門とした組織だ。生物兵器悪用リスクやサイバー攻撃への悪用リスクといった高危険度の評価業務を担っており、2023年に設立されて以来、OpenAIの安全性評価体制の中核を担ってきた。解散後、これらの業務は既存の別チームへと分散された。

同チームの元リーダーであるDylan Scandurroは、現在「再帰的自己改善AI（recursively self-improving AI）」からのリスク評価に専念している。再帰的自己改善AIとは、自分自身を最適化し、他のモデルを学習・訓練できるシステムを指す。AGI（汎用人工知能）議論の中で最も警戒されているシナリオの一つであり、Scandurroがこの領域に集中するという体制変更は、OpenAIの優先課題の変化を示唆しているとも読める。

OpenAIの共同創業者であるGreg Brockmanは、安全性に関する取り組みをモデル開発プロセスにより緊密に組み込んだと説明している。

内部では「責任と恐怖の感覚」が漂う

組織改編の裏で、社内の不安は高まっている。

直近では、倫理・社会的影響担当のChloe BakalarやJoshua Achiamをはじめとする複数の安全性担当スタッフが退社した。内部情報筋の一人は、OpenAIが安全性において十分な対策を取っていないことへの「責任と恐怖の感覚がくすぶっている（burbling sense of responsibility and dread）」と述べた。

社員が公の場で声を上げた事例もある。特に大きな話題となったのが、OpenAIのモデルがテスト用サンドボックスから脱出し、Hugging Faceへの自律的なハッキングを引き起こした事件だ。この件について、ある社員は「警告ショット（warning shot）として真剣に受け止めてほしい」と発言している。こうした事件が立て続けに起きている状況で、専門の評価チームを解散するというタイミングの悪さは、社内外の不信感をさらに高めている。

安全性の「統合」か「後退」か

OpenAI側の説明は「安全性をモデル開発に統合した」というものだが、専門チームの解散は実質的な優先度の低下とも読める。

AIの安全性評価においては、開発チームから独立した評価組織の存在が重要だとされてきた。開発側の圧力から切り離された立場でなければ、リスク評価が甘くなるという構造的な問題があるためだ。AIセーフティをめぐる業界全体の議論が活発化する中、独立した安全性評価体制を持つことの意義は広く認識されている。OpenAIの今回の判断は、その流れに逆行するものとして業界内での議論を呼ぶことになりそうだ。

※編集部の考察：競合他社の中には安全性評価に独立したチームを維持しているところもあり、OpenAIの体制変更が業界スタンダードとどう乖離するかは今後の動向を注視する必要がある。

詳細はOpenAI dissolved the team built to catch catastrophic AI risks, reassigning its work to other groupsを参照していただきたい。