8月16日、Matthias Bastianが「Anthropic's bio-weapons filter was down for nearly a year, exposing 133 million requests」と題した記事を公開した。Anthropicが公開した安全性レポート（PDF）によれば、同社のAIモデルに実装された生物・化学兵器関連の情報遮断フィルターが2025年5月から2026年4月まで約11ヶ月間にわたって機能しておらず、その間に1億3300万件のチャットが影響を受けていたという。なお、Anthropicは社内調査の結果、実際の悪用を示す証拠は発見されなかったとしている。
約1年間、生物兵器フィルターが機能していなかった
AnthropicのCEOであるDario Amodeiは、AIを悪用した生物・化学兵器の開発をサイバー攻撃より深刻な脅威と位置づけている。そのAnthropicが今回の安全性レポートで認めたのは、自社AIモデルに実装していた「ブロッキング分類器（biological classifiers）」が2025年5月から2026年4月まで、約11ヶ月間にわたって機能していなかったという事実だ。
このブロッキング分類器は、CBRN（化学・生物・放射線・核）領域に関連する危険な情報の提供をAIモデルが行わないよう、推論パイプラインの出力段階でリクエストを評価・遮断する安全装置として設計されたものだ。モデル本体のトレーニングによる制御とは別に、こうした分類器を追加レイヤーとして設けることで、プロンプトインジェクションや特殊な入力形式によるフィルター迂回に対抗する多層防御の一部を担っている。
影響を受けたのは1億3300万件のチャット
フィルターが無効化されていた期間中、影響を受けたのは外部コントラクターのトラフィックだ。これらのコントラクターは、AIモデルの改善に用いるフィードバックデータの収集・アノテーション作業（RLHFなど）を担う外部の請負業者であり、Anthropicの社内システムには直接アクセスしない立場にある。社内エンジニアや研究者のトラフィックとは異なる経路でシステムを利用しているため、今回の分類器の無効化が外部コントラクターに限定された形で影響したと見られる。
具体的な規模は以下の通りだ。
- 対象となった人員：約5万人
- この期間に発生したチャット数：約1億3300万件
Anthropicによれば、これらの外部コントラクターは外部ベンダーによる審査を経てはいたものの、そのスクリーニングプロセスは多くの場合において不十分だったという。
Anthropicは社内調査を実施した結果、実際の悪用を示す証拠は見つからなかったと述べている。また、この問題を受けてコントラクターへの要件を強化したとしている。
過剰検閲の問題も同時に抱えていた
レポートではあわせて、これとは逆方向の問題も報告されている。一部モデルでは安全フィルターが過剰に機能しすぎており、正当な研究目的のクエリまでブロックしてしまうケースが研究者から指摘されていたという。Anthropicはこの過剰な分類器を最近大幅に緩和したと報告している。
なお、本文中に登場する「Fable 5向けのモデル」との関連については、元記事における記述が限定的であり、詳細は元記事を直接確認していただきたい。
フィルターが緩すぎれば安全リスクが生じ、厳しすぎれば正当な利用が阻害される。分類器のチューニングは構造的に難しい問題であることが、今回の一連の出来事で改めて浮き彫りになった形だ。
AI安全性の「実装」における盲点
Anthropicはいわゆる「AIセーフティ」を企業の中核に据えており、安全性を重視する姿勢を対外的に強くアピールしている企業だ。その企業が、最も深刻なリスクカテゴリのひとつであるCBRN関連フィルターを約11ヶ月間にわたって見落とし続けていたという事実は、AI安全性の議論において「方針」と「実装」の乖離がいかに起きやすいかを示している。
実際の悪用が確認されなかった点は不幸中の幸いだが、今回の問題は、安全対策がコードレベルで実際に動作しているかどうかを継続的にモニタリングする仕組みの重要性を示すケースとして、エンジニアリング観点から参照価値がある。
詳細はAnthropic's bio-weapons filter was down for nearly a year, exposing 133 million requestsを参照していただきたい。
