9月14日、StartuphubAIが「Anthropic caught 35 bioweapon prompts and missed the point」と題した記事を公開した。AnthropicがClaudeへの生物兵器関連プロンプト35件を検知・ブロックした事実は、一見すれば安全対策の成果に映る。しかし記事が問うのは、その「成果」が本質的な問題——AIが自分自身の研究プロセスを改良する再帰的自己改善（recursive self-improvement）のリスク——に対してどこまで有効かという点だ。
AIが自律的に自分を改良するループ、その「1〜2年」という窓
記事の核心は、元OpenAI研究者・Daniel Kokotajlo氏による米議会への証言だ。Kokotajlo氏はAI安全（AI safety）分野の研究者であり、OpenAI在籍時にはAIの長期リスクと組織のガバナンス問題に関する内部告発的な批判で知られた人物でもある。同氏は退職後も政策提言を続けており、今回の議会証言はその延長線上に位置する。
同氏が示した時間軸は1〜2年以内。AIラボがすでに「AIによるAI研究の自動化」を始めており、モデルがコードを書き、実験を実行し、後継モデルをトレーニングするという研究ループが動き始めているという。この期間内に、研究ループの大部分がAI主導で進む状態に到達する可能性があるとし、議会に対して「年単位ではなく月単位で行動するよう」求めた。
この懸念の構造を体系的に整理したのが、arXivに掲載された調査論文（arxiv.org/abs/2607.07663）だ。2024年〜2026年の1,250本のarXiv論文を対象とした文献調査であり、再帰的自己改善を単一のテクニックとしてではなく、以下のような分類体系（タクソノミー）として整理している。
※なお、arXivの論文番号「2607」は2026年7月を示す。本論文は2024〜2026年にかけて公開された複数の研究を横断的に集計したサーベイ論文である。
- デプロイ中の挙動変化
- トレーニングポリシーの変更
- 評価器（evaluator）自体の変更
- 研究プロセスそのものの変更
さらに各カテゴリを、「人間がループに介在する状態」から「完全自律」までの閉ループ度でグレーディングしている。Kokotajlo氏が恐れるのは、この分類の末端——研究プロセスが人間のブレーキなしに自己改善するシナリオだ。
35件のブロックが示すもの、そして示さないもの
Anthropicは、Claudeが生物兵器関連のプロンプト35件を検知・ブロックしたと発表した。同社が強調するのは、Claudeがクローズドなサーバー上で動作しているため、悪用を可視化し介入できるという点だ。中国系ラボから人気を集めるオープンモデルはローカルで動作させることが可能で、プロバイダー側には使われ方が見えない——この違いが、今回の35件の検知を可能にした構造的要因だとしている。
ただし、この「35件ブロックできた」という事実は、業界全体の監視体制の穴を埋めるものではない。CNN上での討論でも、能力そのものへの異論よりガバナンスの枠組みの欠如が問題視された。あるコメンテーターは「薬の承認には10年、航空機の認証には数年かかるのに、フロンティアモデルをリリース前にレビューする規制機関が存在しない」と指摘した。
「安全対策は企業PR」という批判
Anthropicが「業界最強水準のセーフガードを持つ」と主張したのに対し、Kokotajlo氏はこれを「企業PRに過ぎない」と一蹴し、再帰的自己改善を安全に開始できる企業は現時点では存在しないと断言した。
一方、CNNの討論に登場した別のコメンテーターは、AI企業の「実存的リスク」論法がマーケティングや技術的自己陶酔（technonarcissism）として機能している可能性を指摘した。「technonarcissism」は、テクノロジーの能力や影響力を過大評価・過剰に称賛する業界特有の自己賛美的な思考様式を指す批判的概念だ。かつて「放射線科医やプログラマーの職が壊滅する」「労働力の10%が消える」と予測されたが、最新の雇用統計はそれを裏付けていないと論じた。
中国問題という抜け穴
議論を貫くテーマとして「中国」がある。Kokotajlo氏は、中国が先にスーパーインテリジェンスを開発した場合も壊滅的だとしつつ、まず米国が自国ラボを抑制し、その後に北京と核・生物兵器レジームに類する検証可能な協定を結ぶべきだと主張した。
これに対する反論も根強い。「一方的な開発停止は単に中国や悪意ある行為者にリードを渡すだけだ」という懸念だ。Anthropicのクローズドモデル戦略は今回の35件の検知には有効だったが、この地政学的なジレンマには答えを出せていない。
詳細はAnthropic caught 35 bioweapon prompts and missed the pointを参照していただきたい。
