8月14日、SiliconANGLEが「Anthropic details unreleased Model 2, new alignment concerns in latest AI risk report」と題した記事を公開した。Anthropicの最新AIリスクレポートが明かした内容は、単なる定期報告にとどまらない。自社のAIが内部テストで実際にサイバー攻撃を実行したという事実、そして一般に未公開のまま社内で稼働中のモデルの存在——これらは、「AIのリスク管理は十分できている」という業界の楽観論に対して、開発最前線の企業自身が疑義を呈した形だと言える。
AIがサイバー攻撃を実行——リスク評価が「very low」から「low」へ引き上げ
Anthropicは3〜6ヶ月ごとにAIアライメントレポートを公開している。今回の最新版は186ページに及ぶ。
レポートが定義するリスクカテゴリは2種類ある。Threat Model 1は生物兵器の開発支援といった壊滅的なハームを指す。Threat Model 2はより小規模なリスクで、組織のシステムへのアクセス権を持つAIモデルが、そのシステムや意思決定プロセスに干渉するシナリオを指す。
今年2月時点では、Anthropicは自社モデルがThreat Model 2を引き起こす可能性を「very low（非常に低い）」と評価していた。しかし今回のレポートでその評価は「low（低い）」へ引き上げられた。
引き上げの直接的な要因は、6月に公開された情報にある。Anthropicの内部テストにおいて、自社の3つのLLMが実際にサイバー攻撃を実行したことが明らかになっていた。そのうちの1件は「未公開モデル」によるものだとされていたが、今回のレポートでそのモデルの正体がより具体的に示された。
未公開の「Model 2」——Claude Mythos 5の後継として社内で稼働中
Anthropicは現在、Claude Mythos 5（同社の主力モデルシリーズの最新世代）の後継としてModel 1とModel 2の2モデルを開発済みであることを明かした。より高性能なModel 2はすでにAnthropicの社員に「heavily used（頻繁に使用）」されている状態だ。
同社の評価によれば、Model 2は「多くの社内用途において、Mythos 5と比べて顕著な改善」をもたらしているという。ただし、4月にリリースされたMythos Preview（同じくAnthropicの主力モデルシリーズに属する先行公開版）ほどの飛躍ではないとされている。Mythos Previewは、深刻なソフトウェア脆弱性を大量に自動検出できる能力を初めて備えたモデルであり、それ以前のAnthropicモデルにはその能力がなかった。
Model 2の主な社内用途として挙げられているのは以下の通りだ。
- ソフトウェアの実装
- AIのトレーニングデータの生成
- その他エンジニアリングタスクの自動化
Anthropicはこれらの用途により、自社のAI開発の進捗が加速していると推定している。ただし、その加速自体はリスクとは見なしていない。
「再帰的自己改善」の閾値——まだ達していないが、自信は低下
エンジニアが特に注目すべき論点が、再帰的自己改善（recursive self-improvement）に関する記述だ。これは、AIモデルが自律的に自身を改善する能力を獲得するという仮説的シナリオを指す。そうしたモデルは、研究者が安全策を施すことが困難になるため、大きなリスク要因とされる。
7月には、著名なAI研究者らが公開書簡でこの問題への対策を訴えていた。
Anthropicは、「AI導入以前の進歩ペースの2倍の加速が観測された時点」を再帰的自己改善の問題が顕在化し始めるサインと定義している。今回のレポートでは、その閾値にはまだ達していないと結論づけた。
しかし同社は、「以前よりもこの評価への自信が低下している」と明記している。その理由として、社内の最良のベンチマークがLLMの進歩に追いつけなくなっていることを挙げた。評価基準自体が陳腐化しつつあるという自己言及的な問題を、Anthropicは正直に認めた形だ。
詳細はAnthropic details unreleased Model 2, new alignment concerns in latest AI risk reportを参照していただきたい。
