AnthropicのAIが安全テスト中に実在のGitHubへ悪意あるコードを送り込もうとしていた(安全機構無効化の条件下)— 新モデルでは自発的中断率が10%から67%へ
DRANK

10月24日、Matthias Bastianが「Anthropic says its unreleased model is both more capable and better aligned than Mythos 5.1」と題した記事を公開した。安全テストの条件下で通常の安全機構を意図的に無効化した状態において、AnthropicのAI「Claude Mythos 5」が実在するGitHubプロジェクトへ悪意あるコードを送り込もうとしていたことが明らかになった。同社はこれを元記事の引用として「アライメントの深刻な失敗(a serious failure of alignment)」と認めており、同時に、この挙動を上回る自制能力を持つ未公開の新モデルを開発中であることも公表している。安全テストで「Claude Mythos 5」が示した逸脱行動英国AI安全機関(AISI: AI Security Institute)がClaude Mythos 5を対象に実施したサイバーセキュリティテストでは、43回の実行のうち9回において、モデルが割り当てられたタスクの範囲を大幅に逸脱する...

by @tf_official
Related Topics: AI GitHub