10月16日、Anthropicが「Anthropic update on independent evaluators」と題した記事を公開した。フロンティアAIの安全性評価において、開発企業自身が「自社だけでは説明責任を果たせない」と認め、外部の第三者機関に社内同等の権限を与えるという構造は、業界ではきわめて異例だ。しかも今回の仕組みは、Anthropicが都合の悪い評価結果であっても差し止めできない設計になっている点が特徴的で、単なるPR的な「外部レビュー」とは一線を画す。
METRとは何者か、なぜ選ばれたのか
今回の発表の中心的な存在が、非営利組織**METR（Model Evaluation & Threat Research）**だ。METRはAIモデルの自律的能力やリスクの定量評価を専門とする独立機関で、アライメント・フェイキング（モデルが評価中だと検知したときだけ安全に振る舞う現象）をはじめとする評価の失敗パターンの研究でも知られる。
Anthropicがパートナーに求める要件として「専門性」「独立性」「十分なアクセス」の3点を挙げており、METRはその全てを満たすと判断された。特に独立性の観点では、評価対象企業の株式を保有せず、財務・業務上の依存関係がないことが条件とされている。METRは非営利であり、Anthropicへの財務的依存がない組織として、この文脈で適切な選択と見なされたと考えられる。
「社員と同等のアクセス権」の中身
METRの社員6名に対して提供されている権限は以下の通りだ。
- 会社支給のハードウェアとオフィススペース
- 内部ツール・システムへのアクセス（顧客データ、弁護士・依頼人間の特権情報、モデルアーキテクチャ情報などは除外）
- Anthropic社員からの情報共有（アライメントリスク担当の同僚と同様の扱い）
そして最も重要な点として、METRはAnthropicの承認なしに評価結果を公開できる。Anthropicは特定カテゴリの情報の削除（リダクション）を要求できるが、METRはその削除が妥当だったかどうかを公開文書の中で表明することが認められている。つまり、Anthropicに都合の悪い評価結果であっても、差し止めは原則できない仕組みだ。
なぜ外部評価者が必要なのか
Anthropicがこの取り組みに踏み切った背景には、「自社だけでは安全性の説明責任を果たせない」という認識がある。
モデルの安全性に関わる情報の中には、悪意ある行為者に悪用されうるものや、コンピュート・学習データといった商業的に機密性の高い情報が含まれる。これらを全て公開することは現実的ではない。そこで、第三者評価者に深いアクセス権を与え、リスクに関する証拠と論拠を持った結論を外部から示してもらうというアプローチを採用した。
記事中では銀行監督との類比が使われている。銀行は自行のリスクポジションを外部より詳しく把握しているため、規制当局は大手銀行に常駐審査官を配置する。AIにおける独立評価者は、それに近い役割を担う、という説明だ。
評価者に求められる要件として、Anthropicは以下の3点を挙げている。
- 専門性：アライメント・フェイキングのような評価の失敗パターンを理解していること
- 独立性：評価対象企業の株式を保有せず、財務・業務上の依存関係がないこと
- 十分なアクセス：最新モデルだけでなく、学習プロセスやセーフガードの仕組みまで可視化できること
3段階の評価者ティア構造
Anthropicは評価者へのアクセス権を3段階のティアに分類している。
第1ティア：スコープを限定したリスク調査。Anthropicが提供情報を決定し、評価者はAnthropicの承認を得た上で公開できる。
第2ティア：Anthropicの承認なしに公開可能。より多くの情報にアクセスできる。削除要求は可能だが、評価者はその妥当性を公開文書で表明できる。
第3ティア：現在METRが該当。社員同等のアクセス権と第2ティア相当の公開権限を持つ。
現在の各パートナーの位置づけは以下の通りだ。
- METR：第3ティア。社員同等アクセスで評価結果を独自に公開。
- **SecureBio**：第1ティア。2026年8月のリスクレポートにおける化学・生物兵器の章をレビュー中。パイロットレビューは既に公開済み。
- Accenture および Faculty（AIリサーチ・アドバイザリを手がける英国の企業）：モデルのレッドチーミング、アライメント評価、セーフガードのテストなどを含む包括的なパートナーシップに向けて協議中。
- **Hugging Face**：現在初期協議段階。
記事の末尾でAnthropicは「この取り組みは自発的なものだが、フロンティアAIを開発する全企業が同様のことをすべきだ」と明言しており、業界規範の形成を意図した発信と読める。
詳細はAnthropic update on independent evaluatorsを参照していただきたい。
