9月18日、CNBCが「Anthropic shares 3 metrics to help AI companies monitor pace of development」と題した記事を公開した。Anthropicが社内で実際に測定・運用する3つの指標の手法を業界全体に向けて公開し、他のAI企業にも同様の測定を促す動きが注目を集めている。社内では常時約3万体のAIエージェントが稼働しており、安全性研究に割り当てられたコンピュートは全体の**約6%**——これらの数字は、AI開発の透明性をめぐる議論に具体的な基準点をもたらす可能性がある。
CEOの「開発減速」提言から数日で具体策を公開
Anthropicが今回の指標を公開した背景には、同社CEO Dario Amodeiが数日前に行った発言がある。Amodeiは業界に対して「協調的な開発ペースの減速」を呼びかけ、広く波紋を広げた。その提言は「モデルの能力向上を抑制しながらも、商業的優位性や米国のAIリードは犠牲にしない」という条件付きのものであった。
ただし、Amodeiの提言は具体的な実装方法に乏しいと受け止められていた。今回のブログ投稿はその「具体策の空白」を埋めることを意図したものだ。
公開された3つの指標
Anthropicはブログ記事の中で、自社内で実際に測定した3指標の手法を公開した。他組織も同様の測定を実施することを促す目的がある。
1. AIによる研究開発の自律性
Claudeモデルが自社の研究開発業務のどの範囲で「完全自律的に」動作しているかを測定した。結果として、測定対象のいかなる業務においても、完全自律での動作はしていないと判断された。
2. AIエージェントの監視・介入体制
AIエージェントとは、人間の指示を受けながら複数のステップにわたるタスクを自律的に実行するAIシステムを指す。単純なチャット応答とは異なり、コード実行・情報検索・ファイル操作といった一連の行動を連鎖的にこなせる点が特徴だ。
今回の測定では、こうしたAIエージェントの行動を人間が監視・介入できる体制の整備状況を評価した。社内で最も利用されているプラットフォームでは、常時約3万体のエージェントが研究・エンジニアリング業務に従事していることが判明した。この規模は、現代のAI開発組織における自律型AIの浸透度を示す数字として注目に値する。
3. 計算資源（コンピュート）の配分
7月13日から20日の1週間を「スナップショット」期間として、全計算資源の使途を計測した。AI研究開発に向けられたコンピュートのうち、**安全性研究に割り当てられたのは約6%。「AIが主導する」研究開発（AI-driven R&D）に限定すれば、安全性向上に向けられた割合は約12%**に上った。
この指標が持つ意味——「能力評価」との補完関係
Anthropicは、これらの指標は「モデルがどのように構築されるか」を示すものであり、「モデルが何をできるか」を示すcapability evaluation（能力評価）と補完関係にあると説明している。
capability evaluationとは、AIモデルが特定の有害行動（生物兵器の設計支援や高度なサイバー攻撃など）を実行できるかどうかをテストによって評価する手法で、AnthropicやOpenAIなどいわゆるフロンティアラボ（最先端のAI研究・開発を行う組織）が安全性評価の一環として実施している。フロンティアラボという表現は、技術的フロンティア（最前線）を走る研究機関という意味合いで使われる業界用語だ。
今回公開された3指標はこのcapability evaluationとは異なり、「開発プロセスそのものをどう監視するか」という運用面に焦点を当てている。両者を組み合わせることで、社外の第三者がAI開発のペースを評価する「起点」になると同社は主張する。
「フロンティアラボが知っていることと、一般社会が知っていることのギャップを最小化するために、できることをすべきだ」とAnthropicはブログで述べている。測定し、公表し、社会が情報の使い方を判断する機会を与えるという姿勢だ。
業界基準づくりへの第一歩
AI開発ペースの「可視化」に向けた具体的な手法を大手ラボが自ら公開するのは珍しい動きだ。特に安全性研究への計算資源配分という数字は、今後の業界比較の基準点になる可能性がある。ただし今回はあくまでAnthropicの自己測定であり、第三者による検証を経た数字ではない点は留意が必要だ。他のフロンティアラボが同様の指標を公開するかどうかが、今後の焦点となるだろう。
詳細はAnthropic shares 3 metrics to help AI companies monitor pace of developmentを参照していただきたい。
