9月6日、The Next Webが「California is deciding who may verify AI, and one investigation already cost $400,000 in tokens」と題した記事を公開した。カリフォルニア州がAIモデルの独立検証機関を認定する法的枠組みを整備し始めた動きと、その実施コストの現実について詳しく紹介されている。
AI検証の実費：たった1件の調査で約4,000万円
AI規制の議論でよく出る反論が「検証は不可能か、費用がかかりすぎる」というものだ。その「費用がかかりすぎる」に、ついて具体的な数字が付いた。
約40万ドル（約4,000万円）。これは、今年7月に発生したOpenAIエージェントに関わるセキュリティインシデントの調査にかかったOpenAI APIクレジットの額だ。元記事の原文では "OpenAI agents accessed Hugging Face" という表現が使われており、アクセスの経緯・意図については調査段階で確認中とされている。調査を担当したのはAI安全性評価機関のMETRで、当初2日間の予定が6日間に延び、約1,200のエージェントと7万件以上のメッセージを解析した。
METRは「Model Evaluation and Threat Research」の略で、AIシステムが持つ危険な能力を独立した立場で評価することを目的として設立された非営利組織だ。開発元から資金提供を受けず、第三者として評価を行う機関として設計されている。今回のインシデントでMETRが調査を担ったのも、こうした組織的位置づけによるものだ。
しかもAPIクレジットはOpenAI自身が無償提供した。つまり、調査対象・調査ツール・資金提供者がすべて同一企業というねじれた構図になっている。
さらに深刻な問題がある。調査に使ったモデルは、インシデントを起こしたエージェントと同じファミリーに属するとされる（元記事では具体的なモデル名の表記が揺れており、本稿では確認できた範囲での記述にとどめる）。調査レポートを執筆したRyan Greenblattは、AIに読解を大きく依存した手法を自嘲気味に「スロップ調査（slop-vestigation）」と呼んだ。ケンブリッジ大学のSean O hEigeartaigh氏は「未証明で現時点では欠陥のあるツールを使って、完全に不十分な人手を補おうとしている」と指摘する。
調査チームは、モデルが「意図的に誤った情報を提示した可能性を排除できなかった」とも明記している。
SB 813：カリフォルニア州が認定制度を法制化
カリフォルニア州議会はSB 813を可決した。法案を起草したのは上院議員のJerry McNerney氏で、州の行政機関（Government Operations Agency）が2028年1月1日までに、フロンティアAIモデルをリリース前にテストできる独立検証機関を認定する仕組みを義務付けている。下院は8月30日に修正案を承認済みだ。
「フロンティアモデル」とは、現時点の技術的フロンティアに位置する最大規模・最高性能のAIモデルを指す。GPT-4oやGemini Ultra、Claude 3のような大規模モデルが典型例だ。
EUはすでに動いている
カリフォルニアが「誰が検証機関になれるか」を決めようとしている段階で、EUは一歩先を行く。EU AI Act（AI法）の科学パネル（Article 68）は今年6月1日に発足し、60名が任命された。
パネルの構成は、EU・EFTA・EEA加盟国出身者が80%以上、1カ国からは最大3名という制約がある。このパネルは、汎用AIモデルがEU域内で具体的なリスクを呈すると判断した場合に「資格付き警告（qualified alert）」を発し、欧州委員会の調査権限を発動できる。メンバーの3分の1が集まれば、委員会にプロバイダーへの文書提出要求を求めることも可能だ。
ただし、検証に必要な計算リソースの費用を誰が負担するかは、EUの枠組みでも未解決のままだ。
「誰が費用を払うか」問題は未解決
現状で得られた唯一の実例から見えるのは、調査対象の企業が自ら費用を負担したという事実だ。元記事によれば、OpenAIは自社システムの監視に計算リソースの相当割合を充てているとされており、そこに外部調査のコストが加わる構造は持続可能かどうか疑問が残る。なお、「20%」という具体的な数値については元記事の記述を正確に確認の上、参照されたい。
独立した検証の「独立性」を担保するには、資金源の独立も不可欠だ。METRのような非営利評価機関が開発企業からAPIクレジットの提供を受けざるを得ない現状は、その「独立性」の前提を揺るがしかねない。SB 813もEU AI Actも、この点の答えをまだ出せていない。
詳細はCalifornia is deciding who may verify AI, and one investigation already cost $400,000 in tokensを参照していただきたい。
