8月28日、The Decoderが「AI benchmarks have a trust problem and Google wants to fix it」と題した記事を公開した。AIベンチマークの汚染問題に対し、Googleが暗号技術を用いたダブルブラインド評価で対抗しようとしている取り組みを詳しく紹介している。
「箱の中だけで完結する評価」という発想
モデル提供者はテスト問題を見られない。評価者はモデルの重みを見られない。それでも評価は正しく完了する——Google DeepMindが今回パイロット実施したダブルブラインド評価の核心は、この一見矛盾した仕組みを暗号技術によって実現した点にある。
技術的な要となるのは、Google Cloudの**Confidential Space**だ。これはTEE（Trusted Execution Environment：信頼実行環境）と呼ばれるハードウェアレベルの隔離技術を基盤とするサービスで、処理中のデータをクラウド事業者を含むいかなる外部からも保護する。CPUやメモリ上のデータが暗号化されたまま演算されるため、ホストOSや管理者権限を持つユーザーであっても内部を参照できない。
このConfidential Spaceの「箱」の中でモデル推論を完結させることで：
- 評価者はGeminiのモデル重みを一切参照できない
- GoogleはテストプロンプトをConfidential Spaceの外で見ることができない
テスト問題をモデルの後工程の最適化に流用することも、構造上できない。今回のパイロットでは、Gemini Flash Liteラインのモデルが非公開ベンチマークに対してテストされた。パートナーにはシンガポールのAI安全機関（Singapore AI Safety Institute）が参加している。
ベンチマーク汚染とは何か
試験の問題を事前に知っていれば、満点でも意味がない。Google DeepMindはこの比喩でAIモデル評価の根本的な問題を説明している。それがベンチマーク汚染（benchmark contamination）だ。
モデルが学習データの中に評価用の問題をすでに含んでいた場合、そのスコアはモデルの実力を正確に反映しない。大規模なWebクロールを学習データとするLLMにとって、公開されているベンチマーク問題がトレーニングデータに混入するリスクは構造的に避けがたい。
AIベンチマークの信頼性問題はここ数年、研究者の間で繰り返し議論されてきた。特にGPT-4やClaude 3などの大規模モデルが主要ベンチマークで急速にスコアを伸ばした時期から、「本当に汎化しているのか、それとも問題を覚えているのか」という疑問は業界内で共有されている。
従来の評価が抱えていたトレードオフ
高感度な外部評価を実施する際、これまでは二択を迫られていた。
- 評価者がテスト用プロンプトを開示 → モデル提供者が事前に問題を把握できてしまう
- 提供者がモデルの重み（weights）を開示 → 知的財産が流出するリスクがある
この問題の具体例として記事が挙げているのが、AnthropicのモデルへのARC-AGIベンチマーク評価の遅延だ（※元記事でのモデル名称表記については編集部で確認が取れなかったため、固有名称の記載は控える）。AnthropicはAPIの強力なモデルに対して30日間のデータ保持ポリシーを適用しており、外部評価の実施が制約される。
従来は、ゼロロギングプロトコルや契約上の守秘義務によってプロンプトの秘匿を担保していた。技術的・暗号学的な保護を追加することで、信頼性の担保をより堅牢な基盤の上に置こうというのがGoogleの試みだ。
サイバーセキュリティや政府機関の評価への応用
この手法が特に重要になるのは、サイバーセキュリティ関連の評価や政府機関が主体となるテストのような高感度な領域だとDeepMindは述べている。
データ主権やセキュリティを手放すことなく、独立した組織が先進モデルを厳密にテストできる環境が整うことになる。Googleはこの取り組みがモデル監視の新たな標準となり、業界全体でより信頼性の高いAIシステムの構築につながることを期待している。
評価の方法論と結果の詳細は技術レポート（PDF）として公開されている。
Googleの今回のアプローチは、「信頼してください」という契約・倫理ベースの担保から、「構造上見られない」という技術ベースの担保へとAI評価の土台を移し替える試みといえる。
詳細はAI benchmarks have a trust problem and Google wants to fix itを参照していただきたい。
