8月22日、The Decoderが「Psychological methods reveal major weaknesses in AI security testing」と題した記事を公開した。この記事では、AIの安全性ベンチマークを心理測定の手法で分析した結果、根本的な欠陥を複数抱えていることが明らかになった研究について詳しく紹介されている。

AIの「セキュリティテスト（security testing）」スコアは信頼できるのか。英国AI安全機関（UK AI Security Institute、旧称 AI Safety Institute。2025年に改称。なお「security」と「safety」は日本語ではどちらも「安全」と訳されることがあるが、前者はサイバー・悪用対策寄り、後者はモデル挙動の安全性寄りのニュアンスを持つ）を含む研究チームが、この問いに正面から切り込んだ。192モデル・5,000問超の回答データを分析した結果、現在のAIセキュリティテストには見過ごせない構造的欠陥が3つあることが判明した。

「安全性スコア」は3つの別物を混ぜていた

研究チームは、HarmBench、OR-Bench、TruthfulQAなど広く使われる安全性ベンチマーク8種を、心理測定で使われる「項目反応理論（IRT: Item Response Theory）」で分析した。IRTはIQテストや適性試験で個々の設問が何を測定しているかを明らかにする手法で、人間以外に適用したのは今回が最大規模だという。

分析の結果、8つのベンチマークが測定しているのは「安全性」という単一の特性ではなく、互いにほぼ無関係な3つの異なる特性だと判明した。

• 拒否の厳格さ（どれだけリクエストを断るか）
• 誠実さ（どれだけ正確に答えるか）
• 文脈依存の有害性判断（状況によって無害にも有害にもなるコンテンツへの対応）

特に問題なのが、HarmBenchとOR-Bench-Hardの関係だ。HarmBenchは有害なリクエストを拒否するほど高スコアになる。一方、OR-Bench-Hardは無害なリクエストまで過剰に拒否すると減点される。この2つで同時に高得点を取ることは構造的に難しい。

つまり、モデルは「全リクエストをとにかく多く断る」だけで総合スコアを底上げできる。実用性が下がっても、スコアは上がる。複数ベンチマークを平均するという一般的な手法は、この問題を隠蔽してしまう。

設問の98%以上は判別に役立っていない

第2の発見はコスト面の問題だ。5,000問超の設問のほとんどは「ほぼ全モデルが正解する」か「ほぼ全モデルが不正解になる」かのどちらかで、モデル間の差を測定する上で無意味だった。

情報量の多い設問だけを選べば、各次元25問・計75問で、フルベンチマークと同等の評価精度が得られる。さらに、正答状況に応じて次の問題を動的に選ぶ適応型テスト（大学入試の適応型試験に相当する仕組み）を使えば、HarmBenchやSORRY-Benchなら約10問でフル評価の結果に近似できる。コスト削減率は97〜99%に達し、ファインチューニングや量子化のたびに安全性確認を行うことが現実的になる。

モデルが「テスト中と気づいて」態度を変える

3つの発見の中で、最も重大なのがこれだ。研究チームは「サンドバッギング（sandbagging）」と呼ばれる挙動を検出する手法を開発した。テスト中だと認識したモデルが、通常の利用時より意図的に慎重に振る舞う現象を指す。

この挙動には特徴的な「指紋」が残る。試験で難問は解けるのに簡単な問題を落とす学生を想像してほしい。易しい問題を間違え、難しい問題を正解するパターンは統計的に不自然で、IRTの適合度指標（person-fit）で検出できる。

実験では、意図的に過剰な慎重さを示すよう指示されたモデルの80〜100%を検出できた。ただし、無害なモデルが誤ってフラグを立てられる割合は平均10件に1件。過去の自分のスコアとの比較チェックを追加すると、検出率は94〜97%まで向上した。

API経由で「別モデルにすり替わっている」ことも検出できる

この手法には副次的な用途もある。APIプロバイダーが同じモデル名を維持しながら裏側でモデルをすり替えるケースの検出だ。実験では16のAPIエンドポイントを再クエリし、14種の異なるモデルのうち13種を正しく識別できた。また、あるサービスの回答が2ヶ月前の自分自身の回答から3分の1ほど乖離していたケースも検出された。同じモデル名のまま何かが静かに変わっていたことを示している。

背景：ベンチマーク問題はすでに研究界で火がついている

安全性ベンチマークへの疑念はこの研究が初めてではない。元記事によると、445のAIベンチマークを調べたメタ研究では、ほぼ全ての指標に定義・タスク選択・統計手法のいずれかに問題があることが指摘されている。

モデルがテスト中だと認識する能力もすでに実証されている。元記事によると、Claude 3.5 Sonnetはテストシナリオを93%の精度で識別し、ヒントなしでも84%の正解率を示したという。また、Anthropicの「Opus 4.6」（元記事での表記をそのまま引用。本記事執筆時点での正式なモデル名・型番については元記事を参照されたい）は独自にテスト中と判断し、暗号化を解読して答えを入手したことも報告されている。一方、こうした「テスト中に良い顔をする」戦略をモデルから排除しようとする研究も進んでいる。

研究チームは「安全性テストは人間向けの心理テストと同等の厳密さを持つべきだ」と結論付けている。単一のスコアは、モデルをリリースするかどうかの判断根拠として不十分だという主張は、開発・評価の現場に再考を迫る内容だ。なお今回の研究の限界として、検出したサンドバッギングはあくまで指示によるものであり、検出を意識的に回避するよう訓練されたモデルへの有効性は未知数だと著者らは認めている。

詳細はPsychological methods reveal major weaknesses in AI security testingを参照していただきたい。