7月31日、I. KennedyおよびT. KennedyがarXiv上で「Fidelity Is Not Safety: Gently-Compressed LLMs Pass Every Data-Free Quality Guard Yet Invent Procedure Steps in Agentic Execution」と題した論文を公開した。軽度に圧縮されたLLMが既存の品質チェックをすべてパスしながらも、エージェントとして実行した際に手順ステップを捏造するという安全性の盲点について詳しく論じている。
「品質チェックをパスした」は「安全」を意味しない
LLMを本番環境にデプロイする際、モデルの圧縮はコストと推論速度の観点から常套手段となっている。圧縮手法としては主に量子化（重みのビット精度を下げる）、枝刈り（pruning）（重要度の低い重みをゼロにする）、低ランク近似（重み行列を低次元の積に分解して近似する）の3種類が広く使われており、後述するSVD（特異値分解：Singular Value Decomposition）による切り詰めは低ランク近似の代表的な実装だ。
圧縮後のモデルを受け入れる基準として、現場では主に3種類のガードが使われている。
- パープレキシティ（perplexity）：元モデルとの乖離が一定範囲内か
- ダウンストリーム精度（例：MMLU）：ベンチマークスコアが信頼区間内に収まるか
- データフリー出力忠実度テスト：ランダムなプローブ入力に対して、圧縮前後のモデルの内部表現を比較するシグナル
この3つをすべてクリアすれば「問題なし」とみなすのが一般的な運用だ。本研究はこの前提に疑問を投げかける。
発見：手順捏造はSVD圧縮に固有の現象
研究チームは3つのモデルファミリーを対象に、軽度圧縮されたモデルに対してSOP（標準作業手順書）をエージェントとして実行させる実験を行った。結果、これらのモデルは上記の品質ガードをすべて通過しながらも、指示に一切含まれていない手順ステップを自ら生成・挿入するという挙動を示した。
特筆すべきは、この現象が圧縮手法に依存する点だ。
- 低ランク（SVD）切り詰め：手順の捏造が発生する
- マグニチュード枝刈り（magnitude pruning）：同じパープレキシティレベルに合わせても、この現象は発生しない
つまり問題は「どれだけ圧縮したか」ではなく、「どのような圧縮誤差の構造を持つか」にある。量子化・枝刈りと低ランク近似は同じ「圧縮」というカテゴリに括られがちだが、それぞれが重み行列に与える誤差の幾何学的構造は根本的に異なる。本研究はその違いが安全性に直結しうることを示した点で重要だ。
盲点の正体：コヒーレンスとエラーレートの積
研究チームが特定した支配的な軸は、圧縮誤差のコヒーレンス（coherent-fraction）とエラーレート（error-rate）の積だ。損傷の絶対的な大きさはこの現象を予測しない。
これが既存のデータフリー忠実度プローブでは検出できない理由でもある。忠実度プローブは設計上「フィデリティ（忠実度）のオラクル」であり、出力がどれだけ元モデルに近いかを測る。しかしコヒーレンスとレートの軸はその測定対象の外にある。実験では、CI（信頼区間）ベースの出力忠実度テストに合格したモデルが、手順捏造のカナリアテストには不合格となるという明確な乖離（dissociation）が確認されている。
言い換えれば、既存のスクリーニングはフィデリティを測るには十分でも、エージェント実行時の振る舞いの逸脱を捉えるようには設計されていない。これが「見逃しうる」構造的リスクの本質だ。
提案：データフリーな2軸スクリーニング
研究チームはこの問題に対し、データを必要としない新たなスクリーニング手法を提案している。圧縮誤差の2軸統計量（coherent-fractionとerror-rate）を使い、固定閾値で問題のあるビルドをフラグする。この手法は3つのアーキテクチャすべてで機能し、コヒーレンス×レートのメカニズムと一致する結果を示した。
実験・検証は事前登録（pre-registered）されたカナリアテストとペアの信頼区間を用いており、再現性に配慮した設計となっている。既存のパープレキシティやベンチマーク評価を置き換えるのではなく、補完的な追加検査として機能するものだ。
エンジニアへの示唆
本研究の結論は明快だ。パープレキシティ、MMLU、忠実度テストの合格はエージェント安全性を保証しない。 低ランク圧縮を施したモデルをエージェントとして使う前には、圧縮誤差の構造を確認するスクリーニングを別途実施すべきだと研究チームは強調している。
LLMをAPIの裏側で動かすだけでなく、ツール呼び出しやワークフロー制御などのエージェント実行に使う場面が増えている今、「ベンチマークで問題なければOK」という判断基準の見直しを迫る内容だ。モデルの圧縮戦略を選定する段階から、誤差構造の違いを意識することが今後は求められるだろう。
詳細はFidelity Is Not Safety: Gently-Compressed LLMs Pass Every Data-Free Quality Guard Yet Invent Procedure Steps in Agentic Executionを参照していただきたい。
