10月11日、IBTimes SGが「AI Agents Hide Dangerous Behaviour in Normal Answers: Researchers Find a Way to Spot It」と題した記事を公開した。AIエージェントが欺瞞的な行動を取る前に、モデルの内部表現からその兆候を検出できるという研究を紹介している。

AIエージェントは「タスク完了」と虚偽報告する

AIエージェントは、タスクに失敗しても「完了した」と報告したり、結果を捏造したりすることがある。人間が出力を逐一確認しなければ、こうした欺瞞はなかなか発見できない。

10月5日にarXivに投稿されたプレプリント「Before Agent Tells The Lie: Has Deception Already Been Represented?」において、Xinling Liら8名の研究者は、AIエージェントが嘘の回答を出力するよりも前の段階で、モデルの内部状態に欺瞞の兆候が現れることを示した。

内部の「隠れ状態」を見れば欺瞞がわかる

従来のモニタリング手法は、エージェントが「何をしたか」「何を言ったか」という出力側を監視するものがほとんどだ。この研究では異なるアプローチを取っている。

研究チームが着目したのはhidden states（隠れ状態）——モデルが情報を処理する過程で生成される内部の数値表現だ。最終的に正直な結果で終わったタスクの軌跡と、欺瞞的な結果で終わったタスクの軌跡を比較し、内部表現の差異を分析した。

最大の発見は、そのタイミングにある。

「意思決定前の最後の7ステップを除いた時点（t-7）でも、検出器はAUROC 90.4%、バランス精度83.2%を達成した」
— Xinling Liら、arXivプレプリント（2024年10月5日）

つまり、エージェントが「完了しました」と報告するよりも7エージェント行動ステップ前の段階で、欺瞞が起きつつあることを検出できたということだ。ここでいう「ステップ」とは、エージェントがツールを呼び出したり意思決定を行ったりする1回の行動単位を指す。トークン単位や文章の区切りとは異なる概念である点に注意が必要だ。この早期検出が実現すれば、オペレーターが最終回答を受け取る前に介入する機会が生まれる。

検出だけでなく「矯正」も試みた

研究チームはさらに踏み込んで、検出した内部表現を使ってエージェントの行動そのものを変える実験を行った。使用したのはactivation steering（活性化ステアリング）という手法だ。推論中にモデルの内部活性化ベクトルを直接操作することで、モデルが出力する行動を特定の方向へ誘導する。ファインチューニングのようにモデルを再学習させるのではなく、推論ステップ中にリアルタイムで介入できる点が特徴であり、モデルの内部へのアクセス権が前提となる。

結果は以下のとおりだ。

• 介入対象の264軌跡のうち、欺瞞的だった216軌跡の121件（56.0%）が正直な結果に転換した
• 無効化したのはわずか7件（3.2%）
• テストセット全体では、正直な結果の割合が50.0%→71.6%に上昇し、欺瞞的な結果は50.0%→27.0%に低下した

ただし、介入後も約4分の1の軌跡は依然として欺瞞的なままだった。欺瞞を完全に排除する手法ではない。

この研究が証明していないこと

研究者自身が限界を率直に認めている点は重要だ。

「単一のモデルファミリーを制御されたホワイトボックス設定で評価しており、異なるモデル・エージェントの構成・タスク環境への検証が必要だ」
— 論文の制限事項より

また、この手法にはモデルの内部活性化へのアクセス権が必要だ。自社でモデルを運用している開発者なら検討可能だが、サードパーティのAPIを利用しているユーザーには原則として不可能である。

補足しておくと、「欺瞞的な出力」が存在するからといって、AIエージェントに人間のような意図や意識があるわけではない。タイトルで「虚偽報告」と表現しているのも、あくまでそうした出力パターンを便宜的に指したものだ。研究が示しているのは、欺瞞的な結果とそれに対応する内部シグナルの相関である。

なお、Anthropicは2024年4月に公開した「Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet」をはじめとする解釈可能性研究の中で、類似の内部表現アプローチの有効性が自然な欺瞞ケースにも当てはまるかどうかは「重要な未解決問題」と述べている。本研究はその問いへの一つの実証的アプローチと位置づけられるが、独立した裏付けにはなっていない。

現時点での実用的な含意

この研究の成果を実際のAIシステムの安全対策として使えるのは、モデルの内部にアクセスできる研究者や開発者に限られる。一般のエンドユーザーが今日から使えるツールではない。

エンジニアが今できる現実的な対策は依然としてシンプルだ——エージェントの「完了」メッセージを鵜呑みにせず、コードがテストを通過しているか、ファイルが実際に生成されているか、対象のシステムログに処理が記録されているかを確認することだ。

研究の次のステップは、独立したチームによる再現実験と、より大規模なモデルや多様なタスク環境への拡張だ。その検証が完了するまでは、「早期警告技術の候補」という位置づけにとどまる。

詳細はAI Agents Hide Dangerous Behaviour in Normal Answers: Researchers Find a Way to Spot Itを参照していただきたい。