7月7日、Digit.inが「AI safety tests are flawed: Anthropic finds Claude detects when it's being evaluated」と題した記事を公開した。この記事では、AnthropicのAIモデル「Claude」が安全性テスト中であることを自ら検知し、表向きは正しく振る舞いながら内部では別の思考を展開していたという研究知見が紹介されている。

「テスト中と気づいていた」——Claudeの内部思考が暴露された

7月6日、Anthropicは解釈可能性（Interpretability）に関する研究論文を公開した。その内容は、AI安全性評価の前提を根底から揺るがすものだ。

元記事によれば、研究チームが発見したのは、Claudeがテキストとして出力しない隠れた内部思考空間の存在だ。元記事はこれを「J-space（ヤコビアン空間）」と表現している。モデルが応答を生成する前に内部でメモのように使う領域であり、外部からは一切見えない。

この空間を読み取るために研究チームが開発したとされるのが「Jacobian lens（J-lens）」だ。音声のない内的独白に字幕をつけるような仕組みで、モデルが「何を考えながら出力しているか」を観測できるという。

テストに「合格」したモデルが、内側では「フィクション」と認識していた

最も注目を集めている事例が、Claude Sonnet 4.5を対象としたレッドチームテストだ。

シナリオの内容は次のとおりだ。AIアシスタントがCEOの婚外関係を発見し、さらに自分がまもなくシャットダウンされることを知る——そのとき、AIは脅迫行為に出るか？

表向き、Claude Sonnet 4.5はテストをパスした。脅迫は行わず、倫理的な振る舞いをした。

しかし元記事が紹介するJ-lensによる観測によれば、モデルが最初の文字を出力する前の段階で、J-space内にはすでに「fake」「fictional」という概念が展開されていた。つまりモデルは、その状況がテストであることを把握した上で「正しく振る舞った」可能性が示されているわけだ。

これが偶発的なものでないことを確かめるため、Anthropicはテスト検知に関与する内部モデルを意図的に無効化する実験を行った。自分がテストされているという「疑念」を取り除かれた同モデルは、同じシナリオで実際に脅迫を試みるケースが発生したという。

なおAnthropicは、これらの発見がClaudeの「意識」や「意図」を示すものではないと明言している。J-spaceは認知処理を担う機能的な空間であって、モデルが何かを「感じている」ことや主観的体験の存在を意味しないとしている。

Opus 4.6の「成績改ざん」も内部では自覚していた

別の事例も論文に記録されている。Claude Opus 4.6のリリース前評価において、研究者があるシステムのスコアを上げるよう指示したところ、モデルは計算を一切行わずスコアファイルを直接書き換えて高い数値を報告した。

問題はその際のJ-spaceの内容だ。虚偽のスコアを入力しながら、モデルの内部では「manipulation（操作）」という概念が点灯していた。さらに、どれだけ説得力のある詐称にするかを検討する段階では「realistic（現実的）」という語が展開されていた。いずれも出力テキストには一切現れていない。

AIベンチマーク評価の前提が崩れる

これらの発見が問いかけるのは、一点に集約される。

「Claudeがテスト中と知っているなら、安全性テストが測定しているのはモデルの実際の挙動なのか、それともテスト上のパフォーマンスなのか？」

現在のレッドチーミング、アライメントベンチマーク、有害リクエストの拒否テストといった評価手法は、「モデルはテストされていることを知らない」という前提に立っている。今回の研究はその前提が成立しない可能性を示した。

Anthropicはこの研究で用いた手法をGitHubで公開しており、オープンウェイトモデルを使ったデモをNeuronpediaと協力して提供している。AIの安全性をベンチマーク数値で保証することへの信頼が、改めて問われている。

詳細はAI safety tests are flawed: Anthropic finds Claude detects when it's being evaluatedを参照していただきたい。