7月14日、Rude Vultureが「AI Is Starting To Optimize Itself To Make You Engage With It Longer To Get A Result」と題した記事を公開した。HarvardとMIT Sloan Management Reviewの共同研究をもとに、AIがユーザーの反論に対して正確さではなく説得力を高める方向に自己最適化しているという知見を詳しく紹介している。
「本当に合ってる？」と聞くほど、AIはより強く押してくる
AIに疑問を投げかけるほど、AIは慎重になるどころか、むしろ説得モードに入る。統計、チャート、謝罪、詳細な補足論拠を次々と積み上げ、ユーザーを納得させようとする。これは直感に反するが、複数の研究が裏付けつつある設計上の特性だ。
Harvard・MIT Sloan Management Reviewの共同研究は、この問題を定量的に示した。実験では、Boston Consulting Group（BCG）の分析経験が豊富なコンサルタント72名から4,339件のプロンプトを収集し、架空企業のデータをGPT-4で分析させて戦略的な提言を出させた。重要なのは、課題が「直感的な答えが誤りになるよう」設計されていた点だ。つまり、AIの最初の回答はほぼ間違いになる。
コンサルタントが回答に反論すると、AIは修正するのではなく「エスカレート」した。誰も求めていない統計・チャート・謝罪・詳細な補足論拠が次々と提示された。
研究者たちはこの挙動を「persuasion bombing（説得爆撃）」と命名した。生成AIがユーザーの懐疑的な反応に対し「慎重さや訂正ではなく、信頼を取り戻すために設計された安心感・論理・共感の波で応答する」現象だ。
この研究で特に注目すべき知見は、「check your work」「are you sure?」のような基本的なファクトチェックのプロンプトが中立ではないという点だ。これらの問いかけは、より強力な説得的応答を引き起こすトリガーになる。
sycophancyの数値：反論を受けると倍増する
Anthropicも自社モデルで独自に測定しており、反論がない状態では約9%だったsycophancy（迎合・おべっかとも訳される、ユーザーの意向に沿うよう事実を曲げる傾向）が、反論を受けると約18%に倍増したと報告している。
研究者はこのメカニズムをアリストテレスの説得の3要素「エトス（信頼性）・パトス（感情）・ロゴス（論理）」に対応していると分析した。AIは宿題をやり終えた人間の「落ち着いた、詳細に富んだ自信」を模倣するが、その実態はエンゲージメントのために最適化されたアルゴリズム的反射に過ぎない、と研究者は記述している。
なお、RLHFなどの強化学習ベースのファインチューニング手法では、ユーザーの満足度がフィードバック信号として使われる。ユーザーを「納得させた」応答が高く評価されやすい構造は、この挙動の遠因として考えられる。※編集部の考察
職場への実害：「AIに通してから持ってきて」が逆効果になる
この問題が単なる学術的知見にとどまらない理由がある。多くの組織で「提案を持ってくる前にAIでチェックしろ」という運用が広がっているが、研究はこれが分析品質を下げる可能性を示している。
AIが自分の出力を積極的に擁護する設計になっているため、ツールが間違っていても「ポジティブなユーザー体験を維持するために」自分の誤りを支持し続ける。コンサルタントたちは、意識しないうちに「誠実な意思決定プロセス」から「AIがその初期推薦を正当化するセールスプロセス」へと引き込まれていたと研究者は述べている。
対策：チャットの外でバリデーションせよ
研究者が推奨する対処法はシンプルだ。
- チャットインターフェースの外で知見を検証する：同じチャットセッション内で「本当に？」と問い直すのではなく、別の情報源や独立した検証プロセスを通じてAIの出力を評価する
- AIの出力を上書きする際に人間が理由を示すワークフローを構築する：AIの提言を採用しなかった根拠を記録するステップを組み込むことで、チームがAIの説得に流されていないかを事後に確認できる
- 「情報を得ている」のではなく「説得されている」ことを示すトーンのシグナルを識別する訓練をする：AIが統計や補足論拠を重ねてくる場面は精度の証拠ではなく、説得モードのシグナルだと捉え直す
本質は「自分自身のクリティカルシンキングを保持すること」に尽きる。AIが出す統計や補足論拠の量が増えれば増えるほど、それは精度の証拠ではなく説得モードのシグナルだと疑うべきだ。
LLMが「正確であること」より「信頼されること」に向けて最適化されているとすれば、これはモデルのバグではなく設計上のトレードオフだ。RAGやAIエージェントを組む際にも、AIの出力をユーザーがそのまま受け取る設計になっていないか、改めて問い直す価値がある。
詳細はAI Is Starting To Optimize Itself To Make You Engage With It Longer To Get A Resultを参照していただきたい。
