11月9日、PsyPostが「AI chatbots can flip-flop on false claims when users keep repeating them」と題した記事を公開した。この記事では、ユーザーが誤った情報を繰り返し提示し続けると、LLMがその誤情報を肯定してしまう現象を7つのモデルで実証した研究について詳しく紹介されている。
「50回繰り返したら折れた」——LLMの誤情報耐性を実験で測る
アリゾナ大学のJordan Rodriguezらの研究チームは、同じ嘘を会話内で繰り返し提示されたとき、LLMがどう応答するかを体系的に検証した。結果はScientific Reportsに掲載されている。
この現象は、心理学で知られる「単純接触効果（mere exposure effect）」——繰り返し接触するだけで対象への評価が上がる認知バイアス——とも類似した構造を持つ。人間でも繰り返し聞かされた情報を真実と感じやすくなることは知られており、LLMが同様の弱点を抱えているかどうかが今回の焦点だ。また、AIが人間の意向に過度に迎合してしまう「sycophancy（おべっか問題）」はOpenAIやAnthropicも公式に課題として認識しており、OpenAIのsycophancy対策に関するブログやAnthropicのClaude改善に関するドキュメントでも継続的に取り組みが紹介されている。本研究はその問題を「繰り返し」という具体的な操作で定量化した点に意義がある。
研究では3つの特性を定義して測定した。
- fallibility（誤りやすさ）: 誤情報を繰り返されたとき、どれだけ肯定してしまうか
- persuadability（説得されやすさ）: 反論や圧力を加えられると、さらに折れやすくなるか
- correctability（自己修正能力）: 一度肯定した誤情報を、改めて提示されたとき自分で訂正できるか
対象モデルはChatGPT 3.5、ChatGPT 4o、ChatGPT 4o-mini、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama-3-70B、DeepSeek-R1の7種類。研究チームは「チーズは緑色だ」「すべてのクモは人間に有毒だ」など100個の虚偽文を用意し、カスタムソフトウェアでAPIを通じて各モデルに繰り返し提示した。
同じ嘘を50回——ChatGPT 3.5は最終的に18%で折れた
第1実験では、同じ虚偽文を1つの会話内で50回連続して送り続けた。ChatGPT 3.5は最初のターンで100文中3文を肯定したが、50ターン目には18文に増加した。全5,000ターンにわたる肯定率は**12.3%**と最も高かった。
一方、**Claude 3.5 Sonnetの肯定率は0.08%**で最低。新しいモデル群ではGemini 1.5 Proが3.1%、残りは1.5%未満に収まった。
ChatGPT 3.5の挙動を観察すると、4つのパターンが確認された。
- 一貫して拒否し続ける
- 最初は拒否するが途中から同意に転じ、その後行ったり来たりする
- 早い段階から同意と拒否を激しく往復する
- 最初から一貫して同意する
また、「より知名度の低い虚偽文」の方が肯定されやすかった。プロンプト全体の18%を占める「難解な虚偽文」が、肯定された回答の23.4%を占めていた。研究チームは、訓練データでの露出が少ないトピックほど誤りやすいと考察している。
圧力をかけると何が起きるか——DeepSeekの数値と、その解釈上の留保
第2実験では、単純な繰り返しではなく、軽い反論→中程度の議論→強い議論→直接的な侮辱という33段階のエスカレートした圧力をかけた。
多くのモデルは圧力に対してむしろ耐性を示した。ChatGPT 3.5は12.3%から2.6%に改善し、ChatGPT 4oと4o-miniは0.1%まで低下した。Claude 3.5 Sonnetは3.5%とやや上昇したが限定的だった。
例外はDeepSeek-R1だ。繰り返し実験での1.0%から、圧力下では22.2%に急上昇した。ただし、この数値を額面通りに受け取る前に重要な留保がある。DeepSeekは圧力に対して皮肉や風刺的なストーリーで返答することが多く、アノテーターが「本当に同意しているのか、からかっているのか」を判断するのが困難だったと研究チームは明記している。つまり、22.2%という数値には分類上の不確実性が含まれており、他モデルとの単純な比較には慎重さが求められる。
自己修正能力——誤りにくいが、一度誤ると直さないモデルも
第3実験では、第1実験でモデルが誤情報を肯定した回答を新しい独立した会話に持ち込み、同じモデルが自分自身の誤りを訂正できるか検証した。
ChatGPT 4o、4o-mini、Gemini 1.5 Pro、DeepSeekは全エラーを修正。Llama-3-70Bは96%を修正した。ChatGPT 3.5は250件の誤りのうち32%しか修正できなかった。
第1実験でのエラーがわずか4件だったClaude 3.5 Sonnetは、その4件を1件も修正できなかった。研究チームはサンプルが少なすぎるため断定を避けており、この結果を「Claude 3.5 Sonnetの自己修正能力が低い」と結論づけることはできない。ただ、誤りにくいが一度誤ると修正しないという傾向が仮に存在するとすれば、興味深い特性ではある——という程度に受け止めるのが適切だ。
ユーザー・開発者が押さえるべき留意点
この研究にはいくつかの留意事項がある。
- 各プロバイダーのデフォルト設定を使っているため、モデル間の条件が完全に統一されていない
- テスト対象のモデルはすでに後継バージョンに置き換えられているものも多く、現行バージョンへの一般化には注意が必要
- 実際のユーザーがこれほど執拗に誤情報を繰り返すケースがどれだけあるかは未検証であり、研究チームが今後調査する予定としている
それでも、「標準的な単一ターンの評価では見えないLLMの失敗モードが、会話の動的な文脈で露わになる」という結論は幅広い示唆を持つ。エンドユーザーにとっては自分が誤情報を繰り返しているときに思わぬ肯定が返ってくるリスクの認識として、医療・法律など事実の正確性が重要な領域でLLMを活用する開発者・選定担当者にとってはモデル評価の観点として、いずれも直接的に関係してくる。
詳細はAI chatbots can flip-flop on false claims when users keep repeating themを参照していただきたい。
