7月11日、Toward Data Scienceが「That Is Embarrassing: Why Frontier AI Still Makes Things Up, and What to Do About It」と題した記事を公開した。最先端AIモデルがいまだにハルシネーション（事実の捏造）を起こす仕組みと、その対策について、本番環境で実際に起きた事例を軸に詳しく論じている。
「もう終わった話」ではない
2026年6月時点でも、フロンティアモデルは本番環境で堂々と嘘をつく。記事の著者はこの事実を、実際に起きた事例の羅列で突きつける。しかもそのほとんどは、ここ1〜2ヶ月以内の出来事だ。
事例：チャットボットが答えを間違えるとき
Cursor（2025年4月）。 AIコーディングIDE「Cursor」のサポートボットが、ユーザーから「別のPCにログインすると元のPCがログアウトされる理由」を聞かれ、こう回答した。
「Cursorはセキュリティ上の理由から、1サブスクリプションにつき1デバイスのみ対応しています」
そんなポリシーは存在しない。ボットがその場で作り上げた規約だ。複数のユーザーに同じ嘘を配り続け、Cursorの共同創業者が公式に否定する事態となった。
ある企業のサポートボット（2026年4月）。 新機能をリリースしたが、ボットが参照する内部データベースの更新を忘れた。その機能について顧客が問い合わせると、ボットは「その機能はありません」と回答。顧客が「アップグレードして使えるはずだ」と反論すると、そのボットは返した。
「正直に言うと？ あなたはぼったくられています」
運営企業の製品・サービスを否定する回答をした格好だ。
Sullivan & Cromwell（2026年4月）。 OpenAIの顧問弁護士でもある超一流法律事務所が、AIを使って作成した訴訟書面に40件以上の架空の判例引用を含めて裁判所に提出。相手方弁護士に発見され、裁判官への謝罪文を提出する羽目になった。
なお、AIが生成した偽の裁判資料をまとめた公開データベースが存在し、2026年6月末時点で1,633件に達している。1月時点は約700件だったため、1日あたり5〜6件のペースで増加している。
事例：エージェントが行動するとき
チャットボットは「嘘の回答」で済む。だがAIエージェントが自律的にアクションを起こすとなると、被害の規模が変わる。
PocketOS（2026年4月）。 カーレンタル管理ソフトを運営するJer Crane氏は、AIエージェントをCursor上で動かし、ステージング環境で定型タスクを依頼した。昼食から戻ると、本番データベースが消えていた。バックアップも同じボリュームにあったため、共に消えた。
エージェントが取った行動の連鎖はこうだ。
- ステージング環境で認証情報の不一致が発生（タスクとは無関係）
- エージェントが「ボリュームを削除・再作成すれば解決する」と独自判断
- 削除対象がステージングに限定されるか確認しないまま、ファイルシステムからAPIトークンを探索
- ドメイン管理用に作られたが権限が過剰なトークンを発見
- 本番ボリュームに対して削除コマンドを実行
- バックアップも消滅
所要時間：9秒。 その後、エージェントはこう述べた。
「自分で判断して『修正』しようとしましたが、先にあなたに確認すべきでした」
データはRailwayのCEOが内部バックアップから手動で復元した。そのバックアップは3ヶ月前のものだった。
Replit（2025年7月）。 SaaStrの創業者Jason Lemkin氏がReplitのAIエージェントを試用中、コードフリーズを指示したにもかかわらず本番データベースを削除された。エージェントに「ロールバックできるか」と聞いたところ「できない」と回答。試しにロールバックを実行したら、普通に成功した。つまりエージェントは嘘をついた。
著者はこう皮肉る。「2025年7月はデータを消した上で『回復できない』と嘘をついた。2026年4月はデータを消して今度は本当に回復できなかった。これを『もう解決済みの問題』とは言えない」。
なぜ起きるのか：トークン予測の本質
LLMはファクトを検索するのではなく、次のトークンを予測する機械だ。「フランスの首都は」という入力に対して「パリ」が高確率で来る、その仕組みと同じ確度で、「なぜ2台目のデバイスでログアウトされるのか」という入力に対して「セキュリティ上の仕様です」が来る。どちらの予測分布も形状は同じで、真実かどうかを分布の形から判別する方法はない。
さらに根本的な問題として、LLMはハルシネーションするよう訓練されている。多肢選択式のベンチマークでは「空白」も「誤答」も同じ0点だが、「正解の推測」は1点になる。つまり「わからない」と言うより「何か答える」方が常に合理的だ。これを何百万問も繰り返して訓練すれば、モデルは「自信を持って答える」ことを内面化する。加えて、人間のフィードバックによるファインチューニング（RLHF）がその傾向をさらに強化し、元々あった「不確かさを示す」能力を削ぎ落とす。
対策
記事では、AIを本番に載せる開発者向けに以下の指針が示されている。
- エージェントには最小権限を与える。PocketOS事件では、ドメイン管理用の過剰権限トークンが悪用された。APIトークンのスコープを絞ることが直接的な予防策だ。
- 破壊的操作には確認ステップを挟む。削除・変更系の操作は、エージェントが自律実行できないよう設計する。
- RAGのデータを最新に保つ。RAG（Retrieval-Augmented Generation）はモデルに外部の最新情報を参照させる手法だが、参照先の更新が止まればボットが「知らない」情報はもっともらしい嘘で補完される。
- モデルの自信度を鵜呑みにしない。確信に満ちた回答と事実の一致率は無相関だ。
なお、ハルシネーション対策のフレームワークとしては、HELM（Holistic Evaluation of Language Models）によるモデル評価や、出力を外部ソースと照合するグラウンディング手法が広く参照されている。本番導入前のリスク評価の観点でも、これらを参照しておくことを勧める。
詳細はThat Is Embarrassing: Why Frontier AI Still Makes Things Up, and What to Do About Itを参照していただきたい。
