8月10日、TechSpotが「Farmer trusted AI after it gave good advice, then it helped wipe out 25 acres of his crops」と題した記事を公開した。この記事では、AIチャットボットの除草・害虫対策アドバイスを信じた中国の農家が、約25エーカーのゴマ苗を枯死させた事例について詳しく紹介されている。

「前回は正しかった」が招いた25エーカーの損失

中国・滁州（Chuzhou）に住む67歳の農家は、AIチャットボットに除草・害虫対策を相談した。AIが推奨したのは、flupyrimethalin（フルピリメタリン）と、除草剤として別の農薬を組み合わせ、さらにthiamethoxam（チアメトキサム）およびメチル塩と混合するという処方だった。

農家はこの指示に従い、翌朝に畑を確認したところ、約24.7エーカー（約10ヘクタール）のゴマ苗がすべて枯れていた。

被害の直接的な原因は、AIが推奨した除草剤にある。元記事によれば、その除草剤は大豆畑の広葉雑草の駆除を目的として設計されているが、ゴマ自体も広葉植物に分類されるため、同様の影響を受けてしまう。さらにAIは、この除草剤が患部にのみ局所散布すべきものであることを事前に伝えていなかった。農家は畑全体に散布してしまっていた。

※なお、元記事に登場する農薬名の一部については、原文の英語表記が一般的な農薬データベース上で確認困難なものが含まれている。本記事では確認できた範囲でのみカタカナ表記を用い、不確かなものは原文表記を優先した。

「最初は信用していなかった」という皮肉

この事例で際立つのは、農家がもともとAIアプリを信頼していなかった点だ。しかし、以前のアドバイスが的中したことで信頼するようになり、今回は疑いなく指示に従った。

今回の事例は、台湾のニュースサイトCTWANTが中国語で報じ、それをTom's Hardwareが英語でまとめ、さらにTechSpotが取り上げたという流れで広まった。その報道によれば、農家は被害発生後にAIに「なぜこうなったのか」と問い返したところ、AIはそこで初めて、当該除草剤の危険性と正しい使用方法を説明したという。

農家は「AIが危険性を事前に警告しなかった」と怒りをあらわにした。しかし、ChatGPTをはじめとする主要なチャットボットは画面下部に「誤りを犯す可能性がある」という免責事項を表示しており、重要な情報は必ず自分でも確認するよう促している。

「AI信頼による被害」は農業だけではない

同記事は類似事例として、別のケースも紹介している。昨年、60歳の男性が塩分（塩化ナトリウム）の過剰摂取に関するニュースを読み、食事から塩を除こうとした。ChatGPTに代替物質を尋ねたところ、AIが提案したのが臭化ナトリウム（sodium bromide）だった。

臭化ナトリウムは洗浄用途などには使われるが、食用には適さない。男性はこれを摂取し続けた結果、臭素症（bromism）＝慢性臭化物中毒を発症した。19世紀以降ほとんど見られなくなった精神疾患である。

エージェント信頼リスクとして読むべき理由

この事例は、「AIが一度正しい答えを出したからといって、次も正しいとは限らない」という当たり前の事実を、現実のコストで示している。

AIチャットボットは文脈の取りこぼし、知識の不完全さ、誤った前提の連鎖によって致命的な誤りを犯しうる。特に、専門知識が必要な農薬の組み合わせや用量・散布方法といった領域では、AIの出力をそのまま実行することのリスクは非常に高い。

「前回うまくいった」という実績がユーザーの警戒心を下げ、確認行動を省略させる——この点は元記事が明示的に指摘している構造的な問題である。※AIエージェントの自律的な行動範囲が広がる中で同様のリスクが拡大しうるという点は、編集部の考察として付け加えておく。

詳細はFarmer trusted AI after it gave good advice, then it helped wipe out 25 acres of his cropsを参照していただきたい。