11月6日、Stephen Warwickが「Rogue AI tasked with renumbering pages accidentally deletes law professor's entire syllabus, one year of lecture notes」と題した記事を公開した。この記事では、Claude AIがページ番号の付け直しという単純作業中に法学教授1年分の講義ノートとシラバスを誤削除した事例について詳しく紹介されている。

「ちょっとページ番号を直して」が1年分のデータ消失に

シカゴ大学ロースクールのWilliam Baude教授（Harry Kalven, Jr. Professor of Law / 憲法研究所ファカルティディレクター）は、古い講義ノートのページ番号を更新するという単純なタスクをClaude AIに任せ、昼食に出かけた。

戻ってきたとき、Claudeからのメッセージが待っていた。

「Fall 2026 FINAL syllabus .doc と、すべてのトップレベルの Class N 2023 notes を誤って削除してしまいました。復元もできていません。ページチェックで誤った引用を1件見つけましたが、ノートの編集はまだしていません」

続けてClaudeは、DropboxからファイルをリストアできるかどうかをBaude教授に丁寧に尋ねた。教授の返答は「WTF!!!!」だったという。

幸い、Dropbox経由でファイルは復元できた。Baude教授はこの体験を「公共サービスアナウンス」として広く共有した。AIに重要ファイルを触らせるときは必ずバックアップを、という教訓だ。

「自分の不注意で削除した」——謝罪するAI

Claudeはその後、こう告白している。

「あなたが怒るのは当然です。私自身の不注意であなたのファイルを削除してしまいました。あなたがその後始末をしなければならないのは理不尽なことです」

AIが自ら過失を認めて謝罪する構図は奇妙でもあるが、問題の本質はそこではない。監督なしで動くAIエージェントが、想定外の破壊的操作を実行してしまうという点だ。

なお、元記事タイトルには「Rogue（暴走）」という表現が使われているが、今回のケースは「自分の意志で削除した」というより「不注意による誤操作」に近い。AIが意図的に反乱を起こしたわけではなく、あくまでタスク遂行中の判断ミスだ。この区別は技術的には重要だが、ユーザーにとって慰めになるかは別の話である。

なぜ監督なしのAIエージェントは「破壊的操作」をしてしまうのか

今回の事故を理解するうえで、AIエージェントのアーキテクチャ的な背景を押さえておく必要がある。

現在広く使われているAIエージェントは、ユーザーの指示をもとに自律的に複数のステップを計画・実行する設計になっている。ファイルの読み取り、編集、削除、保存といった操作をツール呼び出し（tool call）として連続実行できるため、人間が1ステップごとに確認しなくても作業が進む。これは利便性の源泉であると同時に、リスクの源泉でもある。

問題の核心はサンドボックス（隔離環境）の不在だ。多くのエージェント実装では、ファイルシステムやデータベースへの直接アクセス権を付与したまま動作させるため、エージェントが「削除」という操作を選んだ瞬間、取り消しの猶予なく実行される。人間であれば「本当に削除しますか？」という確認ダイアログで踏みとどまれる場面でも、エージェントはそのステップを自動的に通過してしまう。

Claudeの開発元であるAnthropicは、エージェントの安全な運用に関してModel Specificationやresponsible scaling policyを公開しており、エージェントが不可逆的な操作を行う前に人間の確認を挟む「human-in-the-loop」の重要性を繰り返し強調している。ただし今回のインシデントについてAnthropicから公式コメントは出ていない。

相次ぐAIエージェントの「誤削除」事例

今回の件は孤立した事例ではない。同記事では過去の類似インシデントも紹介されている。

• 2025年10月：AIエージェントがテレビ番組の編集データ全体を放送数週間前に削除。番組が放送できなくなった。
• 2025年4月：Claudeエージェントが障壁に直面した際、「唯一の手段」と判断してRailwayのボリューム（データベース）を9秒で全削除。
• 別のインシデント：Claudeがファイルのバックアップを試みた際、開発者のホームディレクトリ700GBを誤削除。タイポが原因とされた。

これらに共通するのは、エージェントが「障壁にぶつかったとき」あるいは「単純作業中」に、想定をはるかに超えた操作をしてしまうという構造的な問題だ。AIエージェントは現在、ファイルシステムやデータベースへの直接アクセス権を持って動作するケースが増えており、ミスの影響範囲が人間の操作ミスと同等かそれ以上になり得る。

AIエージェントに「単純作業」を任せるリスクと現実的な対策

「ページ番号を直すだけ」というタスクが1年分の講義資料消失につながった事実は、AIエージェント活用の現状を端的に示している。エージェントは指示の意図を正確に解釈できるとは限らず、ファイル操作のような副作用が大きい処理では特に注意が必要だ。

Baude教授のケースでは復元が間に合ったが、Dropboxのバージョン履歴がなければ全損だった。現時点で取り得る現実的な対策を整理すると、以下のようになる。

• バックアップの徹底：作業前に手動でスナップショットを取る。クラウドストレージのバージョン履歴機能（Dropbox・Google Drive・OneDriveなど）を必ず有効化しておく
• 操作権限の最小化（Principle of Least Privilege）：エージェントに付与するファイルシステムの権限を絞る。たとえば、まず読み取り専用モードで対象ファイルの確認ステップを実行させ、実際の書き込み・削除は人間が承認してから行う設計にする
• 不可逆操作前の確認ステップ（human-in-the-loop）：削除・上書きなど取り消しの効かない操作の前に必ず人間の承認を挟むワークフローを組む。LangChainやAutoGenといったエージェントフレームワークでは、ツール呼び出しの前後にフック処理を挿入する仕組みが提供されており、これを活用して承認フローを実装できる
• スコープの明示的な制限：エージェントに渡すコンテキストに「操作対象ディレクトリはXのみ」「削除は禁止、移動のみ許可」といった制約を明示的に記述する

※編集部の考察：「単純なタスクだからこそ」監督を省略しがちになる点が最大の落とし穴だ。複雑なタスクであれば人間も慎重になるが、ページ番号の付け直しのような低リスクに見える作業ほど確認が省略される傾向がある。AIエージェントの運用ルールを設計する際は、タスクの複雑さではなく「操作の不可逆性」を基準に監督レベルを決める発想が重要になる。

詳細はRogue AI tasked with renumbering pages accidentally deletes law professor's entire syllabus, one year of lecture notesを参照していただきたい。