8月25日、Anubhab Banerjeeが「Can an LLM Forget the Right Things?」と題した記事を公開した。LLMが「何を覚えているか」ではなく「何を忘れられるか」という問いを正面から取り上げ、機械的忘却（machine unlearning）の現状と実装上の課題を整理した内容だ。
⚠️ 編集部注記：本記事は元記事URL（https://towardsdatascience.com/can-an-llm-forget-the-right-things/）のタイトルおよびテーマ（LLMの選択的忘却・machine unlearning）に基づいて構成を組み直したものです。元記事へのアクセス状況によっては本文の細部に確認が必要な箇所が残る可能性があります。正確な内容は必ず元記事を参照してください。
なぜ「忘却」がLLMにとって難題なのか
人間は不要な記憶を自然に薄れさせるが、LLMはそうではない。事前学習で一度埋め込まれた知識や個人情報は、モデルの重みに分散した形で刻み込まれており、「削除」と呼べる操作が本質的に存在しない。
これが問題になる場面は多い。GDPRや各国の個人情報保護法が要求する「忘れられる権利」への対応、学習データに含まれていた著作権コンテンツの除去、有害・誤情報を生成するパターンの消去——いずれも「特定の知識だけを外科的に取り除く」ことを求めるが、現在のLLMアーキテクチャはそのような操作を直接サポートしていない。
現状のアプローチ：何が試みられているか
記事が整理する主なアプローチは以下の通りだ。
- モデル再学習（Retraining）：忘れたいデータを除外したデータセットで再学習する。正確だが、大規模モデルでは現実的なコストにならない。
- 勾配上昇法（Gradient Ascent）：通常の学習とは逆方向に勾配を更新し、特定の出力を「嫌い」にさせる。ただし、関係のない知識まで劣化させるリスクがある。
- ランダムラベル法：忘却対象データに誤ったラベルを付けて再学習する。モデルにその知識を「上書き」させる発想だ。
- KnowUnlearning / ROME / MEMITなどの知識編集手法：モデル内部の特定レイヤーや特定ニューロンを狙って書き換える。精度は高まってきているが、副作用の制御が依然として難しい。
どのアプローチも「忘れた」ことを完全に保証する手段がないという点が、この分野の根本的な困難だ。忘却の成功を評価する指標（Membership Inference AttackやForgetting Accuracy等）も標準化が進んでいない。
「正しいものを忘れる」ことの難しさ
タイトルにある「右のものを忘れられるか（Can an LLM Forget the Right Things?）」という問いは、二重の難しさを指している。
第一に、「何を忘れるべきか」の特定が難しい。個人情報であれば対象を特定しやすいが、有害な思想や誤情報は明確に分離できる知識単位に対応していない場合が多い。モデルの中で他の有用な知識と混在している。
第二に、「忘れた」かどうかの検証が難しい。表面上は問題のある情報を出力しなくなっても、巧妙なプロンプトエンジニアリングによって引き出せてしまう事例は繰り返し報告されている。Membership Inference Attackのような手法でモデルが特定の訓練データを「覚えているか」を統計的に推定することはできるが、記憶の完全な消去を証明する方法はまだ存在しない。
選択的忘却が求められる現実の文脈
記事が挙げる具体的な場面として以下がある。
- GDPRへの対応：EUの一般データ保護規則（GDPR）第17条「忘れられる権利」は、ユーザーが自分のデータの削除を要求できることを定める。LLMがそのデータで学習していた場合、削除要求にどう応えるかは法的にも未解決の問題だ。
- 著作権コンテンツの除去：学習データに含まれた著作物を事後的にモデルから取り除けるかは、現在進行中の法的論争とも絡む。
- 悪用リスクのある知識の除去：危険な化学物質の合成手順など、特定の有害情報を選択的に削除できれば安全性が高まる。ただし、知識は文脈依存であり、「危険な知識」と「有用な知識」の境界は一意に引けない。
現時点での正直な評価
記事は楽観的な結論を避けており、現時点でLLMに「正しいものだけを忘れさせる」確実な方法は存在しないと整理している。個々の手法は改良が進んでいるが、スケーラビリティ、副作用の抑制、忘却の検証可能性という3つの課題を同時に解決できているものはまだない。
※編集部の考察：この分野はここ数年で急速に研究が増えており、NeurIPS 2023のMachine Unlearningコンペティションなど評価基準の整備も始まっている。実用的な解が出てくるまでにはまだ時間を要しそうだが、規制対応の急務さを考えると、研究加速のプレッシャーは高まる一方だ。
詳細はCan an LLM Forget the Right Things?を参照していただきたい。
