8月22日、Sebastian Raschkaが「How Claude Watermarks AI-Generated Text」と題した記事を公開した。AnthropicがClaudeに実装したテキスト透かし(ウォーターマーク)技術の核心は、モデル本体ではなくサンプリング層という意外な場所に仕込まれている。この一点を押さえるだけで、仕組みの理解だけでなく限界も自然に見えてくる。全52スライド・約48分の講義動画と詳細なトランスクリプトで構成された本記事は、Anthropicの公式発表を技術的に読み解く補完資料として機能している。
核心:透かしはトークンサンプリングに仕込まれる
ここが本記事で最も重要なポイントだ。
LLMがテキストを生成する際の流れを整理する。
- 入力テキストをトークンIDに変換する
- LLMがトークン全語彙(ボキャブラリー)にわたるスコア分布(ロジット値)を出力する
- そのスコア分布からサンプリングして次のトークンを決定する
ロジット値とは、モデルが各トークンに割り当てる生のスコアで、マイナス無限大からプラス無限大の範囲を取る。これをソフトマックス関数で確率分布に変換してからサンプリングするのが一般的な実装だ。
ウォーターマークはこの「サンプリング」ステップに介入する。
通常のサンプリングでは、確率の高いトークンをランダムに選ぶ。ウォーターマーキングでは、秘密鍵を使ってボキャブラリーをグリーンリストとレッドリストに分割し、グリーンリストのトークンが優先的に選ばれるようスコアを調整する。この操作はモデルの外部で行われるため、モデル本体を変更する必要はない。
生成されたテキストを後から解析すると、グリーンリストのトークンが統計的に有意に多く出現していることがわかる。これがウォーターマークの検出原理だ。Anthropicだけが秘密鍵を持つため、第三者は検出できない。
なお、グリーンリスト/レッドリストによるサンプリング介入というアプローチは、Kirchenbauer et al.(2023)「A Watermark for Large Language Models」で提案された手法を基盤としており、Anthropicの実装もこの研究系譜に連なる。
なぜ今、テキスト透かしが注目されているのか
2025年8月14日、AnthropicはClaudeのテキスト出力にウォーターマークを埋め込む機能を発表した。目的はシンプルで、「このテキストはClaudeが生成したものだ」とAnthropicだけが確認できる仕組みを作ることだ。ウォーターマークはユーザーには不可視で、Anthropicのみが復号できる。
LLM生成テキストがインターネット上に溢れる中、「どのテキストがAI由来か」を特定する技術的手段として、ウォーターマークへの関心は業界全体で高まっている。GoogleもSynthIDでテキスト・画像・音声へのウォーターマーク技術を展開しており、OpenAIもウォーターマーク研究への取り組みを公表している。ただし、Anthropicの公式説明は概念的な説明にとどまり、図も少なく、技術的な仕組みは読み解きにくい。Raschkaはこの点を補うべく、詳細な解説記事と講義動画を公開した。
「テキスト品質が下がる」懸念への答え
ウォーターマーク導入に対してよく挙がる懸念が、「グリーンリスト優遇によってテキストの質が落ちるのでは?」という点だ。
この点について記事は、語彙サイズが大きいLLMでは影響が軽微であることを説明している。現代のLLMが扱う語彙は数万〜数十万トークンに及ぶ。そのうちの半分をグリーンリストとしても、文脈上適切なトークンがグリーンリスト内に十分存在するため、生成品質への実質的な影響は小さいとされる。
一方で、コードや固有名詞、数式など「正解トークンが限られる文脈」では品質への影響が出やすいという指摘もある。
ウォーターマークを「除去」できるか
記事が取り上げるもう一つの重要な論点が、除去耐性だ。
- パラフレーズ(言い換え):テキストを別の言葉で言い換えると、トークン選択が変わり、グリーンリスト比率が崩れる。除去に有効とされるが、元の意味を保ちながら完全に除去するのは難しく、意味の劣化とのトレードオフが生じる。
- 翻訳→逆翻訳:一度別言語に翻訳してから戻す操作も、ウォーターマークを壊すとされる。ただし翻訳モデルの品質に出力が左右される。
- テキストの一部改変:一部のトークンを置き換えることで検出精度を下げられるが、どの程度の改変で検出が失敗するかは統計的な閾値に依存する。改変量が増えるほど元テキストの価値も損なわれるというジレンマがある。
- コピー&ペーストの分断:長文を細切れにして引用・転載する操作も、検出に必要な統計的有意性を下げる効果がある。短いテキストほどウォーターマーク検出の精度が下がる点は、設計上の根本的な制約だ。
つまり、ウォーターマークは万能ではなく、意図的な除去に対して完全な耐性を持つわけではない。あくまで「悪意のない利用者が意図せずAI生成テキストを拡散するケース」や「大量のコンテンツを機械的にスクリーニングするケース」での有効性が主な想定だ。Kirchenbauer et al.(2023)の原論文でも、パラフレーズ攻撃への耐性は限定的であることが認められており、これはウォーターマーク研究全体における未解決課題のひとつでもある。
実装上の要点まとめ
| 項目 | 内容 |
|---|---|
| 介入タイミング | サンプリングステップ(モデル外部) |
| 秘密鍵の役割 | ボキャブラリーのグリーン/レッド分割と検出 |
| 品質への影響 | 語彙が大きければ軽微、コード等では注意 |
| 除去耐性 | パラフレーズ・翻訳等で低下する |
| 検出可能者 | 秘密鍵保持者(Anthropic)のみ |
「From Scratch」で理解することの意義
記事全体を通じてRaschkaが強調するのは、LLMのテキスト生成をゼロから実装して理解することの有用性だ。ウォーターマークがサンプリング層という具体的な箇所に介入していると分かれば、その影響範囲と限界が自然と見えてくる。抽象的な概念説明だけでは気づきにくい部分だ。
詳細はHow Claude Watermarks AI-Generated Textを参照していただきたい。