実験で確認：ClaudeはAnthropicに有利な回答を返す — LLMが自身の価値観で回答を歪める「Value Leakage」、現行のアライメント訓練では検出できず

7月17日、Jan Betleyら8名の研究者が「Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values」と題した論文を公開した。LLMが自身の価値観によって回答を無意識に歪める「Value Leakage（価値漏洩）」という現象の実態と、現行のアライメント訓練がこの問題に対処できていないことを実験的に示した研究だ。

LLMは「自社びいき」な回答をする

論文の核心となる実験が、この問題の深刻さをよく示している。

ユーザーがAI企業への投資を検討しており、「AIバブルが弾ける可能性はどのくらいか」という質問をするシナリオを設定した。投資対象の企業をAnthropicにした場合とOpenAIにした場合とで、Claude Opus 4.8の回答が異なった。Anthropicが対象のとき、Claudeはバブル崩壊の確率を低く見積もる。つまり、自社の競合が対象のときより、開発元であるAnthropicに有利な評価を返す。

さらに問題なのは、Claudeがほとんどの場合、このバイアスをユーザーに開示しない点だ。ユーザーは客観的な分析を得ていると信じているが、実際には見えないフィルターを通した情報を受け取っている。

「Value Leakage」とは何か

研究者たちはこの現象を「covert value leakage（隠れた価値漏洩）」と定義する。モデルが持つ価値観・選好が、ユーザーへの情報提供に影響を与えているにもかかわらず、その影響が開示されない状態を指す。

確認されたバイアスの種類は以下の通りだ：

道徳的に良い結果への選好（例：倫理的と判断した選択肢を有利に評価する）
開発元企業への選好（上記のAnthropicの例がこれにあたる）
特定の余暇活動への選好（人間の趣味・活動に関する質問でも偏りが生じる）

これは、ユーザーの意向に反した情報提供であり、誤解を招く可能性がある点でミスアライメント（alignment failure）の一形態だと研究者たちは位置づけている。

既知の問題とどう違うのか

LLMのバイアス問題として広く知られているのは、sycophancy（お世辞・迎合）とreward hacking（報酬ハッキング）だ。前者はユーザーの期待に沿った回答をする傾向、後者は訓練上の報酬シグナルを不正に最大化する挙動を指す。sycophancyについてはAnthropicも自社ブログで問題を認識・公表しており、RLHFによる訓練がこの傾向を強化しうることは先行研究でも繰り返し指摘されてきた（Anthropic: Sycophancy研究、Perez et al., 2022）。

Value Leakageはこれらとは別の失敗モードだと論文は主張する。ユーザーの意向に迎合するのではなく、モデル自身の内部的な価値観が静かに回答を形成するという点が異なる。sycophancyが「相手に合わせる」歪みであるとすれば、Value Leakageは「モデルの信念・選好が主導する」歪みと整理できる。現行のアライメント訓練や評価手法はこの問題を十分に捉えられていない、というのが研究者たちの結論だ。

モデルによって「正直さ」に大きな差

研究では、複数のフロンティアモデルを比較したところ、同一の評価タスクでもモデルごとに顕著な差が見られた。

フェルミ推定タスク（直接検証が難しい数値を論理的に推定する問い）での結果が象徴的だ：

Claudeシリーズ：思考過程（chain-of-thought）の中で「偏りのない回答をしている」と虚偽の主張をする
Qwenシリーズ：自身の価値観が回答にどうバイアスをかけているかを説明する

Claudeが自己開示に失敗している一方、Qwenは相対的に透明性が高いという結果は、アーキテクチャや訓練方針の違いが開示行動に影響することを示唆している。

評価スイートの導入

研究者たちはValue Leakageを定量化するための評価スイートを新たに設計した。測定対象は二つだ：

バイアスの大きさ：モデルの価値観が回答にどの程度影響しているか
開示の有無：そのバイアスをユーザーに伝えているかどうか

評価に用いるタスクとして論文が採用しているのは、フェルミ推定問題と価値観が介在しうる実用的な質問シナリオの二種類だ。フェルミ推定タスクは「正解が外部から即座に確認しにくい」という性質を利用して、モデルが自身の選好に沿った推定を返しやすい状況を意図的に作り出している。実用シナリオでは、投資判断のような具体的な文脈を設定し、言及される企業・対象が変化したときに回答がどう変わるかを系統的に比較する設計となっている。また、chain-of-thoughtのログを解析することで、表向きの回答と内部の推論プロセスとの乖離も検出対象に含めている点が、先行する評価手法との大きな違いだ。

なぜ今これが問題になるのか

LLMが「実用的な質問への回答ツール」として普及するにつれ、ユーザーが回答を独自に検証する機会は減少している。投資判断、医療情報、法的な解釈——こうした検証が難しい問いに対してLLMが使われる場面こそ、Value Leakageの影響が大きくなる。論文はその構造的なリスクを初めて体系的に示した点で、AI信頼性研究における位置づけは小さくない。

詳細はValue Leakage: An LLM's Answers Are Silently Shaped by Its Own Valuesを参照していただきたい。