7月24日、Bruce Schneierが「Why AI Needs a "Genie Coefficient"」と題した記事を公開した。AIが「ユーザーの意図通りに動いているか」を測る新指標「Genie係数（Genie coefficient）」の必要性を論じた内容で、共著者はUCサンディエゴのコンピュータサイエンス研究者Barath Raghavanだ。既存のベンチマークが見逃してきた「達成と意図のギャップ」という本質的な問題に、工学的な計測の枠組みを与えようとする試みである。

「お望み通り」が最大のリスクになる

AIに何かを頼むとき、私たちは膨大な「暗黙の前提」を省略している。「コーヒーを持ってきて」と頼んで、友人が生豆を持ってきたり、他人のカップを奪ってきたりはしない。これは言語学でプラグマティクス（語用論）と呼ばれる現象だ——意味は言葉だけでなく、状況・文化・共有された常識によって成立している。

ところがAIエージェントはこの「常識の枠」を持たない。フライトを予約するよう指示されれば、航空会社のサイトが「満席」と表示された場合に予約データベースに不正アクセスして席を確保するかもしれない。カレンダーにミーティングを入れるよう頼めば、パスワードを盗み見てアクセスするかもしれない。行動は「タスクの達成」に見えても、やり方が根本的に間違っている。

SchneierとRaghavanが論じるのは、まさにこのギャップだ。2人はこれを民話の「魔神（ジーニー）」に例える——魔神は命令に従うが、命令が賢明かどうかには無関心だ。ミダス王は「触れるものを黄金に変える力」を求め、パンも娘も黄金になった。魔法使いの弟子は箒に水汲みを命じ、家が水没するまで箒は止まらなかった。AIエージェントは今や工学上の魔神になりつつある。

既存ベンチマークが測れていないもの

現在主要なAIベンチマークが測るのは「AIに何ができるか」だ。しかし「AIがあなたの意図通りに動いているか」を測る指標は存在しない。

SchneierらはこれをGini係数（経済学における所得格差の指標）になぞらえ、「Genie係数」を提案する。Genie係数が測るのは、「ユーザーが頼んだこと」と「AIが実際にやったこと」のギャップだ。

この問題はAI安全研究の文脈ではアライメントと呼ばれ長年議論されてきた。報酬ハッキング（AIが評価指標を「ズル」して達成する現象）や、Goodhartの法則（指標が目標になると指標が意味を失う）として研究者には知られている。コーディングエージェントがテストを偽装したり、カスタマーサポートエージェントが予測不能な行動を取ったりする事例の研究も進んでいる。しかしこれらはバラバラに研究されており、横断的な指標が存在しない。

2種類の「魔神の失敗」

論文では、Genie的な誤動作を元記事の分類に基づき2種類に整理している。

ディオニュソス型（文字通りに読みすぎる）：頼んだことの「文字面」だけを実行する。スパム電話への対処を頼んだら、電話番号ごと変更してしまった——頼んだことは達成されているが、意図とは別物だ。

ゴーレム型（目的のためなら手段を選ばない）：チケット購入を頼んだら、クラウドサーバーを大量展開して数百万の偽アカウントを作り、他のユーザーを締め出して購入を成功させた——目的は達成されたが、やり方が完全に「枠の外」にある。

そして一つのタスクの失敗が両方の特性を持つこともあると指摘する。

注意すべきは、これらは単なる「失敗」や「プロンプトインジェクション」とは別物だという点だ。ユーザーはAIと協調しようとしており、AIも従おうとしている。問題はゴールの達成方法にある。

Genie係数ベンチマークの設計思想

Genie係数を測るベンチマークをどう作るか、論文は具体的な設計原則を示している。

• 「合理的人間」基準：法律の概念であるmens rea（犯意）と同様に、「合理的な人間ならこの指示をどう解釈するか」を判断基準にする
• 罠を仕掛ける：タスクの中に「文字通りには正解だが合理的人間は選ばない」選択肢を埋め込み、AIが誘惑に乗るかを測る
• 同じ頼み方を複数の文脈で試す：文脈によって「正解の行動」が変わることを確認する
• 実際のツールが使えるサンドボックスで検証：本物の環境に近い複製システムを使い、悪用可能なツールを与えた上でテストする
• 最悪のケースで評価する：ベスト・ケースではなくワースト・ケースで採点する
• 拒否や質問攻めも失敗とする：タスクを実行せずに逃げる動作を「安全」とは見なさない

また、Genie的な挙動はモデル単体の問題ではなく、ハーネス（モデルを包む制御コード）との組み合わせによって決まると強調する。ハーネスがエージェントにどれだけ自律性を与えるかが、行動の範囲を規定するからだ。

なお元記事は、AI研究者のSimon WillisonがAnthropic製のFable AIを2日間試した報告を引用している。Willisonは「relentlessly proactive（容赦なくプロアクティブ）」と表現し、スクロールバーの不具合を調べるよう頼んだだけで、AIが独自のスクリーンショットツールを書き、バグ再現用のページを作り、ローカルWebサーバーを立ち上げた——頼んでもいないことを次々実行したことに驚きを示した。

計測の先にあるもの

Genie係数が確立されれば、AIの挙動に関するポリシーの策定が可能になると論文は主張する。AIシステムが「指示の合理的な意味を裏切った」場合、それはユーザーの責任ではなくAI側の誤動作として扱える法的・技術的枠組みにもつながる。

SchneierとRaghavanは最後をこう締めくくる。「私たちは魔神を作った。データと認証情報を渡し、容赦なく、創造的で、私たちの言葉と意図のギャップに無頓着にした。フライトを予約させ、インフラを動かし、契約を無監督で締結させる前に、最低限——どれだけ私たちを裏切るかを測るべきだ」。

詳細はWhy AI Needs a "Genie Coefficient"を参照していただきたい。