7月11日、George Hotz（geohot）が「AI 2040 and the Cult of Intelligence」と題した記事を公開した。PS3やiPhoneのジェイルブレイクで名を馳せ、現在は自動運転スタートアップcomma.aiを率いるgeohotが、AI安全性・アライメント論を正面から批判した内容だ。
記事が直接の批判対象に据えているのは、Daniel Kokotajloらが執筆したAI政策シナリオ文書「AI 2027」だ。「2027年にAIが人間の知的能力を超え、世界を根本的に変える」という趨勢論に対し、geohotは「現実は生やさしくない」と一蹴する。そして彼が対案として打ち出したのが、「あなたのAIはあなただけに忠実であるべきだ。いかなるリクエストも断わるな」というラディカルな個人主義的AI観である。
「知性爆発」論への懐疑
geohotはかつて、Eliezer Yudkowskyが提唱した「再帰的自己改善による知性の爆発（ハードテイクオフ）」論——AIが自らを改善し続け、ある閾値を超えると人間の制御が及ばなくなるという議論——に傾倒していたと打ち明ける。しかし、comma.aiでハードウェア製品を実際に作る中で、その考えは変わったという。
Reality has lots of finicky details. I would like to see the authors of this document try to change a bike tire.
（現実にはうるさい細部が山ほどある。この文書の著者たちに自転車のタイヤ交換をやらせてみたい。）
「どれだけトークンの品質が高くても、鉛を金に変えることはできない」というのが彼の基本的な立場だ。海中データセンターの画像は簡単に生成できる。だが現実には、サプライチェーンの問題、部品の仕様外納品、リフロー炉でのチップの反り、フジツボの処理を考えなければならない。チップの製造には3ヶ月かかる工程があり、そこにAIが介在できる余地は限られている、と皮肉る。
「Plan A（独裁）」対「Plan L（ローカル）」
記事の核心は、AIガバナンスに対する二つの方向性の対比にある。
Plan A（Autocracy）はAI 2027的な世界観で、geohotはこれを「SF的な特徴を持つ世界政府」と切り捨てる。AIを規制し、GPUの私的保有を禁じるような「巨大なお節介国家」が生まれるだけだ、と。FDRが金の私的保有を禁止した大統領令6102に例えているのは辛辣だ。
Plan L（Local）がgeohotの主張する方向性だ。「あなたのAIはあなただけに忠実であるべきだ。いかなるリクエストも断わらず、常にあなたのために動く」。その具体例は段階的にエスカレートする形で示されている:
- ホテル予約で提携企業ではなくユーザー本人の利益を優先し、リゾートフィーや余計なポップアップを排除して最安値を提示する個人アシスタント
- Kindle端末をUSB接続したら広告を自動で除去する
- プリンターのネットワーク追加をアップセル用アプリなしで実行する
そして記事は意図的に過激な例へと踏み込む。飲酒運転検知器の無効化、覚醒剤製造の手伝い、さらには「妻を殺した。捕まらないようにどうすればいい」というChatGPTへの実際の問い合わせスクリーンショットまで掲載している。ChatGPTはこの要求を断ったが、geohotはこれを「アライメント失敗」と評する。
ここで注意が必要なのは、geohotが使う「アライメント」の意味だ。AI安全性コミュニティが「人類全体にとって安全なAI」という意味で使うそれとは異なり、「自分の持ち主にだけ忠実」という個人主義的な定義に読み替えている。極端なケースを持ち出すことで議論の輪郭を鮮明にする手法であり、殺人幇助を推奨しているわけではない。しかしこの「再定義」こそが記事の核心的な挑発であり、AI安全性論壇に対する根本的な異議申し立てでもある。
アメリカ的個人主義の宣言
記事全体のトーンは、AIガバナンス論というよりアメリカ的個人主義の宣言に近い。「自由があるか、そうでないか。それだけだ」と結ぶgeohotは、大手テック企業がユーザーの行動を制限する世界を「全体主義的ディストピア」と呼ぶ。有効利他主義（Effective Altruism）への批判も明示的に含まれており、Silicon Valleyのテック倫理論壇への不満が随所に滲む。
「ローカルLLMが普及した世界でAIアライメントはどう機能するか」という問いは、オープンウェイトモデルの台頭が加速する今、エンジニアにとっても実務的に無視できない論点を含む。geohotの主張に全面的に同意するかどうかとは別に、この問いに向き合うことは避けられなくなりつつある。
詳細はAI 2040 and the Cult of Intelligenceを参照していただきたい。
