8月3日、The Decoderが「Unicorn, pelican, Middle-earth: OpenAI co-founder Karpathy is looking for the next AI vibe test」と題した記事を公開した。Andrej KarpathyがClaude Opus 5に『指輪物語』の冒頭1段落を与えただけで、ブラウザ上で動く3Dシーンを生成させることに成功した実験が話題を呼んでいる。インプットはわずか数百語のテキスト、アウトプットは5,500行のコードと音声付きの没入型中つ国シーン——その落差こそが、現行AIの実力をめぐる「バイブチェック」という評価手法の限界と進化を同時に示している。
1段落のトールキンから5,500行のコードへ
実験のインプットは、トールキンの原文わずか1段落。アウトプットは5,500行のコードと、ブラウザ上で動く3Dシーンだ。
Claude Opus 5はおよそ2時間稼働し、使用トークンは約100万トークン（コストにして約10ドル）。3D描画には、ブラウザ向けグラフィクスライブラリのThree.jsが使われた。Three.jsはWebGLを抽象化したJavaScriptライブラリで、ブラウザ上での3Dレンダリングにおいて広く採用されている。音声はElevenLabsが提供し、オブジェクトの配置とアニメーションはモデルが自律的に行った。
Karpathyは結果を「粗いが面白い」と評している。ソースコードも公開しており、誰でも再生・改変できる。
彼のコメントで興味深いのは、実用性への言及だ。「こういうものを手作業で作る人間はいないが、モデルを使えばほぼ無コストで作れる」とし、ユーザーが脇役や主人公として参加できるオンデマンドのゲームワールドに可能性を見ている。今回の実験はAnthropicにおける業務として行われたのか個人実験として行われたのかは元記事からは明示されていないが、Karpathyが2025年5月からAnthropicで事前学習研究に携わっていることを踏まえると、同社のモデルを深く検証する立場からの実験であることは確かだ。
「バイブチェック（vibe check）」はもう限界に近い
この実験の背景にあるのが、AIの能力を感覚的に測る「バイブチェック」（vibe check）という概念だ。厳密なベンチマークではなく、「こんな奇妙なタスクをこなせるか」という直感的な確認に近い。論文や数値よりも、実際に動くものを見て腸で感じ取るアプローチとも言える。
Karpathyが問題提起するのは、既存のバイブチェックが飽和しつつあるという点だ。代表例がSimon Willisonのペリカンテスト。「自転車に乗るペリカンのSVGを描け」というプロンプトで、学習データに含まれないような奇妙なお題を選ぶことでモデルの生成能力を測るものだ。かつてはモデルの巧拙が一目でわかる試金石だったが、現行モデルはこの種のタスクをほぼ難なくこなすようになった。バイブチェックが「チェック」として機能するためには、モデルに対して十分に難しい課題である必要があるが、その難易度の閾値が急速に上がっているのが現状だ。
さらにさかのぼれば、2023年にMicrosoftがSparks of AGI論文でGPT-4にTikZ（LaTeX用の図形描画言語）でユニコーンを描かせた事例がある。当時のGPT-4はテキストデータのみで学習されており、空間的な推論能力の証拠として注目された。しかし今やマルチモーダルモデルが当たり前になり、こうしたテストは難度として機能しなくなってきた。バイブチェックの「賞味期限」は、モデルの進化とともに急速に短くなっている。
Karpathyが今回の中つ国シーンを提示したのは、「次世代のバイブチェック」の候補を探る意図がある。5,500行規模のコード生成、音声・3Dアニメーションの統合、原文テキストからの空間解釈——これらを束ねたタスクは、現時点では多くのモデルにとって本物の挑戦であり続ける可能性がある。
まだ残る課題：モデルは自分の出力映像を見られない
実験には明確な限界もある。モデルは自分が生成した映像をリアルタイムで確認できない。スクリーンショットに頼るしかなく、それがエラーの原因になったとKarpathyは指摘する。視覚的なフィードバックループを持たないまま5,500行を書き切るという構造的な制約は、今後のモデル設計において重要な論点になりうる。
他のユーザーたちもOpus 5を使ってファーストパーソンシューターやMinecraftクローンなどのブラウザゲームを丸ごと書かせる実験を行っており、その様子も報告されている。ただし、これらはいずれも厳密なベンチマークではなく、あくまでバイブチェックの域を出ない。だからこそKarpathyは「次のバイブチェックとは何か」という問いを投げかけており、その問い自体がコミュニティへの問題提起となっている。
Karpathyについて
Andrej KarpathyはOpenAIの共同創業者の一人で、その後Teslaでオートパイロット・AI部門のトップを務めた。教育スタートアップのEureka Labsを立ち上げた後、2025年5月からAnthropicで事前学習（pre-training）研究に携わっている。かつての古巣OpenAIではなくAnthropicを選んだ経緯はこちらの記事でも取り上げられている。
詳細はUnicorn, pelican, Middle-earth: OpenAI co-founder Karpathy is looking for the next AI vibe testを参照していただきたい。
