7月16日、Quesmaが「Baba Is Solved by Fable 5 and GPT-5.6 Sol, but at what cost?」と題した記事を公開した。インディーパズルゲーム「Baba Is You」を使って複数のLLMをベンチマークし、解答精度・速度・コストを比較した実験だ。最大の発見は「安くて速い」はずのGemini 3.5 Flashが全モデル中最高額を記録したことで、しかもオープンウェイトモデルのGLM-5.2に精度でも負けるという予想外の結果となった。なお、本記事に登場するGPT-5.5、GPT-5.6 Sol、GPT-5.6 Terra、Claude Fable 5、Claude Opus 4.8、Gemini 3.1 Pro、Gemini 3.5 Flash、GLM-5.2といったモデル名はいずれも元記事に記載されたものであり、2026年7月時点での実在確認は元記事を参照していただきたい。
パズルゲームでLLMを評価するという発想
Baba Is Youは、テキストブロックを押して「ルールそのもの」を書き換えるインディーパズルゲームだ。たとえば [WALL] [IS] [STOP] という並びを崩せば、壁をすり抜けられる。見た目は可愛いが難易度は高く、抽象的な論理推論を要求する。
このゲームはLLM評価の文脈でも注目されている。2024年にはBaba Is AIという論文が発表され、1年前のBaba Is EvalではClaude Sonnet 4が最初のチュートリアルレベルしかクリアできなかった。今年5月のBaba Is AgentではGemini 3.1 ProとGPT-5.5がステージ1をクリアするに至った。
類似の幾何学的パズルはARC-AGI-3ベンチマークの中核にも採用されている。ARC-AGI-3は視覚的・抽象的なパターン認識をLLMに課すことで、既存の言語的パターンマッチングでは解けない問題への対処能力を測るベンチマークだ。Baba Is Youの「ルールを操作して解く」設計はこの方向性と親和性が高く、「ベンチマーク汚染」が起きにくい領域として研究者の関心を集めている。今回の実験もその流れに位置づけられる。
Quesmaのチームは今回、ゲームを再実装するのではなく、オープンソースのBaba Is Harborリポジトリにゲームロジックをそのまま抽出し、エージェント評価フレームワークHarbor上で動かすアプローチを取った。Luaスクリプトからゲームロジックを解析するのに使ったのはClaude Codeで、「驚くほど簡単だった」という。
最大の発見：コストは性能と比例しない
Stage 0（チュートリアル）の結果
まずチュートリアルにあたるStage 0（8レベル）を15モデルで評価した。上位モデルの結果は以下の通り。
| モデル | pass@1 | 平均ターン数 | 合計コスト |
|---|---|---|---|
| GPT-5.5 | 100% | 8 | $13.62 |
| Claude Fable 5 | 100% | 6 | $40.98 |
| GPT-5.6 Sol | 100% | 11 | $11.91 |
| Claude Opus 4.8 | 96% | 35 | $63.14 |
| GLM-5.2 | 96% | 12 | $6.20 |
| Gemini 3.1 Pro | 92% | 8 | $12.41 |
| Gemini 3.5 Flash | 88% | 111 | $98.31 |
| GPT-5.6 Terra | 88% | 41 | $34.28 |
ここで目を引くのがGemini 3.5 Flashのコストだ。「安くて速い」はずのGemini 3.5 Flashが、Claude Fable 5の2.4倍のコストを記録した。平均111ターンという「乱打」アプローチが原因で、試みの数は多いが効率が悪い。
さらに意外だったのがGPT-5.6 Terraだ。より"廉価版"と位置づけられているはずが、GPT-5.6 Solの2.9倍のコストがかかった。
Stage 1（The Lake）：人間との比較で見えた現実
Stage 1は14レベル構成（ボーナス2レベル含む）。ここではTerminus-2ハーネスの問題（推論トークンをターン間で保持しない設計）が発覚し、モデルが毎回ほぼゼロから推論し直すという無駄が生じていた。そこで各モデルに最適なハーネスを用意した。
- Claude系・GLM-5.2 → Claude Code
- GPT系 → Codex
- Gemini系 → 修正版Terminus-2
Gemini CLIについては、元記事によれば廃止済みで後継のAntigravity CLIに移行しているとされており、サブスクリプション専用のためOpenRouterと組み合わせられなかったという。この移行の詳細についてはGoogle Developers Blogで公表されているとのことだが、リンク先の正確なURLは元記事を参照していただきたい。
各モデルの評価
Claude Fable 5とGPT-5.6 Solは14レベル中13レベルをクリア（ボーナスレベル「Sunken Temple」のみ未クリア）。
速度ではClaude Fable 5が圧倒的で、GPT-5.6 Solの3.1倍速。前世代比でも、Fable 5はOpus 4.8の5倍速、GPT-5.6 SolはGPT-5.5の1.6倍速と、世代間の効率改善が数字に出た。
コストではGPT-5.6 SolがFable 5より47%安く、オープンウェイトのGLM-5.2より安かった。トークン単価だけを見ると話は変わる——GLM-5.2の実効単価はGPT-5.6 Solの4.1倍安いが、生成トークン数が多すぎて合計コストは1.7倍高くなった。「トークン単価は、消費量を知らない限りほぼ無意味」とQuesmaは指摘している。
Geminiモデルは大きく出遅れた。Gemini 3.1 Proは答えを検証せずに不正解を送信するケースが続出。Gemini 3.5 Flashは1レベルに1.5時間かけても進捗ゼロのまま、手動で実行を止める羽目になった。最終的にGemini 3.5 Flashだけで約$220を費消している。多くのベンチマークでGeminiが上位に入る中、このゲームではオープンウェイトのGLM-5.2に精度でも敗北するという結果となった。
そして人間との比較
TwitchストリーマーのVinnyによるリリース日のプレイスルーを計測したところ、Vinnyはほとんどのレベルを3分以内に解いた。Claude Fable 5の4倍速、GPT-5.6 Solの13倍速だ。さらにVinnyはフロンティアモデルが解けなかったボーナスレベルもクリアしている。
注意点
実験上の留意事項もある。LLMがBaba Is Youのレベルを学習データに含めている可能性は排除できない。チームは522回の勝利ランを分析し、記憶による解答が混入していないか確認している（詳細な監査ログを公開）。タスク文にはゲーム名もレベル名も記載していないが、モデルはボードの見た目だけでBaba Is Youを認識する。攻略情報を引き出したのは1ケースのみで、しかも別レベルの攻略法だったため実際の解答には使われなかった。
実験全体での費用は**$2,000超**。ここにはサブスクリプション費用は含まれていない。
詳細はBaba Is Solved by Fable 5 and GPT-5.6 Sol, but at what cost?を参照していただきたい。
