8月20日、Quesmaが「Gemini 3.7 Flash, Grok 4.6, GLM-5.3 and DeepSeek V4 Pro joined the frontier」と題した記事を公開した。2026年8月中旬に登場した主要LLMを、パズルゲーム「Baba Is You」を使った独自ベンチマークで横断比較した内容で、Gemini 3.7 Flashが前世代の20分の1以下のコストで満点を叩き出すなど、性能とコストが同時に改善するケースが複数のモデルで確認されている。
「Baba Is Bench」とは何か
Quesmaが運営する「Baba Is Bench」は、パズルゲーム「Baba Is You」をLLMにプレイさせて推論能力を測るベンチマークだ。Terminal-BenchやGPQA Diamondといった既存の学術ベンチマークとは異なり、ゲームの解法がネット上に流通しにくいため、モデルが事前学習で答えを「丸暗記」している可能性を排除しやすいという特徴がある。
実際に記事内でも「SWE-bench Verifiedとは異なり、モデルが解法を事前に知っている兆候は見られなかった」と言及されている。純粋な推論と試行錯誤の能力を見ている、という点でエンジニアには刺さる設計だ。
評価は2ステージ構成。最初のステージ「Intro」（全8レベル）でパスしたモデルだけが、次のステージ「Lake」に進む。
Introステージ：Gemini 3.7 Flashの異常なコスパ
Introステージで最も際立った結果を出したのがGemini 3.7 Flashだ。
- **pass@1スコア: 100%**（全8レベルをクリア）
- コスト: $5.38（前世代Gemini 3.6 Flashは$124.31）
なお、pass@1とはLLM評価における指標の一つで、「1回の試行でタスクをクリアできる確率」を意味する。数値が高いほど、一発で正解を出す能力が高いことを示す。
前世代比で20倍以上のコスト削減を達成しながら、スコアは88%→100%に向上している。コストと精度が同時に改善するケースは珍しく、記事中でも「結果は驚異的（stunning）」と表現されている。
Grok 4.6とDeepSeek V4 Pro 0813も大幅に改善した：
| モデル | pass@1 | コスト | 前世代比 |
|---|---|---|---|
| Gemini 3.7 Flash | 100% | $5.38 | Gemini 3.6 Flash（$124.31）の約23分の1、スコアは88%→100% |
| Grok 4.6 | 96% | $14.01 | Grok 4.5（$50.66）の約3分の1 |
| DeepSeek V4 Pro 0813 | 75% | $2.94 | 前版（$11.49）の約4分の1、スコアは29%→75% |
一方、GLM-5.3はGLM-5.2と全く同じ結果（96%）に留まった。Qwen3.8 Maxは前版より改善したが全レベルクリアには至らず、Qwen3.8 27Bは前版のQwen3.6 27Bより成績が悪かった。
Qwenの不振について記事では興味深い分析をしている。Qwen3.8 27BはArtificial Analysisのスコア52を記録しているにもかかわらず、「ゲームボードを実際に探索せず、一発で解こうとする」挙動が見られたという。これはQwen3.8 27Bに見られる「極端な過剰思考」傾向と一致する（関連情報として、この傾向はLLM観察者の間でも指摘されている）。Baba Is Youは「考えること」と「実際に試すこと」のバランスが必要なゲームであり、思考偏重のモデルには相性が悪い。
Lakeステージ：DeepSeekの圧倒的なコスト優位
Introで7/8以上をクリアしたモデルのみが挑む「Lake」（15レベル）では、コスト面でDeepSeek V4 Pro 0813が突出した存在感を示した。
| モデル | クリア数 | 総コスト |
|---|---|---|
| Claude Fable 5 | 14/15 | $53.25 |
| Claude Opus 5 | 14/15 | $61.96 |
| Gemini 3.7 Flash | 14/15 | $55.76 |
| GPT-5.6 Sol | 14/15 | $31.42 |
| DeepSeek V4 Pro 0813 | 13/15 | $8.48 |
| Grok 4.6 | 13/15 | $46.20 |
| GLM-5.3 | 12/15 | $16.85 |
DeepSeekは13レベルクリアでGrok 4.6と同数ながら、コストは**$8.48**と圧倒的に低い。Grok 4.6（$46.20）の約5分の1、Claude Opus 5（$61.96）の約7分の1だ。
Gemini 3.7 FlashはLakeステージで1.023億トークンを消費している。「Two Doors」レベル単体で3億8500万トークン、「b2 Sunken Temple」では5億3600万トークンを使い切ってタイムアウト（failed）という結果だ。トークン消費が膨大でも単価が安いため総コストが抑えられている構造になっている。
モデルの「性格」の変化
記事でもう一つ言及されているのが、エージェントの行動スタイルの変化だ。
GrokとGemini Flashはかつて「trigger-happy（考えずに行動しすぎ）」なモデルとして知られていたが、今回のバージョンではより熟慮型（deliberate）に変化し、それがコスト削減にも直結したという。過去のバージョンが大量のエージェントターンを消費していたのに対し、Gemini 3.7 FlashのIntroにおける平均ターン数は53回と大幅に少ない。
まとめ
今回の結果を一言でまとめると、「性能が上がってコストが下がる」という理想的なトレンドが複数モデルで同時に起きている。特にGemini 3.7FlashとDeepSeek V4 Pro 0813は、前世代から質的に異なる水準に達している。バージョン番号の細かい変化（3.6→3.7、V4 Pro→V4 Pro 0813）に惑わされないよう、記事内でも「マイナーバージョンの変化に騙されるな」と明示的に注意を促している。
詳細はGemini 3.7 Flash, Grok 4.6, GLM-5.3 and DeepSeek V4 Pro joined the frontierを参照していただきたい。
