11月19日、KDnuggetsが「Jagged Intelligence: Why AI Is Brilliant One Minute and Clueless the Next」と題した記事を公開した。AIが数学オリンピックの問題を解く一方で、ごく近距離の目的地へ車で行けばよい場面に「歩いて行け」と回答するような能力の凸凹(ギザギザ)——「Jagged Intelligence」——のメカニズムと、実運用における評価方法について詳しく紹介されている。
「オリンピック数学は解けるのに時計が読めない」
GoogleとOpenAIのAIシステムは、国際数学オリンピック(IMO)の6問中5問を正解した。その数ヶ月後、あるチャットボットはユーザーに対し、車ですぐ行ける50メートル先の修理店を「歩いて行け」と案内した。人間なら前者ができる人物が後者のミスを犯すことはまずない。
この能力の凸凹を研究者たちは 「Jagged Intelligence(ギザギザな知性)」 と呼ぶ。OpenAIの初期メンバー(研究員)としてAI研究を牽引し、後にTeslaのAI責任者も務めたAndrej Karpathyが2024年7月に命名した概念だ。
人間の能力は発達とともに相関して伸びる。数学オリンピック出場者が50メートルの距離感を誤ることはない。しかしAIモデルでは、能力がバラバラに存在し、ある能力の高さが別の能力を保証しない。「関数を書けるモデルなら段落の単語数も数えられる」という推論が崩れる、これがJagged Intelligenceの本質だ。
ギザギザを生む4つの仮説
現時点では決定的な答えはなく、複数の説が提唱されている。
① 検証可能な報酬(RLVR:Reinforcement Learning with Verifiable Rewards)
2025年に普及した強化学習手法で、答えが明確に正誤判定できるタスクに対して報酬を与えることでモデルを訓練する。数学やコードでは効果が高く、能力が急伸する。一方、創作文章や哲学など自動採点できない領域では進歩が遅い。
② データカバレッジの偏り
インターネットに存在するのは人類の知識のごく一部であり、物理世界の情報は特に少ない。デジタルパターンで訓練されたモデルは、計画立案や未知タスクで脆弱になる。
③ パターン複製(AppleのGSM-Symbolicペーパー)
LLMは論理的に推論するのではなく、訓練データの推論ステップを複製している可能性がある。見慣れたテンプレートにマッチする問題は解けるが、少し変えると崩れる。
④ 概念表現の不整合(Potemkin Understanding論文)
MIT・ハーバード・シカゴ大学の研究者らが提唱した概念。「Potemkin Understanding(見かけ上の理解)」とは、正しい定義と誤った運用版が内部に共存しており、両者が一致するよう強制する仕組みがないという状態を指す。論文タイトルは "Potemkin Understanding in Large Language Models" で、arXiv(2506.21521)で参照できる。
研究コミュニティが記録した6つの失敗
無関係な一文で小学算数の成績が最大65%低下
AppleのGSM-NoOpテストでは、小学生レベルの文章題に「キウイのうち5個は平均より小さかった」という無関係な文を追加した。モデルはそのキウイを合計から引いてしまい、最先端モデル全体でスコアが最大65%低下した。人間の学生なら読み飛ばす一文だ。
定義できても適用できない
GPT-4oはABABの韻律スキームを正確に定義した直後、韻を踏まない詩を生成した。Potemkin研究では7モデルをテストし、概念の定義は**94%の精度で正解したが、同じ概念を使った分類タスクでは55%**が失敗した。定義の正確さは理解の証拠にならない。
アナログ時計の読み取り
**ClockBench(2025年9月)では、人間のアナログ時計読み取り精度が89.1%だったのに対し、当時最高性能のGemini 2.5 Proは13.3%**にとどまった。興味深いのは、時刻を正しく読めたケースではその後の計算に問題がなかった点だ。知覚が失敗し、算数は機能していた。なお、当該リンクはPDFを直接参照するものであり、元記事がそのように記載している。
医療ベンチマーク94.9%→実ユーザー34.5%
Oxfordのネイチャー・メディシン試験(1,298人参加)では、LLM単独での医療状態の特定率が94.9%だった。しかしLLMを使ったユーザーの特定率は最大34.5%で、独自調査をした対照群(47%)を下回った。標準ベンチマークはこのギャップを事前に示せなかった。
論理パズルは難易度が上がると両者崩壊
Appleの**Illusion of Thinking研究では、ハノイの塔などを難易度別にテスト。易しい問題は通常モデルが優勢、中程度は推論モデルが優勢、難しい問題では両方が崩壊**した。解法アルゴリズムを与えても同様だった。
ARC-AGI-3で全フロンティアモデルが1%未満
2026年3月公開の**ARC-AGI-3では、全フロンティアモデルのスコアが1%未満**。Gemini 3.1 ProはARC-AGI-2で77.1%を達成していたが、次バージョンへのスコアは引き継がれなかった。
ベンチマークスコアが信頼できない理由
Karpathyは2025年にベンチマークへの信頼を失ったと述べている。ベンチマークはRLVRが効く検証可能環境であるため、ラボがスコア向上に向けて直接訓練できてしまう。スコアが上がっても汎用能力が上がるとは限らない。
GSM8Kのような主要ベンチマークはデータ汚染にも脆弱で、わずかな言い回し変更への感度を測れない。Oxfordの研究では標準的な医療ベンチマークも模擬患者テストも、実ユーザーでの結果を予測できなかった。
実運用で使える5つの評価プラクティス
記事はJagged Intelligenceを踏まえた実践的な評価方法として以下を挙げる。
- 摂動テストと敵対的テスト: 実際の入力に無関係な情報を追加したり言い換えたりして、答えが変わらないか確認する(GSM-NoOpの自社データ版)
- 定義ではなく適用のテスト: ルールを暗唱できるかではなく、新しい入力に分類・適用できるかを採点する
- セグメント別レポート: 全体精度だけを見ると、特定ユーザー層の性能劣化が隠れる
- 自動チェックがない領域は手動検証: RLVRが機能しないドメインは特に注意。Oxfordの参加者はLLMなしの対照群より悪い結果を出した
- モデル更新のたびに再評価: ギザギザのエッジはリリースごとに移動する
また「全体指標が3%改善したが特定ユーザーセグメントで劣化した場合に出荷すべきか」という問いも紹介されている。ユーザーの90%が4.4%改善し、10%が10%悪化すれば加重平均は約3%増だが、10%の劣化はヘッドラインには現れない。
詳細はJagged Intelligence: Why AI Is Brilliant One Minute and Clueless the Nextを参照していただきたい。