10月24日、Latent Spaceが「AI Is Getting Good at Math. Here's Why.」と題した記事を公開した。AIが数学の難問を解けるようになった理由を、問題の構造とLLMの探索パターンの違いから分析し、次にどんな問題が解かれるかを予測する枠組みを提示している。
人間の問題解決とLLMの根本的な違い
数学の難問を解くには、「洞察(ヒント)→作業→次の洞察」という連鎖が必要だ。数学者のW.T. Gowersはこの考えを厳密に定式化し、問題の難易度は専門家が解を再構築するために必要な最短のヒント列の長さで決まると述べている。彼はこれを「専門家基準のKolmogorov複雑性(Kolmogorov complexity)」と呼ぶ。
Gowersが提案した複雑度の式は 2^k + t(kはヒント列の長さ、tはヒント間の作業量)だ。これはGowersが元記事中で独自に定義した枠組みであり、情報理論的なKolmogorov複雑性の考え方を数学的問題解決の文脈に応用したものとして理解するとよい。kが増えるにつれ複雑度は指数的に増大する。問題解決の大半は洞察と洞察の「間の作業」であり、ひらめきの瞬間の後に数ヶ月の開発期間が続く。後述する「分岐因子b」を加えた拡張式は、この枠組みをAIの能力評価へと発展させたものだ。
人間はこの制約から、幅優先探索で動く。複数の方向を浅く試し、ほとんどを捨て、有望そうなものだけに絞る。「このアイデアを深追いして数ヶ月無駄にするか?」という判断コストが常につきまとう。
LLMはこれと逆だ。深さ優先探索を行う。1つのプロンプトを与えると、ある解(正しいかどうかはともかく)を一気に生成する。並列エージェントを使えば10本の経路を同時に深く掘り進められる。放置すると「見事に美しい偽の証明」が大量に生まれる。
ここで自動検証器(verifier)が鍵になる。検証器が完成した証明の正誤を数分で判定できるなら、不確かなアイデアに大量のコンピュートを使うことが合理的になる。ヒントの質が低くても、「試して数分で答えが出る」なら問題ない。人間では数ヶ月かかる探索が、LLMではコンピュートに交換可能になる。 なお、近年の数学AI研究ではLeanなどの形式証明器が検証器として機能しており、DeepMindのAlphaProofはこの組み合わせでIMO問題を解いた代表例だ。
失敗した試みが次のヒントになる
LLMベースの数学証明システムの基本構造はこうだ:
- Drafter(起草役):過去の失敗や行き詰まった経路を「ネガティブヒント」として取り込み、次のソルバーへのプロンプトを作る
- Solver(解法モデル):複数の候補解を並列生成する
- Verifier / Checker(検証器):引数が有効かどうかを検査する
OpenAIがリリースしたCDCプロブレム(Cycle Double Cover予想)へのプロンプトは、この構造の実例だ。プロンプト内の一行一行が、過去に失敗した経路を指示として書き固めたものになっている。例えば:
「Do not return merely because current approaches fail or agents report theorem-strength gaps」
これは「現在のアプローチが失敗しても、エージェントが定理レベルのギャップを報告しても、単に戻ってくるな」という指示で、モデルが学習済みの「諦めグセ」を防ぐためのものだ。
単位距離問題の証明から見えること
2025年に話題になった単位距離グラフの反例(unit-distance disproof)は、このパターンを最もよく示している。
Gowersが整理したヒント列は3つだった:
- 反例を探せ
- 既知の最良の構成を一般化せよ
- 次数を増やした数体の列を試し、有界ノルムの素イデアルで作業せよ
Jacob Tsimermanは著名な数論研究者であり、元記事ではこの問題への関与について本人がコメントを寄せている。彼はヒント1の方向を自分で考え、必要な数論の知識も持ち、次数を増やすことまで考えていた。それでも途中で止まった。本人の言葉がある:
「非常に恐ろしいダイナミクスで、解析的な領域を考え抜いて直感を保つのは難しく、多くの時間を消費し、うまくいかないことが多い。」
心理学の研究(MetcalfeとWiebeの実験)でも確認されている通り、洞察型の問題には「進捗の感覚」がない。答えが出るまで、どれだけ近づいているかわからない。人間研究者が不確かな方向に数週間居続けることは、作業記憶・モチベーション・キャリアすべてのコストを伴う。LLMにはこのコストがない。
モデルがその「重要なアイデア」に到達したときの様子について、研究者のArul Shankarはこう述べている:
「モデルはアイデアを素早く駆け抜けたが、重要なアイデア("Suppose optimistically that..."で始まる段落)に到達すると、非常に系統的に証明を詰めていった。」
Tsimerman自身も、AIの優位性をこう整理している:
「これはAIシステムが優位を持つ一つの形を示しているかもしれない。既知の手法をすべて試せるというだけでなく、数学者が圧倒されてしまうような危険な領域で、より長く粘ることができる。」
今年のモデルで何が変わったか
記事では、今年の証明群を支えた3つの能力変化を挙げている:
- プリミティブの連鎖能力の向上:長い作業の途中ステップで使えるアーティファクトを生成できるようになった(作業量tの削減)
- 自己検証:軌跡の途中で誤ったステップを自力で検出できるようになった(verifierに依存する前の内部プルーニング)
- オーケストレーション:複数サブエージェントを指揮し、失敗経路をメモリで管理・蓄積する能力
これらはいずれも、Gowersの式におけるkの削減(洞察の連鎖を短くする)とtの削減(洞察間の作業を効率化する)に対応している。能力の変化は抽象的な性能向上ではなく、問題の構造的な難しさのどの要素に効いているかという観点で整理できる。
どんな問題が次に解けるか
記事が最終的に問うのは「予測可能性」だ。Gowersの式に分岐因子b(各ステップで試すべきヒント候補の数)を加えると、AI向きの問題の条件が浮かぶ。拡張された評価式は b^k × compute で表される。タイトルにある「洞察の数 × 分岐の広さ」はまさにこのk(洞察の数)とb^k(分岐の広さ)の積が探索コストを決めるという構造を指している。
b^k × compute がコントロール可能なとき、つまり洞察の数kが少なく、各ステップで試すべき方向bが絞られているとき、LLMは機能する。逆に、kが大きく(洞察が多数必要)、bも大きい(各ステップで試す方向が膨大)問題は、現時点ではまだLLMの手が届かない。問題の年齢・懸賞金・試行回数は難易度の代理指標に過ぎず、本質的にはこのk×bの構造にある、というのが記事の主張だ。
詳細はAI Is Getting Good at Math. Here's Why.を参照していただきたい。