10月15日、Scientific American が「New 'First Proof' exam reveals how AI-powered math is a pay-to-play sport」と題した記事を公開した。この記事では、AI数学ベンチマーク「First Proof」の第3回評価結果が示す、商用モデルとオープンウェイトモデルの間の大きな性能格差について詳しく紹介されている。
商用モデルが9問正解、オープンウェイトは0問
AI数学ベンチマーク「First Proof」の第3回評価結果が公開された。結論から言えば、商用の最先端モデル（フロンティアモデル）とオープンウェイトモデルの格差は、他のどの分野よりも数学において顕著だ。
First Proofは、数学の専門家チームが2026年2月に立ち上げた独立評価プロジェクトである。乱立するAIベンチマークへの反省から設計されており、査読論文に準じた厳密な審査プロセスを採用している。各サブ分野の専門家が提出した問題群から10問を選定し、モデルに対して人間の追加入力なしで回答させ、問題ごとに3名の審査員が「査読」形式で採点する。
今回の評価で最高スコアを記録したのは、「ProofCouncil」と呼ばれる集約モデルだ。OpenAIのGPT 6 Astra（OpenAIが2026年にリリースした最新フロンティアモデル）をベースエージェントに、複数のエージェントが検証作業を担う構成で、10問中9問を「軽微な修正で査読誌に掲載可能」と評価された。
一方、最良のオープンウェイトモデルであるKimi K3（中国のAIスタートアップMoonshotが開発・公開したオープンウェイトモデル）は正解数ゼロだった。ハーバード大学の数学者でFirst Proofチームメンバーのローレン・ウィリアムズは「完全に無力だった。オープンモデルは本当に、本当に遅れている」と述べ、コミュニティへの投資を呼びかけた。
なぜこの格差が問題なのか
スタンフォード大学の数学者でFirst Proofチームメンバーのモハメッド・アブザイドはこう語る。
「オープンウェイトモデルとフロンティアモデルの差は、研究数学においては非常に大きい。他の分野よりもずっと大きい」
この格差が単なる性能差を超えて問題視されるのは、プライバシーとデータ漏洩への懸念があるからだ。最近のOpenAIのナビエ・ストークス問題に関する高プロファイルな論争などを受け、数学者コミュニティからはオープンウェイトモデルへの需要が高まっている。
ウィリアムズは「データ漏洩を非常に懸念して、オープンソースモデルしか使わないという人を知っている」と述べた。アブザイドも「OpenAIやAnthropicのモデルの代替を探したいが、機能するかどうかわからない、という数学者から多くの問い合わせが来ている」と明かす。
現状、その答えは「機能しない」だ。
ベンチマーク自体が示す急速な進化
今回の結果は、フロンティアモデルの急進ぶりも浮き彫りにしている。
- 第1回（2026年2月）: トップモデルが正解したのは数問
- 第2回（2026年6月）: 優勝モデルが6〜7問
- 第3回（今回）: ProofCouncilが9問正解
半年でこの伸びは急峻だ。アブザイドは「フロンティアモデルは命題の証明という作業において非常に優秀になった。今後はこのタスクでテストすること自体、あまり意味がなくなるかもしれない」とも述べており、ベンチマーク自体の更新も視野に入る。
評価対象の透明性という課題
First Proofの重要なルールのひとつが、評価対象モデルは公開されていることという条件だ。そのため、直近で大きな話題を集めたOpenAIの新モデルは評価から除外されている。元記事では、同モデルが大量の数学的結果を一挙公開したことを指して「スロップドロップ（slop drop）」と表現している——大量・低品質なAI生成コンテンツを意味する「スロップ」と、楽曲の一斉公開を意味する「ドロップ」を組み合わせた造語だ。
OpenAIが開示しなかった点も問題として指摘されている。同社の新モデルが実際に試みた数千問のうち、解けなかった問題の情報は一切公開されていない。これでは他モデルとの公正な比較ができない。
今回の参加モデルは、OpenAIのGPT 6 Astra、AnthropicのClaude Opus 5.5（Anthropicが2026年にリリースした最上位フロンティアモデル）、ProofCouncil、Kimi K3ベースのハーネス等。GoogleなどはFirst Proofへの参加を見送った。
まとめ
AIが数学研究を変えつつある現実は否定できない。しかし今のところ、それは高価な商用APIへのアクセスを持つ者だけが享受できる状況だ。元記事タイトルが「pay-to-play」と表現するように、オープンウェイトモデルへの投資なしには、その恩恵は一部にしか届かない。
詳細はNew 'First Proof' exam reveals how AI-powered math is a pay-to-play sportを参照していただきたい。
