10月16日、The Decoderが「GPT-6-Astra solves 49 of 50 physics research problems at $2.40 apiece」と題した記事を公開した。ブラックホールに関するある物理計算問題がある。古い論文を探し出し、5次元の方程式を4次元時空に変換し、カスタムプログラムを書いて解く——ベンチマーク設計者の一人である物理学者Suvrat Rajuがこれを手作業でこなすと、約1日かかった。AIが登場する以前、この問題を解けるのは物理の知識と計算手法の両方に精通した数少ない専門家だけで、それでも数日を要したとされる。OpenAIのGPT-6-AstraはこれをAIエージェントとして処理し、2.4ドル未満で正解した。

98%正解、全50問で116ドル

今回使われたベンチマーク「TheoPhysEval」は、理論物理学の未解決の大問題ではなく、研究者が日常的にこなす「定型計算問題」を対象にしている。著者らはこれを「turn-the-crank（手順通りに回す）問題」と呼ぶ。既知の手法をわずかに変えた設定に適用するもので、研究者がPhD学生の最初の課題として与えるようなレベルだ。

冒頭のブラックホール問題はその一例だ。問題は流体力学、生物物理、素粒子物理、宇宙論など理論物理学の11サブフィールドにまたがる。各エージェントはウェブ検索あり・なしの両条件でテストされた。

結果は以下の通り：

上位2モデルはAnthropicとOpenAIの最上位エージェント環境での実行、下位3モデルは各社の主力軽量モデルとして位置づけられる世代の製品だ。Astraの全50問の実行コストは約116ドル。1問あたり平均2.4ドル未満という数字は、博士号取得者の人件費と比べると象徴的な差だ。

「ウェブ検索なし」でもほぼ同スコアという意味

驚くべき点の一つが、インターネットアクセスの有無がスコアにほとんど影響しなかったことだ。Astra・Opus ともにウェブ検索なしでも92%を記録した。多くの問題は研究論文の数式に依存しているが、それらを参照せずに解けた。著者らはこれを、最先端の言語モデルが理論物理学の文献の大部分を実質的に記憶している証拠と解釈している。

一方、弱いモデルにはウェブ検索が裏目に出るケースもあった。ブラックホール問題でGeminiとGLMは、ウェブ検索時に古い論文から数式をそのままコピーした。その式は5次元のもので、問題が求める4次元には使えない。専門家なら即座に気づくミスだ。

唯一Astraも解けなかった問題は、「ある曲線を生成する方程式を求める」というものだった。専門家の解答が、広義の微分方程式に相当する特殊な数式形式に依存しており、著者らも「不公平に見えるかもしれない」と認めている。

答え合わせで発覚した「模範解答の誤り」

興味深いのは、AIが不正解とされたいくつかの問題を専門家と照合し直したところ、模範解答の方に誤りが見つかったことだ。修正後、Astraの回答はすべて正しかった。

これはベンチマーク設計の難しさを示すと同時に、理論物理ベンチマークにおける採点ミスがモデルの実力を過小評価しているという問題とも一致する（当該論文はarXiv 2609.13009 として公開されているが、本稿執筆時点では著者・タイトルの詳細確認が取れていないため、参照の際は直接arXivページを確認されたい）。問題と実行環境のデータセットはHugging Faceで公開されている。

計算は解けても「研究」はできない

著者らは、現在の最強モデルの一部は具体的な計算において人間の最高水準の研究者を既に超えている可能性があると述べ、これを「大きなマイルストーン」と位置づけている。

ただし、計算ができることと研究ができることは別だと明確に指摘する。研究プロセスでは、まず理論を構築し、「正しい問い」を立てる必要がある。問題が難しすぎると判断したら、同程度に興味深いが解きやすい関連問題に切り替える判断も要る。現在のエージェントはこれが苦手だ。

また、物理学者は「何が面白い問題か」について共通の感覚（「センス」）を持っている。エージェントにはこの「taste（審美眼）」がまだない。新しい問題を設計させると、人間には退屈に映る細部に迷い込むという。

数学の世界ではAIがすでに重要な未解決問題を解いており、OpenAIは2025年にナビエ・ストークス方程式（ミレニアム懸賞問題の一つ）の解決を公式ブログで発表した。これはAIが偏微分方程式の難問に対して数学的に有効な解法を提示したことを意味する。理論物理学ではそれに匹敵するブレークスルーはまだ起きていない。

研究環境への構造的影響

著者らが懸念を示す点はコストと公平性だ。理論物理学はこれまで実験物理と比べて資金をほとんど必要とせず、研究機会の平等性が保たれてきた。しかし、難しい問題ではAIの利用コストが急増すると予測されており、研究グループの予算が成果に直結するようになる可能性がある。

また、ベンチマーク問題の多くはかつてPhD学生の最初の研究課題として適していたが、今やそのままでは使えなくなった。AIエージェントが即座に解いてしまうからだ。

数学界では既にLeiden Declarationをめぐる議論が起きている。これはAIによる数学的発見の帰属・評価・倫理的扱いについて数学者コミュニティが議論・署名している宣言で、研究成果におけるAIの位置づけを問い直すものだ。著者らは、理論物理学でも同様の議論を今から始めるべきだと主張する。物理学界には「黙って計算しろ（shut up and calculate）」という格言があるが、AIがそれを担うようになれば、物理学者は「立ち止まって考えろ（stop and think）」という姿勢へのシフトを迫られるかもしれない。

詳細はGPT-6-Astra solves 49 of 50 physics research problems at $2.40 apieceを参照していただきたい。