7月7日、Matthias Bastianが「GPT-4's dominance lasted a year while today's top models barely survive seven weeks at the top」と題した記事を公開した。この記事では、LLMのトップモデル在位期間が急速に短縮されており、GPT-4の約1年という在位がいかに異例だったかを定量的に示す分析について詳しく紹介されている。

GPT-4は約1年、現在のトップモデルは平均7週間

Epoch AI（AIの能力進歩を研究する非営利機関）が算出するEpoch Capabilities Index（ECI）というLLMの総合性能指標がある。ECIは、コーディング・数学・推論・知識など複数の代表的ベンチマーク群のスコアを統合して算出される合成指標であり、特定タスクの得意・不得意ではなくモデル全体の汎用的な能力水準を測ることを目的としている。単一ベンチマークに比べて操作されにくいという利点がある一方、統合手法や採用するベンチマークの選定により結果が変わりうる点は留意が必要だ。

このECIにおいて、OpenAIのGPT-4は約1年間トップの座を維持し続けた。

Epoch AIの研究者Jaeho Leeによると、この在位期間は他のどのモデルよりも際立って長い。2位はOpenAIのo1で、それでも3ヶ月強——GPT-4の3分の1以下だ。

転換点は2024年2月。AnthropicのClaude 3 Opusがついにもとい打GPT-4を打ち負かし、トップが交代した。それ以降、首位は17回も入れ替わっており、1モデルあたりの中央値はわずか約7週間に過ぎない。

GPT-4はEpoch Capabilities Indexで約1年間トップを独走した。以降、同程度の在位期間を保ったモデルは存在しない。 | 画像: Epoch AI

このグラフが示す2つの読み方

記事はこのチャートを「2通りに読める」と指摘している。

1つ目の読み方：GPT-4がいかに異例の存在だったか。
競合ラボがGPT-4に追いつくまでに約1年を要したという事実は、当時のGPT-4が文字通り「別格」だったことを示している。

2つ目の読み方：その後の競争がいかに激化したか。
2024年秋のo1-previewに代表される推論モデルの登場を境に、能力の進歩は速くなった一方、元記事の分析によれば1回の交代あたりの性能ジャンプは小さくなっている。誰も圧倒的なリードを保てない状態が続いているというのが、記事の示す見立てだ。

「7週間」が意味するもの

この数字は、LLMを製品やサービスに組み込む開発者・企業にとって、現実的な問いを突きつける。「ベストモデル」を追い続けるコストが以前と比べものにならないほど高くなっているからだ。

GPT-4が君臨していた時代は、API統合やプロンプト最適化に腰を据えて取り組む時間的余裕があった。モデルのバージョンアップに追われることなく、システムプロンプトの精緻化やファインチューニング、評価パイプラインの構築といった「深める」作業に集中できた。

しかし現在、7週間おきにトップが変わる環境では、こうした戦略そのものの見直しを迫られる。具体的には、特定モデルへの強い依存を避けるためのモデル抽象化レイヤーの導入、複数モデルを並列評価するルーティング基盤の整備、あるいは「常に最新モデルを使う」ことよりも「安定したモデルで十分な品質を確保する」という割り切りが、現実的な選択肢として浮上している。

もちろん、ECI自体はあくまで一つの総合指標であり、用途によって「最適なモデル」が異なるのは言うまでもない。コスト・レイテンシ・文脈長・モーダリティといった軸では、ECI上位モデルが必ずしも最良の選択とはならない。それでも、業界全体の競争ペースを測る物差しとしてのECIのトレンドは、LLM開発の熾烈さを端的に表している。

首位交代のサイクルが今後さらに短縮するのか、あるいは技術的な壁にぶつかって落ち着くのかは現時点では不明だ。ただ少なくとも、「1年間は安泰」というGPT-4時代の感覚が再現される可能性は、当面低いと見るべきだろう。

詳細はGPT-4's dominance lasted a year while today's top models barely survive seven weeks at the topを参照していただきたい。