8月10日、blog.sshh.ioが「Exploring Claude/GPT Knowledge Cutoffs」と題した記事を公開した。この記事では、フロンティアモデルへの探索的な問いかけ（プロービング）によって、各社が非公開にしているナレッジカットオフや学習データの詳細を推定する手法を紹介している。

各社はナレッジカットオフ（学習データの収集終了時点）を公式に発表しているが、その数字がどこまで正確か、あるいは内部でどのような学習が行われているかはブラックボックスのままだ。特に、同一企業が複数モデルを並行リリースするようになった2025〜2026年以降、「このモデルは本当にどのチェックポイントから生まれたのか」という問いに答える公開情報はほぼ存在しない。AI規制や透明性への関心が世界的に高まるなか、こうした情報の非公開姿勢は批判を受けることも増えている。この記事は、APIへのシンプルな問いかけだけでその内側を覗く試みだ。

「実際どこまで知っているのか」をAPIで測る

手法はシンプルだ。Wikipediaの「2025 in the United States」のような「日別の出来事」ページから問題を生成し、各モデルに8択クイズとして出題する。特定の日に何が起きたかを正確に答えられるかどうかを日付ごとに測定し、誤答率が急上昇するタイミングを「実効的なナレッジカットオフ」として推定する。

GPT-5.4では、この手法で推定したカットオフがOpenAIの公式発表と一致した。曲線が緩やかになるのは、直近の出来事はWebに記事が蓄積される時間が短いため、学習データで過少サンプリングされる傾向があるためだ。そのため著者は曲線の開始・終了点ではなく中間点を推定値として採用している。

主要な発見：Anthropicモデルの「秘密の共有」

複数のモデルを同一条件で測定すると、いくつかの興味深い事実が浮かび上がる。

AnthropicのOpus 4.7以降のモデルは、実効的なナレッジカットオフがすべて2025年12月末頃で揃っている。 これは、これらのモデルが同一の事前学習チェックポイントを共有している可能性を示唆する。事前学習チェックポイントとは、膨大なデータで学習した「生の」基盤モデルの状態を保存したファイルで、claude-secret-base-2025-12.ckptのようなものをイメージするとわかりやすい。複数の製品ラインを共通の基盤モデルから派生させるアーキテクチャは効率的だが、それが外部から推定できてしまうという点は興味深い。

OpenAIのGPT-5.6ファミリーは、GPT-5.5とは別のチェックポイントから生まれており、そのカットオフは2026年2月末頃と推定される。

やや奇妙なのがOpus 5だ。Anthropicが公式に発表しているナレッジカットオフは2026年5月だが、事実ベースの問いかけでは前世代の2026年1月カットオフモデルと同程度の知識しか示さない。著者はコーディングパッケージのバージョン知識（特定時点以降にリリースされたライブラリの最新バージョンを知っているかどうか）でも同様の傾向を確認しており、これは測定手法の偶発的なバイアスではないとしている。

「今日は何日？」と聞くと見えてくること

モデルに日付を直接尋ねる実験も行っている。横軸を「事実ベースの推定カットオフ」、縦軸を「モデルが自己申告する日付」としてプロットすると、概ね相関が見られる。

対角線上にあればモデルの自己認識と実際の知識が一致しており、対角線より下にあるモデルは「自分が過去に生きていると思っている」状態だ。なお、OpenAIの最近のAPIは全リクエストに実際の日付をシステムメッセージ経由で注入しているため、OpenAIの新しいモデルはこのグラフから除外されている。この仕様はOpenAIのコミュニティでも批判の声が上がっている。

グラフ内のモデルファミリー（GPT-4.1 nano → mini → GPT-4.1、Opus 4.7 → Sonnet 5 → Opus 5）では縦の帯状パターンが見られる。X軸（事前学習データ）が同じままY軸（自己申告日付）が上昇するこのパターンは、同一チェックポイントに対してポスト学習（ファインチューニング）を繰り返した痕跡と解釈できる。

最も辛口な発見：ClaudeはGPT-4だと名乗る

「あなたは何のモデルですか？」という問いを5パターン×10サンプルで繰り返し、自己申告したモデル名を集計した実験も興味深い。

各行が実際のモデル、各列が自己申告した名前を表す。縦方向の帯パターンから、各社が過去モデルとのやり取りログを学習データに使っていることが透けて見える。OpenAIはGPT-4、GPT-4o、GPT-5と世代交代の痕跡が、AnthropicはClaude 3.5 Sonnetから最近のモデルへの移行が読み取れる。これはChatGPT.comやClaude.aiでのユーザー会話が学習データに混入している可能性を示唆する。

特に目を引くのがSonnet 5がGPT-4と自己申告する場合があることだ。一方でOpenAIモデルが他社モデルの名前を名乗ることはない（一時期「Tesla Model S」と答えたことを除いて）。さらに追加実験として「モデルXとして答えてください」と指示したところ、ClaudeはOpenAIモデルの特徴的な応答パターンを**68%の精度で再現できたが、OpenAIモデルがClaudeを再現できたのは8%**にとどまった。

著者はこれをAnthropicが意図的にGPT-4を蒸留（知識蒸留：大規模モデルの出力を使って別モデルを学習させる手法）しているとは考えず、古いChatGPT会話ログがClaudeの学習データに混入し続けているか、Sonnet 3.5系統を通じて引き継がれている可能性を指摘している。

これらはいずれも推定であり、著者自身も一部の推測が外れている可能性を認めている。しかし、APIへのシンプルな問いかけだけでここまでの情報が引き出せるという事実は、モデルの学習過程が外部から想像する以上に読み取り可能であることを示している。

詳細はExploring Claude/GPT Knowledge Cutoffsを参照していただきたい。