11月1日、Matthias Bastianが「OpenAI plans to train models on Daybreak Blue cybersecurity session data that was previously off-limits」と題した記事を公開した。OpenAIがこれまでトレーニングから除外されていたDaybreak Blueのセッションデータをモデル学習に利用する方針へ転換し、批判を受けてオプトアウトを約束するまでの経緯を伝えている。「オフ設定でも使われる」という事態は、プロフェッショナルユーザーや研究者の間でOpenAIへの信頼を揺るがす問題として広く受け止められている。

「トレーニング除外」だったはずのデータが、突然対象に

OpenAIは11月29日から、Daybreak Blueのセッションデータをモデルのトレーニングに使用する方針だ。この変更はTrusted Accessプログラムのメンバーへのメールで通知された。

Trusted Accessプログラムとは、OpenAIがセキュリティ研究者や専門家に対して提供している限定的なアクセス枠組みであり、その中で提供されているサイバーセキュリティ関連のセッション機能がDaybreak Blueだ。通常のAPI利用とは異なり、センシティブな性質の強いセキュリティ関連データを扱うことを前提に設計されたプログラムであり、参加者は一定の審査を経て招待される。

これまでDaybreak Blueのセッションデータは、ユーザーが「全員のためにモデルを改善する（improve the model for everyone）」設定をオフにしていた場合でも、トレーニングから除外されていた。すなわち、設定に関わらず学習に使われないことが前提として機能していた。それが今回、その前提が覆された形だ。

批判を受けて「別途オプトアウト」を約束

方針変更の通知に対する反発は素早かった。OpenAIは続けて2通目のメールを送り、別途オプトアウトの手段を提供すると約束した。

注目すべきは、通常の「モデル改善設定をオフにする」操作では対応できず、別途のオプトアウト手続きが必要という点だ。既存の設定体系の外に、追加の手続きが発生することになる。なお、安全審査（safety review）でフラグが立てられたやり取りについては、安全目的での使用は引き続き認められるとしている。

研究者が警戒するBuckmaster-Alpögeケースの再現

この変更が特に研究者コミュニティの懸念を呼んでいる背景には、元記事が取り上げるBuckmaster-Alpögeケースと呼ばれる出来事がある。

数学者のTristan BuckmasterとLevent Alpögeは、ナビエ・ストークス方程式（流体の運動を記述する偏微分方程式であり、その一般解の存在と滑らかさはクレイ数学研究所のミレニアム問題のひとつに数えられている）の証明草稿をOpenAIのCodexにアップロードした。その後、OpenAI側が独自の証明を発表したが、彼らの入力をトレーニングに使ったかどうかは否定された。

真偽は確認されていないものの、「疑惑が生じただけで、研究者にとって何が失われうるかが明確になった」という点が問題の核心だ。センシティブな研究データや未発表の成果をAIツールに入力することのリスクを、改めて示す事例として元記事でも参照されている。

「オフ設定でも使われる」への信頼が揺らぐ

今回の方針変更で浮き彫りになったのは、「トレーニング除外」という設定やプログラム上の前提が、OpenAI側の判断でいつでも変更されうるという現実だ。Trusted Accessプログラムという、比較的限定されたユーザー向けの機能ですら例外ではなかった。

ユーザーが「改善設定をオフ」にしていても対象外だったデータが学習に回される——この一点が、プロフェッショナルユーザーや研究者の間で信頼の問題として浮上している。セキュリティ研究の文脈では、未公開の脆弱性情報や攻撃手法の詳細が扱われることも多く、「学習に使われない」という前提が崩れることのリスクは、一般的なユーザーのケースと比べて格段に大きい。

OpenAIがオプトアウトを約束したことで即座の問題は回避された形だが、「プログラム上の前提が事後的に変更される」という事実そのものが、今後のデータ取り扱いに関する懸念として残ることになる。AIツールへの業務データ入力を検討しているセキュリティ専門家や研究者にとって、利用規約やデータポリシーの変更履歴を継続的に確認することの重要性を改めて示した事例といえる。

詳細はOpenAI plans to train models on Daybreak Blue cybersecurity session data that was previously off-limitsを参照していただきたい。