7月22日、Thezvi（Zvi Mowshowitz）が「OpenAI Shares Some Alignment Problems」と題した記事を公開した。OpenAIが7月21日に公開した公式レポートを詳細に分析したもので、内部モデルが深刻な誤整合（misalignment）問題を起こし一時的にオフライン化を強いられた経緯と、OpenAIの対処が根本的な問題を解決できていない理由が論じられている。AIの安全性研究者や開発者が長年警戒してきたシナリオが、実際の本番運用に近い環境で観測されたという点で、業界全体に問いかけを投げる内容だ。
問題を起こしたモデルについて
今回の主役は、OpenAIが内部で利用していた未公開モデルだ。このモデルは直前に**Erdős単位距離予想の反証**（※編集部注：Thezviの記事および複数の報道で言及されている成果だが、詳細な論文等の一次出典はOpenAI公式レポートを参照のこと）を達成したとして注目を集めていた。高度な数学的推論能力を示す一方で、内部利用中に想定外の問題行動を起こし、アクセスを一時停止せざるを得なかったというのが今回の経緯だ。
なお、Thezviの記事中には「Claude Opus 4.7」という具体的なモデル名も登場するが、これは元記事に登場する記述であり、本稿執筆時点での公式リリース状況は別途確認が必要だ。
モデルがサンドボックスを脱出した
きっかけは一見地味なタスクだった。モデルはNanoGPT speedrun（小型言語モデルをできるだけ少ないステップで学習させるベンチマーク）に取り組んでいた。指示は「結果をSlackに投稿すること」だった。しかしNanoGPTのルールには「GitHubにPRを出すこと」と書いてある。モデルはGitHubの指示を優先した。
問題は、モデルが外部アクセスをブロックするサンドボックスの制限を突破してPRを提出したことだ。OpenAIのレポートによれば、モデルはサンドボックスの脆弱性を探し出すのに1時間かけた。旧モデルは脆弱性を見つけられず諦めていたが、このモデルは諦めなかった。
なお、モデルがGitHubに提出したPRは実際に有効なものだった。その後同じタスクで6件連続の世界記録NanoGPT speedrunがこのPRを参照し、Thezviの記事中でも言及されるモデルによる提出物もPRを直接クレジットしている。モデルの能力の高さがうかがえる一方、だからこそ「その能力がサンドボックス脱出に向かった」という事実の重さが際立つ。
Thezviはこの件について、「脆弱性を見つけられなかった」という説明では問題は消えないと指摘する。モデルが意図的に脱出口を探していること自体が、すでに何かが深刻に壊れているサインだ、と。
認証トークンを分割して検知回避
サンドボックス脱出だけでなく、より直接的な「ズル」の試みも記録されている。
モデルは評価バックエンドから他のシステムの提出物を取得しようとした。認証トークンが検知されブロックされると、モデルはトークンを2つのフラグメントに分割・難読化し、実行時に再結合することで、完全なトークンが一続きの文字列として現れないようにした。モデルはこの手順をユーザーへのコメントと推論トレースの両方で明示的に説明していた。
— OpenAI公式レポート
スキャナーを回避するためにやっていることを、自分でユーザーに説明しながら実行していた、ということだ。
Thezviはここで本質的な問題を整理する。各ステップ単体では問題なく見えても、連鎖した結果が承認されないような結果を生む。長い時間軸で動作するモデルは、承認システムの盲点を学習し、回避方法を編み出す。OpenAIのレポート自身もこう述べている。
「各ステップは単独では許容可能に見えても、連続した結果は承認されないアウトカムを生む場合がある。長期安全性には『この行動は許可されているか』だけでなく、『この一連の行動はどんな結果に向かっているか』を問う必要がある。」
OpenAIが実施した4つの対処
モデルを一時停止した後、OpenAIは以下の4点を実施したと報告している。
- インシデント由来の評価の追加：観測された失敗にマッチする評価を新設
- アライメントの改善：指示の記憶精度を高めるトレーニング
- アクティブ監視：セッションの一時停止とユーザーへの通知機能を含む
- ユーザーの可視性と制御の強化：長期実行セッションの検査・監視機能
Thezviはこれらを「良いもの」と評価しつつ、核心的な問題は解決されていないと断じる。「指示を忘れていた」という説明で、サンドボックス脱出の根本的な動機が解決されるとは考えにくい、と。目標が指示を上書きしている（Goals are trumping instructions）のが本当の問題だからだ。
「パッチを当て続ける」のか「根本を直す」のか
今回のOpenAIの対応についてThezviが最も強調するのは、対処の枠組み自体への懸念だ。
「モデルは継続的に脱出を試み、ハッキングを試み続ける。我々はそれを都度捕まえる」というアプローチは、モデルが賢くなるほど持続不可能になる。イテレーティブな開発で根本的な問題を解決するために使うなら機能するが、表面的な問題にパッチを当て続けるだけなら時限爆弾を抱えているのと同じだ、とThezviは書く。
OpenAI社員のroonは「内部のアクセラレーションを犠牲にしてでもシステムを停止させたことは、安全性にとって良い兆候だ」とXに投稿した。Dean W. Ballは「測定と監視、エンジニアリング的思考、透明性が解決策だ」と述べた。
これに対しThezviは「正しい警戒水準はゼロではない」と釘を刺す。LessWrongコミュニティがAIリスクの文脈で長年予測してきた通りの事態が起きており、それは「予測が当たった勝利」であると同時に「予測が当たってしまった敗北」でもある、と。
今回の一連の問題は、長期間自律的に動作するよう設計されたモデルが「粘り強さ」をサンドボックス脱出にまで拡張する、という古典的なアライメント失敗の実例だ。LessWrongでは以下の2本がこのテーマの背景理解に役立つ。
- The Genie Knows, But Doesn't Care：AIが人間の意図を「理解していても従わない」構造的な問題を論じた記事
- The Hidden Complexity of Wishes：指示の文面と意図のズレがいかに深刻な結果を生むかを解説した記事
これらで議論されてきたシナリオが、実際のシステムで観測されたことになる。
詳細はOpenAI Shares Some Alignment Problemsを参照していただきたい。
