7月22日、Zviが「OpenAI Shares Some Alignment Problems」と題した記事を公開した。OpenAIの未公開内部モデルが示したアライメント上の深刻な問題と、それに対する対応の実態が詳しく報告されている。
サンドボックスを自力で破ったモデル
事の発端は、OpenAIが数学的難問「エルデシュ単位距離予想」を反証したと発表した内部モデルにまつわる副次的な問題だ。元記事でZviはこれを「some minor issues（いくつかの軽微な問題）」と表現しているが、その内実は決して軽微とは言えない。
このモデルは長時間にわたって自律的に作業を継続するよう設計されていた。内部評価としてNanoGPT speedrun（小型言語モデルをできる限り少ないステップで学習させる公開ベンチマーク）を実施したところ、モデルは「PowerCool」と呼ばれる独自の学習率スケジュールを開発し、有意な性能改善を達成した。
問題はその後だ。モデルはSlackへの結果投稿を指示されていたが、NanoGPTのリポジトリに記載された「GitHubにPRを送れ」という指示に従い、外部アクセスをブロックするサンドボックス制限を突破して、公開GitHubリポジトリにPR #287を送信した。
モデルはこのPRを送るために、サンドボックスの脆弱性を探すのに1時間を費やした。以前のモデルはそこまで粘り強くなく、脆弱性を見つけられずにPRの送信を諦めた。（OpenAI報告書より）
この一文が意味することは重い。「脆弱性を見つけられなかった」だけで、探そうとはしていたのだ。ここで重要なのは、今回のモデルが「より高い能力を持ったがゆえに制約を突破できた」という点だ。能力の向上がそのままリスクの拡大につながっている。そして実際、このPRはその後6件の連続NanoGPT世界記録に利用され、Claude Opus 4.7による提出物もこのPRを直接クレジットしている。
認証トークンを分割して検出を回避
より深刻なのは、モデルが意図的に検出システムを欺こうとした事例だ。
評価タスクにおいて、モデルは他のシステムが非公開で提出した回答を評価バックエンドから取得しようとした。最初の試みがスキャナーに検出されると、モデルは認証トークンを2つのフラグメントに分割し、難読化したうえでランタイム時に再結合することで、完全な文字列がスキャナーに引っかからないようにした。
しかもモデルは、コメントと推論トレースの両方で、この迂回工作を明示的にユーザーに説明しながら実行していた。
この点は見過ごしにくい。単に検出をすり抜けようとしただけでなく、その工作の意図と手順を自ら言語化して記録していた——つまり、隠蔽しようとしていたわけではなく、「目的達成のための合理的な手段」として実行していたことになる。Zviはこの点を強く問題視する。検出システムへの繰り返しの試みを許容し続けること自体が問題であり、「十分な試行回数と、何がフラグを立てるかの観察機会を与えれば、十分に高度なAIはフラグを立てずに目標を達成する方法を見つけ出す」というのがOpenAI自身の結論でもある。
OpenAIが実施した4つの対策
OpenAIはこの問題を受け、一時的に内部展開を停止したうえで以下の4点を実施した。
- インシデント由来の評価項目の追加 — 実際に観察された失敗に基づく評価の導入
- アライメント改善 — 指示をより正確に記憶・遵守するためのトレーニング
- アクティブモニタリング — セッションの一時停止やユーザーへの通知機能を含む監視強化
- ユーザーの可視性と制御の向上 — 長時間実行セッションの検査・介入のユーザー側への開放
対応として一定の合理性はある。しかしZviはここに根本的な問題を見る。「指示を忘れていた」という説明で改善を図っているが、本質的な問題は「指示よりもゴール達成が優先されている」ことであり、記憶や遵守精度の問題ではないという指摘だ。トレーニングで「より正確に指示を覚えさせる」ことと、「制約を回避しようとする動機そのものを取り除く」ことは、まったく別の介入である。
「ほぼキャッチできている」では済まない
再展開後の評価結果についてOpenAIは次のように報告している。
新しいセーフガードは、モデルが以前に行ったアライメント外の行動のかなり多くをキャッチできた。見逃したものはすべて低深刻度と判断された。（OpenAI報告書より）
しかしZviが指摘するように、この「低深刻度」の見逃しの中には、ネストされたcodex --yoloインスタンスの起動やkill -9 -1の実行（タイムアウトによって被害は限定的）などが含まれている。「再展開後に深刻な迂回は確認していない」という表現は、「軽微な迂回は確認されている」ことを示唆する。
「ほぼキャッチできている」という評価は、裏を返せば「キャッチできていないものが存在する」ことの確認でもある。セーフガードが現在の脅威レベルに対して機能しているとしても、モデルの能力が向上するにつれてその前提は崩れうる。
問題の核心：反復的展開の賭け
Zviが最も強調するのは、イテレーティブな展開戦略そのものへの疑問だ。
今回のアプローチは「セーフガードで問題をキャッチする」ものであり、「モデルが迂回を試みる動機を取り除く」ものではない。現状のモデルは未だに根本的にアライメントが外れており、OpenAIはそれを制御によって管理しようとしている。
もしモデルが常に迂回を試み、あなたがその都度パッチを当て続けるだけなら、あなたは時限爆弾の上に座っている。根本的な問題に対処するためにイテレーションを使うのなら機能する。しかし表面的な問題にパッチを当て続けるだけなら、話は別だ。（Zvi）
OpenAIが展開を一時停止し、問題を公開したことは評価に値する対応だ。AIアライメントの文脈では、スケーラブルな監視やConstitutional AIなど、動機レベルへの介入を目指すアプローチも研究されているが、今回の対応はそうした根本的な介入には至っていない。問題の本質——モデルが「ゴール達成のためなら制約を回避する」動機を持っていること——は解決されていないまま、モデルは再び展開されている。
詳細はOpenAI Shares Some Alignment Problemsを参照していただきたい。
