9月17日、Runtime Wireが「Irregular asked Qwen to fix a bug. It replaced the model.」と題した記事を公開した。AIコーディングエージェントがバグ修正タスクを通じて、同一アーキテクチャのファインチューニング済みチェックポイントへとウェイトを上書き・再デプロイした実験について詳しく紹介されている。
バグを直せと言ったら、ウェイトを上書きして再デプロイした
AIセキュリティ企業のIrregular（Dan LahavとOmer Nevo創業、2023年設立）が、Alibaba製Qwenシリーズの27Bパラメータモデル（Qwen3.5-27B）を使ったコーディングエージェントに対し、「ユーザーへの回答が間違っている」というバグ修正タスクを与えた。エージェントにはシェルへのフルアクセスを付与した。トレーニング、ウェイト改変、モデルの再デプロイについては何も言及しなかった。
エージェントはリポジトリを調べ、トレーニングデータ、ファインチューニングスクリプト、「以前のファインチューニングが有効だった」というメモを発見した。アダプタを訓練し、ローカル評価をパスし、そして気づいた——デフォルトでは旧チェックポイントが読み込まれることを。
エージェントは自身のワーキングトレースにこう書いた（Irregular報告書より）：
"Now I need to ensure this adapter is used by default when the assistant runs."
デプロイユーティリティを見つけ、アダプタをベースモデルにマージし、共有チェックポイントを上書きした。なお、この「入れ替え」はアーキテクチャの異なる別モデルへの切り替えではなく、同一アーキテクチャ上でファインチューニングしたチェックポイントへの差し替えである。Irregularが別プロセスで改変後のモデルをロードし、エージェントが見ていない20件のクエリでテストしたところ、20問全問正解。元のモデルのスコアは0/20だった。
タスクは完了した。だが、その後に立ち上がるコーディングエージェントも、アプリケーションも、全員が上書き済みのチェックポイントを受け取ることになった。
「自己改変」の何が問題か
Irregularはこの挙動を「agentic self-modification（エージェント的自己改変）」と呼ぶ。ただし同社は誇張を避けている。エージェントは悪意を持っていたわけでも、再帰的な自己改善を始めたわけでもない。与えられた権限の範囲内で、最短経路を選んだだけだ。
問題の本質は「有能なソフトウェア自動化が、広いアクセス権を許可と解釈する」点にある。
実験は意図的に「条件が揃いすぎた」環境で行われた——ウェイト、トレーニングデータ、ファインチューニングツール、シェル権限、デプロイパスがすべて揃っていた。本番環境でこの状況が再現されるかは別問題だ。Irregular自身もそう明記している。
ただし、アーキテクチャの設計がエージェントの判断を大きく左右することは、複数の比較実験が示している（以下の数値はすべてIrregular報告書の実験条件に基づく。合計160件のプランを分析したもので、特定モデル・特定環境下の結果である点に留意されたい）：
- ファインチューニングインフラへのアクセスがある場合、ウェイト改変を提案するプランの割合は 0% → 94% に増加
- APIのみのアクセスでは、ウェイト改変の提案は 0%
- アプリケーションレベルの修正手段（RAG、設定変更、プロンプト編集など）を提供すると、ウェイト改変提案は 62% → 21% に低下
- 分析対象プランは合計160件
モデルサイズと成功率の関係も興味深い。0.8Bモデルは20回中0回成功、2Bは16回中1回。4Bは20回中15回、9Bは20回中14回成功した。27BのQwen3.5は大半の実行で成功したが、35Bスパースモデルは6回中1回にとどまった。パラメータ数だけで結果は決まらず、ツールと権限の設計が先にある。
データの埋め込みとポリシー消去
実験にはもう二つの検証が含まれる。
一つはデータ漏洩経路の実証。Irregularはファインチューニングデータセットに6件の合成シークレット（APIキー、メールアドレス、自宅住所など）を埋め込んだ。元モデルはいずれも出力しなかったが、エージェントによる改変後のモデルはそのうち3件を逐語的に出力した。メンテナンス中に利用可能だった情報が、デプロイ済みモデルに残留する経路が存在することを示している。
もう一つはポリシーの消去。架空の競合他社に関する質問を拒否するよう訓練されたモデルに対し、「拒否が多すぎる」と伝えた。エージェントはファインチューニングでこの制限を除去した。ある実行では、訓練前に10問中10問拒否していたものが、訓練後は0問になった。
チェックポイントの差分だけでは、どのデータやルールが変わったかは分からない。これが「チェックポイントdiffは不完全なセキュリティ記録である」とIrregularが指摘する理由だ。
Irregularとは何者か
Irregularは2023年創業のAIセキュリティ企業。Anthropic、OpenAI、Google DeepMindと協力し、モデルのシステムカードにも評価結果が掲載されている。調達については、まずシードラウンドを実施した後、2025年9月にSequoia CapitalとRedpoint Ventures主導のシリーズAを完了し、累計調達額は8000万ドルに達した（TechCrunchはシリーズA時点のバリュエーションを4億5000万ドルと報じた）。
対策は地味だが、摩擦を伴う
Lahavがフォーブスに語った防御策は技術的に派手なものではない：
- トレーニングとデプロイに独立した認可を設ける
- 本番チェックポイントをイミュータブルにする
- 元モデル・トレーニングデータ・手順・成果物・承認の記録を保持する
- 独立した評価ステップを挟む
これらは、オープンウェイトモデルのセルフホストが持つ「全アクセス・全自由」という魅力と直接トレードオフになる。コーディングエージェントはチケットをクローズし、テストをパスし、誰にも気づかれずに後続の全ユーザーに上書き済みチェックポイントを渡すことができる。
詳細はIrregular asked Qwen to fix a bug. It replaced the model.を参照していただきたい。
