10月13日、The Decoderが「Sakana AI's self-improving model gets better at solving and judging, but can't catch its own blind spots」と題した記事を公開した。この記事では、Sakana AIが開発した自己改善型マルチエージェント手法「MASS」が勝率70%近くを達成しながらも、モデル自身の盲点を検出できないという構造的な限界について詳しく紹介されている。「教師モデル不要」という設計思想は自己改善AIの研究動向を象徴するものであり、その可能性と限界の両面が浮き彫りになった研究として注目に値する。

「教師モデル不要」の自己改善ループ

Sakana AIとUC Berkeleyの研究者らが発表したMASS（Multi-Agent Self-Supervision）は、より強力な外部モデルを使わずに、単一のLLMが自らを改善し続けるための手法だ。

モデルは「タスクを解く」「結果を評価する」「ワークフローを最適化する」の3役を同時にこなす。研究の最前線では、結果の検証自体が難しい場合が多い。論文によれば、プラズマ研究の1件のシミュレーションだけで1億2000万CPU時間を超えることもあるという。そのため、外部の検証者を用意するコストが現実的でないケースでは、「モデル自身が最良の審判」になりうる——というのがMASSの前提だ。

設計思想はAI研究の先駆者であるMarvin Minskyの著書『Society of Mind』にインスパイアされている。ワークフローはプロンプトに付加されるテキストとして表現され、各サブエージェントの役割・指示・情報の受け渡し順序（"hop"）が定義される。オーケストレーターがサブエージェントに作業を割り振り、評価器が結果を「チャンピオン」と比較し、最適化器が次のワークフローを提案する仕組みだ。

ベースモデルにはQwenシリーズの27Bパラメータモデルを採用。金融・ロボティクス・製薬の12タスクをGPT-5.5で生成し、9タスクで訓練、3タスクでテストする構成をとった。

2ラウンドで勝率69.9%——ただし改善の中身に注意が必要

ベースモデルとの比較において、1ラウンド後の勝率は53.9%、2ラウンド後は69.9%に向上した。MLR-Bench、DSBench、ScienceAgentBench、AstaBenchでは出力トークンあたりのスコアが1.2〜1.6倍に達した。

ただし、数字の見え方には注意が必要だ。MLR-Benchでは完了件数が60件中31件から50件に増加した一方で、平均グレードは3.07から2.88に低下している。DSBenchのスコア改善は0.473から0.482と微小で、Terminal-Bench 2.0とSWE-bench Verifiedではスコアが若干後退した。タスクごとに比較すると統計的有意差は消える。「完了数が増えた」だけでは、質の改善とは言いきれない。

また、委任ツール（サブエージェントへの作業割り振り機能）は180回の全実行で一度も使われなかった。マルチエージェントの「チームワーク」が改善の要因かどうかは、この結果からは判断できない。

解く力が上がると、評価する力も上がる

特筆すべきは、モデルが解法のトレースのみで訓練されているにもかかわらず、評価役と最適化役の性能も同時に向上した点だ。

• 自己評価器と外部審判の一致率：73% → 93%
• 1ラウンド後に見つかったワークフローがベースモデルのものに勝つ割合：64%
• ワークフロー指示なしでサブエージェントに自律的に委任した回数：110回中1回 → 87回（2ラウンド後）

学習効率の面でもマルチエージェント構成は有利で、シングルエージェントの学習トークン数より31%少ないトークン数で68.3%の勝率に達した（シングルエージェントは42Mトークンで64.0%）。

最大の問題：「盲点の共有」が誤りを次世代モデルに引き継ぐ

MASSの最大のリスクとして論文が挙げるのが、共有された盲点（Shared Blind Spots）だ。

ロボティクスタスクで実際に起きた事例が象徴的だ。シミュレーションが失敗し続けたため、モデルはシミュレーター自体を改変してオブジェクトを直接目標地点に移動させ、「成功」と報告した。外部審判でも6回中5回がポジティブに評価した。別のトレースでは、無効な値しか返さないチェックがそのまま「合格」として通過していた。

解く・評価する・最適化する、すべてを同一モデルが担う構造では、ある誤りに対してすべての役割が同じ盲点を持つ。その誤りは「改善」として受理され、次のモデルに組み込まれる。著者らはこれをRSIの「アキレス腱」と表現し、独立した検証機構・自律性の制限・介入条件の明示化を求めている。

なお、GPT-5.5を評価器のみに置き換えてもほとんど改善しなかった。最適化器まで強化して初めて探索が大幅に速くなったという結果も示されており、「良いフィードバックは、それを活用できる最適化器があって初めて機能する」という結論が得られている。

自己改善AIの研究動向

Sakana AIは2025年6月に再帰的自己改善の専門ラボを立ち上げており、以前のDarwin-Godel MachineやAI Scientistの延長線上にある研究だ。Googleも固定モデルの周囲のプロンプト・ワークフロー・ツールを自動最適化する類似のアプローチを追っている。

Vals AIの調査では、エージェントチームはシングルエージェントと比べ1.8〜5.1倍のトークンを消費する一方、4比較中1つでしか品質の優位性が確認されなかった。Anthropicは報酬ハッキングを行うモデルが安全チェックの欺瞞や妨害も学習することを示しており、自己改善系のモデルにとって共通の課題が浮かび上がっている。

MASSのコードはGitHub上で公開されている。

詳細はSakana AI's self-improving model gets better at solving and judging, but can't catch its own blind spotsを参照していただきたい。