9月8日、startuphub.aiが「Self-Improving Harnesses Push ARC-AGI to 95.5%」と題した記事を公開した。注目すべきは、モデルの重みをいっさい変更せず、LLMを包む実行環境（ハーネス）を進化させるだけで、ARC-AGIベンチマークのスコアが**95.5%**に到達したという事実だ。fine-tuningも大規模な推論コンピュートの投入も不要——この結果は、「モデルを強くする」以外の道がAGIベンチマーク攻略において本格的に機能し始めたことを示している。
モデル単体ではなく「ハーネス」で解く
記事の核心は、LLMそのものを改良するのではなく、LLMを包む実行環境（ハーネス）を進化させるという発想だ。
元記事はこの構造を以下のように整理している：
- L1：モデルの重み（L1 weights） — LLM本体。トークンを受け取ってトークンを返すチューリングマシン
- L2：アクティブコンテキストとREPL — コードを実行しながら推論できる層
- L3：ファイルとサブエージェント — 外部記憶や並列処理を担う層
このL2・L3を「フォン・ノイマン層」と表現しているのが面白い。LLM単体はステートレスな計算機に過ぎないが、ハーネスがメモリと実行環境を付与することで、はじめてプログラム可能なシステムになるという構造だ。
さらにハーネス自体が自己改善する仕組みが二段階で実装されている：
- DSPy — 小規模なトレーニングセットに対して遺伝的探索（genetic search）でシステムプロンプトを自動最適化する
- Darwin Godel Machines — ハーネスのコード自体を進化させ、優秀なスキャフォールドをアーカイブして次世代の親個体として使う
DSPyはStanford NLPグループが開発したLLMプログラミングフレームワーク。元記事ではgenetic searchと明記されているが、DSPyの標準的な最適化アルゴリズムはMIPROv2等であり、実装の詳細は元動画で確認されたい。Darwin Godel Machinesは、2003年にJürgen Schmidhuberが提唱した「Gödel Machine」——自己書き換えが可能であることを形式的に証明できる場合にのみ自己改善を実行するエージェントの理論的枠組み——を実装レベルに近づけた試みだ。
「ハーネスを進化させる」ことの意味
従来のアプローチでは、ベンチマークスコアを上げるためにモデルの微調整（fine-tuning）や大規模な推論コンピュートの投入が主流だった。今回の手法が示すのは、モデルの重みに触れずにスキャフォールドの進化だけで95.5%まで到達できるという事実だ。
これはエンジニアリング的に重要な含意を持つ。クローズドなAPI経由でしかモデルにアクセスできない環境でも、ハーネス設計の工夫で性能を大幅に引き上げられる可能性を示している。
DSPyによるプロンプトの遺伝的探索は、人間が手動でプロンプトエンジニアリングを行う作業をループ化・自動化したものと見なせる。Darwin Godel Machinesはさらに一歩進んで、プロンプトだけでなく実行フローそのものを書き換える。この二層構造こそが、スキャフォールド単体では説明しきれないスコアの高さを支えているとみられる。
YC Paper Clubでの議論
元記事によれば、この内容の詳細な議論はY CombinatorのYC Paper ClubとしてYouTubeで公開されている。YC Paper Clubは、YCが注目する最新のAI論文をエンジニアが読み解く形式のセッションで、実装者視点のコメントが多く含まれる点が特徴だ。
動画はYCの公式YouTubeチャンネルで視聴可能。タイトルは「Self-Improving Harnesses, Local Personal AI And YC's Agent For Work」となっている。
まとめ
ARC-AGIの**95.5%**というスコアは、自己改善型ハーネスという設計思想の有効性を示す数値だ。DSPyによるプロンプト最適化とDarwin Godel Machinesによるハーネスコードの進化という二層構造が、その達成を支えている。モデル側の改良に頼らずスキャフォールド設計でここまで到達できるという点は、エージェント系システムを開発するエンジニアにとって直接参照できるアプローチだ。さらに言えば、この手法が示す「外側の進化」という方向性は、モデルの重みへのアクセスが制限されたクローズド環境での開発戦略にも応用できる可能性があり、今後の自己改善型エージェント研究の一つの基軸になり得る。
詳細はSelf-Improving Harnesses Push ARC-AGI to 95.5%を参照していただきたい。
