9月1日、mvakde.github.ioが「44% on ARC-AGI-1 in 67 cents」と題した記事を公開した。RTX 5090を1.5時間回し、わずか67セントのコストでゼロから訓練した小規模TransformerがARC-AGI-1のパブリック評価で**44%**を達成したというものだ。しかもその過程で、「入力トークンへの訓練を廃止したらスコアが上がった」という直感に反する発見まで報告されている。
ARC-AGI（Abstraction and Reasoning Corpus）は、Kerasの開発者として知られるFrançois Cholletが設計した推論ベンチマークだ。1000問の視覚的パターン認識パズルで構成され、各パズルが独自のルールを持つ「メタ学習」型の設計が特徴である。GPT-4oを含む多くの大規模言語モデルが苦戦することで知られており、100万ドルの賞金が設けられているにもかかわらずベンチマーク公開から6年が経過した現在も飽和していない。今回の44%という数字は、同様のテスト時訓練（TTT）ベースの代表的手法であるTRM/HRM系と同水準であり、多くのLLMを上回るスコアだ。
なぜこのアーキテクチャが効くのか
アプローチの核心は「テスト時訓練（Test-Time Training / TTT）」だ。入出力ペアをトークン列に変換し、小規模Transformerでテスト時にゼロから自己回帰訓練する。クロスタスク学習を可能にするため、各パズルに独立した加算埋め込みを付与し、位置エンコーディングには3D RoPE（Rotary Position Embedding）を採用している。RoPEはトークン間の相対位置を回転行列で表現する手法で、ARC-AGIのグリッド構造（行・列・タスクIDの3次元）に合わせて拡張されている。
アブレーション実験の結果が特に興味深い。3D RoPEまたはper-taskエンベディングを除去すると、スコアは25%まで急落する。両者を同時に除去しても同様に25%で飽和する。1D RoPEへの変更で約24%、per-taskエンベディング除去で約24%と、表現（Representation）の質がスコアの大半を決定していることが分かる。
その他の主要な変更点は以下のとおりだ：
スコア向上に寄与した変更：
- モダンアーキテクチャへの移行（GELUからSwiGLU、LayerNormからRMSNorm等）
- データ多様性の向上、シャッフリングの改善
- レイヤー数を4→8に拡張
コスト削減に寄与した変更：
- データ拡張（augmentation）の大幅削減
- AdamW → NorMuon（勾配の正規化を組み込んだオプティマイザ）へのオプティマイザ変更
- Flash Attention（可変長訓練）＋Flex Attentionカーネルの採用
コードはGitHub上でオープンソース公開されている。なお、難易度がさらに高いARC-AGI-2でも7%を記録している（ARC-AGI-2はARC-AGI-1の後継として2025年に公開された、より抽象的な推論を要求するバージョンだ）。
「入力トークンを訓練しない」という逆説的発見
今回の最大の発見の一つが、入力トークンに対する訓練を廃止したことだ。損失関数を出力トークンのみに限定したところ、スコアが40%→44%に向上した。
著者自身も「なぜ改善するのか分からない」と率直に認めている。テスト損失は悪化しているにもかかわらずスコアは上がり、訓練の安定性が増してスコアのばらつきも減少した。著者はこれを「有限なモデル容量」に起因する可能性として挙げているが、断言はしていない。
この現象は、「バリデーション損失の最小化＝タスク性能の向上」という前提への疑問を提起する。著者はこれを既知のfailure modeとして論文を引用しつつ言及している。
コミュニティの反応と批判への回答
前回の結果（40%）がXで拡散した際、Jeremy Howard、Lucas Beyer、Rohan Anilらトップ研究者が反応した。同時に複数の批判も寄せられており、著者は記事内で一つひとつ回答している。
主な批判と著者の回答は以下のとおりだ：
- 「評価パズルで訓練するのはチートでは？」 → ARC自体がメタ学習ベンチマークであり、評価パズルから学習することは想定内の設計。訓練したのは問題文であり、テストラベル（答え）ではない。
- 「コストの比較が不公平では？」 → 著者は訓練コストと推論コストを合算して67セントと計算。LLMや他のモデルは事前訓練コストを除外して比較しており、むしろ著者側が不利な条件だと主張する。
- 「全タスクを同時に訓練することでコストを按分している」 → 妥当な指摘として認めつつも、ARC主催者による公式比較でも同様の手法が用いられていると回答。
65%は届く範囲にある
著者は複数回の実行で解けたタスクの和集合を取ると**55%**に達することを示しており、「65%はTransformerの範囲内で到達可能」と述べている。
改善の余地として挙げられているのは以下の点だ：
- RoPEはポジション情報とコンテンツ情報を混合するため、PoPE等の代替手法で改善できる可能性がある
- アーキテクチャのさらなるモダン化
- GPUカーネルの手書き実装によりコストを最大10分の1に削減できる可能性
- データ拡張の除去（著者自身が「使いたくなかった」と明記）
著者は「なぜ他の研究者がこれを見つけられなかったのか理解できない。6年間オープンだった高知名度のベンチマークで、100万ドルの賞金もあったのに」と率直に疑問を呈している。
詳細は44% on ARC-AGI-1 in 67 centsを参照していただきたい。
