9月14日、MarkTechPostが「Sakana AI Researchers Introduce PC-ALM, a Layer-Local Alternative to Backpropagation That Trains 1000-Layer Networks」と題した記事を公開した。この記事では、Sakana AIが誤差逆伝播（バックプロパゲーション）を使わずに層ごとのローカル更新でニューラルネットを訓練する手法「PC-ALM」を発表したことについて詳しく紹介されている。

バックプロップの何が問題なのか

ディープラーニングの根幹をなす誤差逆伝播（バックプロパゲーション）は、フォワードパス → バックワードパス → 重み更新という逐次的な処理が必須だ。各ステップが前のステップの完了を待つ必要があるため、並列化やメモリ効率の面で制約が生じる。また、生物学的な脳にはこのような「全レイヤーにわたる位相同期」に相当する機構が存在しないことから、「バックプロップは本当に正しい方向なのか」という問いが研究者の間で繰り返し議論されてきた。

その代替として研究されてきたのが予測符号化（Predictive Coding, PC）だ。各層の活性化を最適化変数として扱い、隣接層との予測誤差を最小化するエネルギーを局所的に最適化する。更新がレイヤーごとに完結するため、バックプロップの全体依存性を回避できる。しかし、深く・幅の狭いネットワークになると、出力からの勾配信号が入力層に届くまでに著しく減衰するという問題があった。この「PC-BP ギャップ」は、「Dynamics of Predictive Coding Networks」（Innocenti et al.）によって幅と深さの関数として定量化されており、幅＜深さの条件で最も顕著になる。

PC-ALM の仕組み：層ごとの PI コントローラ

Sakana AI の研究チームが提案する PC-ALM（Augmented Lagrangian Predictive Coding） は、このPCの弱点を拡張ラグランジアン法で補う手法だ。

通常のPCは、制約付き最適化問題（各層の活性化が下層の予測と一致するという制約のもとで損失を最小化）の二次ペナルティ緩和と見なせる。PC-ALMはここにラグランジュ乗数を各層の制約に付加する。λ=0 に設定すれば通常の PC に完全に帰着する。

推論フェーズでは2つのローカルステップを交互に実行する：

• プライマル更新：活性化に対する勾配ステップ
• デュアル更新：各層の予測誤差をラグランジュ乗数に積算

研究チームはこれを「層ごとの PI コントローラ」として解釈している。PIコントローラとは制御理論における古典的なフィードバック制御の一形式で、「現在の誤差（比例項P）」と「誤差の積み上がり（積分項I）」の両方を使って制御量を調整する仕組みだ。PC-ALMにおいては、予測誤差が比例項（P）に、乗数の積算が積分項（I）にそれぞれ対応する。α=0 で PC、α=ρ かつ内部問題を厳密に解けば古典的な乗数法に一致する。

線形ネットワークでは BP と完全一致することを証明

理論面での貢献も大きい。LeCunが1988年に指摘したように、制約付きネットワークのラグランジュ乗数は KKT 点においてバックプロップの随伴変数（adjoint）に等しくなる。研究チームは線形 PC ネットワークにおいて、あるスペクトル半径の安定条件のもとで PC-ALM が KKT 点に収束することを証明した。収束時、各乗数は BP の勾配に正確に一致する。

実験結果：1000層でも BP から約 2 ポイント以内

実験は Fashion-MNIST と MNIST 上の残差 MLP（幅・深さを 8〜128 でスイープ）で実施された。推論ステップ数 T = 2L（L は深さ）の予算では、PC-ALM はすべての幅・深さ・活性化関数（恒等写像・tanh・ReLU）の組み合わせでバックプロップに匹敵する精度を達成した。一方の通常 PC は深く・幅の狭い条件で精度が急落した。

代表的な数値（幅32、深さ32、ReLU、Fashion-MNIST）を示す：

さらに MNIST 上の 1000 層残差 MLP（幅32、ReLU、5エポック）でも BP から約 2 ポイント以内に収まることを確認。ResNet-18 による CIFAR-10 および Tiny ImageNet でも PC-ALM は PC を上回っている。

現時点での限界と今後の課題

現時点での検証範囲はFashion-MNIST・MNIST・CIFAR-10・Tiny ImageNet といった小規模〜中規模の画像ベンチマークに限られている。実用上の重要な問いとして残るのは、数十億パラメータ規模のLLMや大規模トランスフォーマーアーキテクチャへの拡張が可能かどうかという点だ。また、現在の実験では推論ステップ数を T = 2L に固定しているため、より大規模なモデルでこの計算コストがどう変化するかも未検証の課題となる。研究チームが「訓練手法」として位置づけている性質上、既存モデルへの後付け適用ではなく、訓練段階からPC-ALMを前提とした設計が必要になる点にも留意が必要だ。

コードは MIT ライセンスで公開中

研究コードは JAX による参照実装 として MIT ライセンスで公開されており、CPU 上で動作し、論文の幅・深さグリッドを再現できる。あくまでも訓練手法であり、モデルそのものではない点に注意が必要だ。

論文は arXiv、解説ブログは Sakana AI の公式ページ で参照できる。

詳細はSakana AI Researchers Introduce PC-ALM, a Layer-Local Alternative to Backpropagation That Trains 1000-Layer Networksを参照していただきたい。