11月18日、Meta Engineeringが「How Meta Uses AI Agents to Scale ML Innovations Across Ads Ranking Models」と題した記事を公開した。広告ランキングモデルのML改善手法をAIエージェントで大規模に展開する「テクニック伝播」システムについて詳しく紹介されており、エンジニア生産性の3倍向上と年間4,500万ドル超のコスト削減という具体的な成果が報告されている。
エンジニアの生産性を3倍に:AIエージェントが解いた組み合わせ爆発の問題
Metaの広告システムは、商品面や広告主の目的ごとに異なる多数の広告ランキングモデルで構成されている。MLエンジニアは日々、Wukongファクタリゼーション層やInterformerインタラクションネットワークといったアーキテクチャ改善、あるいはトレーニング最適化など「テクニック」と呼ばれる改良を積み重ねている。
問題は、あるモデルで実証されたテクニックが別のモデルにそのまま使えないことだ。各モデルはアーキテクチャ、訓練データ、サービング制約がそれぞれ異なる。さらにMLテクニックには「賞味期限」がある。今日有効な改良も、数モデル世代後には次世代手法に置き換えられる。モデル数とテクニック数の両方が増え続ける中、探索すべき「テクニック×モデル」の組み合わせは組み合わせ爆発的に広がる一方、エンジニアの手と計算資源(コンピュート)は有限だ。
MetaはまずStandard Model Templates(SMT)という標準化アプローチで対処し、過去2年間で5,000以上のテクニック×モデル組み合わせを展開、モデルあたりのエンジニアリング工数を92%削減した。しかし標準化と自動化が担えるのは決定論的な処理のみ。「どのテクニックをどのモデルに適用すべきか」「なぜモデルが改善しないのか」といった判断が必要な部分は、依然として人間のエンジニアが担う必要があった。
そこに投入されたのがAIエージェントだ。2026年3月にエージェントによる実行が始まり、現時点ではテクニック伝播の60%以上をAIエージェントが担っている。エンジニア生産性は3倍、一部の組み合わせでは訓練コンピュートの中央値を4分の1に削減、年末までの計算コスト削減額は推定4,500万ドル以上と報告されている。
システムの3層構造:Discovery・Generalization・Adoption
AIエージェントが介入するのは、テクニック伝播の3つのフェーズ全体にわたる。
Discovery(発見)
どのテクニックが実証済みで、各モデルへどの程度転用可能かを評価するフェーズ。従来はドメイン専門家が1モデルずつ手作業で評価していた。エージェントは共有ナレッジベース(過去の訓練ラン結果、モデルアーキテクチャ、テクニック適用履歴の蓄積)を参照し、モデル群全体に対して一括で期待インパクト順のランク付きリストを生成する。エンジニアはエージェントの評価結果をレビューして判断を下すだけでよい。
評価指標は適合率(precision)と再現率(recall)。見逃し(recall漏れ)はその後のフェーズで取り戻せないため、再現率を重視する設計になっている。
Generalization(汎化)
あるモデルで実証されたテクニックを、異なるアーキテクチャや制約を持つモデルに適用できるよう再実装するフェーズ。アプローチは2種類ある。
- テンプレート汎化: SMTベースのモデル群には、テンプレートレベルで一度汎化すれば自動的に全派生モデルに展開できる。エージェントはテンプレートの改良仮説を提案し、代表モデル群で実験を回し、複数ラウンドにわたる多日間ループを管理する。
- 個別汎化(Bespoke): 収益規模が大きい最重要モデルに対しては、エンジニアが最初の数モデルに適用する際にエージェントが並走して学習する。エンジニアの判断(設定変更、ハイパーパラメータ調整、障害対応)を追跡・記録し、残りのモデルへの適用提案はエージェントが行い、エンジニアはレビューと方向修正に集中できる。
数百万件の訓練ランの知見を基に、エージェントは最も成功しそうな設定から探索を開始し、各ラウンドの結果でハイパーパラメータ探索空間を絞り込んでいく。これが訓練コンピュートの中央値4倍削減につながっている。
Adoption(導入)
汎化されたテクニックをモデルごとに実際に展開するフェーズ。エージェントは実験の起動、数日間にわたる非同期訓練ランの管理、収束モニタリング、障害診断と自動リカバリ、承認提案の作成を行う。インフラ障害、訓練発散、データパイプラインエラーといった障害が発生した場合、原因を診断して自動修正またはリトライを実施する。
また、並行して走る数百の訓練ジョブに対して、収益重要度・テクニックポテンシャル・締め切り近接度でジョブに優先順位をつけ、停滞中または低価値のジョブから計算資源を回収して高価値ワークに再割り当てする仕組みも実装している。
評価の仕組み:エージェントの判断もA/Bテストで検証
エージェントが伝播させたテクニックは、エンジニアが伝播させたものと同じ基準で評価される。まず正規化エントロピー(NE)などのオフライン予測性能指標で改善を確認し、訓練・推論コストのガードレールを満たすかチェック。その後、オンラインA/Bテストで統計的に有意な勝利を確認してから初めて本番展開される。
展望
現状、実証済みの全テクニックが全適用可能モデルに到達するまで1年以上かかっているという。Metaはこれを大幅に短縮することを目指しており、元記事では具体的な目標期間が示されている。
エージェントが判断を担う割合が増えても、人間は依然として重要な意思決定者として関与し続ける。計画の承認、優先順位の設定、最終的な展開承認は人間が行う設計になっている点は、現時点でのアーキテクチャ上の前提として明示されている。
詳細はHow Meta Uses AI Agents to Scale ML Innovations Across Ads Ranking Modelsを参照していただきたい。