9月6日、MarkTechPostが「Meta FAIR Introduces AI Research Preference Models (RPMs): Ranking ML Experiments Before Spending GPU Hours」と題した記事を公開した。この記事では、GPU時間を消費する前にML実験候補をランク付けする「AI Research Preference Models（RPMs）」について詳しく紹介されている。
「どの実験を走らせるか」が研究効率の本丸
AIエージェントが自律的に実験を提案・実装・評価するAI for Science（AI駆動の科学研究）の文脈では、アイデアの生成コストは安い。問題は検証コストだ。1つの候補モデルを学習させるだけで、GPUを数時間から数日間占有する。エージェントが提案する候補の数は、実際に実行できる数をはるかに上回る。
Meta FAIR・オックスフォード大学・ユニバーシティ・カレッジ・ロンドンの共同研究チームはこの問題を「研究選好（research preference）」として定式化し、AI Research Preference Models（RPMs）を提案した。RPMは「まだ実行されていない候補」をランク付けし、最も有望な1つだけを実行に回す。絶対スコアの予測はしない——LLMはメトリクスや実行結果の予測に信頼性が低いと判断したためだ。
エージェントループのどこに刺さるか
RPMはAIRA-dojoという進化的木探索フレームワークの上で動く。このフレームワークはDraft / Improve / Debugの3オペレーターで子ノードを生成し、最高バリデーションスコアのノードを返す仕組みだ。
RPMが介入するのは子ノード生成のタイミングだけ。通常は1つの子を生成して即実行するところを、RPMは同一オペレーターを並列15回適用して15候補を生成し、ノックアウトトーナメント形式のペア比較で勝者1つだけを実行する。各比較には、探索済みツリーのBFS走査で収集したコンテキストノード（バリデーションスコア付き）が参照情報として与えられる。
2つのバリアント：コンピュート予算で使い分ける
Inference-only RPMは、候補のプラン・コード・探索履歴をLLMがジャッジする純推論型だ。プロンプトはDSPyのMIPROv2で最適化されており、「修正可能なバグは許容する」「拡張性を評価する」「重複方向はペナルティ」という主任研究員的なルーブリックに収束している。オフライン精度は**57.7〜59.0%**。
Agentic RPMはさらにサンドボックスを持つ。エージェントの環境（H200×1）をクローンし、python・bash・submit_solutionツールで小規模なパイロット実験を走らせてから判断する。実装上の工夫が2点ある。①残り予算を意図的に過大表示（実際300秒のところ2700秒と提示）してエージェントの早期終了を防ぐ、②パイロットは最大30回・60秒閾値でキャップ。パイロット時間はエージェント自身のクロックと競合するため、Agentic RPMはDraft・Improveステップのみで動作し、Debugはランダム選択に戻る。
ベンチマーク結果：1.5〜1.6倍の効率化
評価はAIRS-Benchの公開テキスト・表形式タスク20件、H200×1で24時間、10シード、バックボーンはQwen3.6-27B（オペレーターとRPMで共通）という条件だ。判定モデルを強化したのではなく、選択層だけで差が出ている点が重要である。
| 子ノード選択方式 | 平均正規化スコア |
|---|---|
| RPMなし（ランダム選択） | 0.684 |
| Inference-only RPM | 0.711 |
| Agentic RPM | 0.729 |
| バリデーション oracle（上限） | 0.748 |
| テスト oracle（上限） | 0.759 |
スコア改善の確率はInference-only RPMで0.5923、Agentic RPMで0.5913（95%CI下限はそれぞれ0.5066・0.5018）。いずれもランダムベースライン（0.5）に対して統計的に有意な改善であり、偶然によるスコア向上ではないことが確認されている。
効率面では、Inference-only RPMはベースライン（24時間）と同じ0.684スコアを14.88時間（1.61×）で達成し、Agentic RPMは15.50時間（1.55×）で到達する。自己ホスト推論のオーバーヘッド（0.660時間/実行）を差し引いても23.34時間で0.708を出せる。
また2つの新SOTAも報告されている。**WinoGrande 94.1%（Agentic RPM、従来のエージェント型SOTAであるAIRA₂の90.4%を更新）、SVAMP 95.7%**（Inference-only、従来の人間SOTA 94.2%を超過）。
デプロイ可能性
RPMはファインチューニングなしの凍結済み事前学習LLMを使用する。スキャフォールドのAIRA-dojoとベンチマークのAIRS-BenchはOSSとして公開済み、バックボーンのQwen3.6-27Bはオープンウェイトだ。完全な自己ホスト運用が可能な構成になっている。
論文はarXiv:2608.13940で公開されている。
詳細はMeta FAIR Introduces AI Research Preference Models (RPMs): Ranking ML Experiments Before Spending GPU Hoursを参照していただきたい。
