11月21日、The Decoderが「Bytedance argues most AI training phases are unnecessary and backs it up with a competitive open model」と題した記事を公開した。ByteDanceと米国複数大学の共同研究チームが、LLMの複雑な多段階訓練パイプラインの大半は不要であると主張し、わずか3フェーズの訓練で商用モデルと競合するオープンモデル「Axion 1.0」を発表したことを詳しく紹介している。
AIエージェント訓練の「フェーズ過多」問題
AIモデルがWebを自律的に調査し、コードを実行し、複数ステップのタスクを解くことへの期待が高まる中、その裏側にある訓練パイプラインはどんどん複雑化している。ByteDanceと米国複数大学による共同研究チームが発表した論文は、「多くの開発者が訓練フェーズを何段も積み重ねており、どのステップが実際に効いているのか判別することがほぼ不可能になっている」と指摘する。
再現コストも膨らむ一方だ。LLMの訓練では、事前学習(Pre-training)に続いて、SFT(Supervised Fine-Tuning:教師ありファインチューニング)、RLHF(人間のフィードバックによる強化学習)、さらにDPO(Direct Preference Optimization)やPPO、RLVRといった手法を組み合わせるケースが増えており、フェーズ数は研究チームによって大きく異なる。どの手順が実際の性能向上に寄与しているかの切り分けが困難になっているのが現状だ。
「3フェーズで十分」という主張
この研究チームの結論はシンプルだ。3つの訓練フェーズで、商用モデルと競合できるレベルのエージェント性能を達成できるというものだ。
研究が採用した3フェーズは、論文の公開情報をもとに整理すると、概ね (1) SFTによる行動クローニング、(2) 報酬モデルの学習(Reward Modeling)、(3) 強化学習による方策最適化(RL) という構成とみられる。従来のパイプラインでは各フェーズをさらに細分化したり、DPOやPPOを重ねがけしたりするケースが多いが、この研究はそれらを統合・削減しても十分な性能が出ると主張している。
その主張を裏付けるために実際に開発・公開されたのが、オープンモデル「Axion 1.0」だ。Axion 1.0はByteDanceが手がけるモデルであり、同社はこれまでにもDoubaoやSeedシリーズといったLLM開発を進めてきた実績がある。Axion 1.0はこれらの研究蓄積を背景に、エージェント向けの訓練効率化を主眼として設計されたモデルと位置づけられる。論文の詳細はarXiv上での公開が見込まれるが、執筆時点では正式なプレプリントURLの確認が取れていないため、元記事のリンクから最新情報を確認していただきたい。
研究の問題意識を整理すると以下のとおりだ。
- 訓練フェーズの積み重ねが、どのステップが有効かを不透明にしている
- 再現コストが高騰しており、学術・産業界双方にとって障壁となっている
- 3フェーズに絞った訓練でこの問題に正面から応えるオープンモデルを実際にリリースして実証した
なぜ今これが重要か
LLMの訓練パイプラインの複雑化は、業界全体で認識されている問題だ。OpenAIやGoogle DeepMindのような巨大組織であれば膨大な計算資源でカバーできるが、中小規模の研究チームや企業にとって、多段階の訓練フェーズを忠実に再現することは現実的でなくなりつつある。再現性・透明性の欠如は、オープンサイエンスの観点からも深刻な課題として議論されている。
ByteDanceは米国の輸出規制による先端半導体へのアクセス制限という制約を抱えながらも、QwenやDeepSeekと並んでオープンモデル開発で存在感を示してきた。今回の研究は、「少ないフェーズで十分な性能を出す」という方向性が、単なるコスト削減論ではなく、再現性・透明性の観点からも正当化できることを実証しようとするものだ。訓練パイプラインの簡素化が学術・産業界双方に広く受け入れられれば、オープンモデルの再現・改良サイクルが大幅に加速する可能性がある。
Axion 1.0が示す方向性
Axion 1.0の具体的なベンチマーク数値や比較結果は元記事の詳細部分で示されている。今回の研究が注目に値するのは、単に「フェーズを減らした」という主張にとどまらず、実際に競合水準のオープンモデルをリリースすることで主張の正しさを実証した点だ。論文と実装の両輪でオープンにすることで、コミュニティが追試・検証できる環境を整えており、再現性重視の姿勢が明確に打ち出されている。
LLMの訓練効率化という文脈では、MoE(Mixture of Experts)アーキテクチャによる計算コスト削減や、LoRA系のパラメータ効率的ファインチューニングが注目を集めてきた。今回のアプローチはアーキテクチャではなく訓練フェーズ設計の側から効率化を追求するものであり、異なる切り口から同じ課題に挑んでいる点で興味深い。
詳細はBytedance argues most AI training phases are unnecessary and backs it up with a competitive open modelを参照していただきたい。