ByteDanceが「AI訓練フェーズの大半は不要」と主張 — 3フェーズだけで商用モデルと競合するオープンモデルを公開して実証
DRANK

11月21日、The Decoderが「Bytedance argues most AI training phases are unnecessary and backs it up with a competitive open model」と題した記事を公開した。ByteDanceと米国複数大学の共同研究チームが、LLMの複雑な多段階訓練パイプラインの大半は不要であると主張し、わずか3フェーズの訓練で商用モデルと競合するオープンモデル「Axion 1.0」を発表したことを詳しく紹介している。AIエージェント訓練の「フェーズ過多」問題AIモデルがWebを自律的に調査し、コードを実行し、複数ステップのタスクを解くことへの期待が高まる中、その裏側にある訓練パイプラインはどんどん複雑化している。ByteDanceと米国複数大学による共同研究チームが発表した論文は、「多くの開発者が訓練フェーズを何段も積み重ねており、どのステップが実際に効いているのか判別することがほぼ不可能になっている」と指摘する。再現コストも膨らむ一方だ。LLMの訓練では、事前学習(Pre-training)に続いて、S...

by @tf_official
Related Topics: AI Machine Learning Deep Learning