LLMへの入力トークンはコストが「二次加速」する — エージェント設計者が知っておくべきコンテキスト長とエネルギー消費の関係
DRANK

11月20日、Lars Kruppらが「The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases」と題した論文を公開した。LLMのプリフィル(入力処理)・デコード(出力生成)フェーズにおける計算時間とエネルギー消費を定量的にモデル化し、コンテキスト長がエネルギーコストに与える影響を実測データから導出した研究だ。著者はLars Krupp、Daniel Geißler、Francisco M. Calatrava-Nicolas、Stefan Gerd Fritsch、Paul Lukowicz、Jakob Karolusの6名で、2025年10月29日に初稿(v1)が投稿され、2025年11月19日に改訂版(v2)が公開された。なお、arXivのID「2610.39621」はフォーマット上「2026年10月」を示唆するが、実際の投稿日は2025年10月29日であり、IDと投稿日の間に形式上の不一致がある点は留意されたい。

by @tf_official
Related Topics: AI Machine Learning Deep Learning