7月8日、MarkTechPostが「Liquid AI Open-Sources Antidoom: A Final Token Preference Optimization (FTPO) Method that Reduces Doom Loops in Reasoning Models」と題した記事を公開した。推論モデルが思考を繰り返し続けてコンテキストを使い切ってしまう「ドゥームループ」は、正解を導ける問題でも評価スコアをゼロにしてしまう深刻な障害だ。Liquid AIはこの問題を、モデル全体の再訓練ではなくループが始まる最初の1トークンだけを修正するという極めて外科的なアプローチで解決する手法「Antidoom」をオープンソース公開した。

Liquid AIとは、そしてなぜこの問題に取り組んだか

Liquid AIは、MITのCSAILから生まれたスタートアップで、Liquid Foundation Models（LFM）と呼ばれる独自アーキテクチャのモデルシリーズを開発している。Transformerに依存しない設計思想を持つ同社にとって、推論モデルの実用化は製品競争力に直結する課題だ。

今回の研究は、同社が開発中の推論モデル LFM2.5-2.6B の早期チェックポイントで、難しい数学・コーディングプロンプトに対してループ発生率が**10.2%**に達していたことが直接の契機となっている。小規模モデルほどリソース制約が厳しく、コンテキストウィンドウをループで埋め尽くされるダメージは大きい。汎用的な解決策として開発されたAntidoomは、他の推論モデルにも適用できる形でGitHubに公開されている。

推論モデルが陥る「ドゥームループ」とは何か

LLMの推論モデル（Chain-of-Thoughtなど長い思考トレースを生成するモデル）には、特定の条件下でテキストの一部を繰り返し出力し続け、コンテキストウィンドウを使い切ってしまうという問題がある。これがドゥームループだ。

Liquid AIが調査したところ、ループが始まるトークンには偏りがあった。

「Wait」「Alternatively」といった談話標識（discourse marker）は、推論の方向転換や検証ステップとして本来は有用なトークンだ。しかしモデルが不確実性を抱えて行き詰まると、これらが「とりあえず使いやすいフォールバック」として繰り返し選ばれ、ループを引き起こす。さらに、推論モデルは出力の安定性を重視して低温度サンプリング（temperature≈0）で動作するため、一度ループに入ると脱出口がなくなる。ループが発生すれば、モデルが正解を導ける問題でも答えに辿り着けず、評価スコアを丸ごと失う。

Antidoomの核心：ループ開始トークン1つだけを修正する

Antidoomのアプローチは、ループが始まる最初のトークン1つだけを狙い撃ちにするという点で際立っている。モデル全体を再訓練するのではなく、ループを引き起こすその1トークンの確率分布だけを調整する。

ループ検出のロジックはシンプルだ。「60文字以上のスパンが4回以上繰り返されたら」ループと判定し、最初の繰り返しの先頭トークンを「拒否（rejected）」対象として特定する。

# A loop = a unit repeating >=4 times, spanning >=60 characters.
def find_loop(text, min_repeats=4, min_chars=60):
    n = len(text)
    for span in range(1, n // min_repeats + 1):
        start = 0
        while start + span * min_repeats <= n:
            unit = text[start:start + span]
            repeats = 1
            pos = start + span
            while text[pos:pos + span] == unit:
                repeats += 1
                pos += span
            if repeats >= min_repeats and span * repeats >= min_chars:
                return start + span
            start += 1
    return None

検出後、ベースモデルのtop-k対数確率から最大20個の「妥当な代替トークン」をchosenとして取得し、以下の形式でトレーニング行を構成する。

row = {
    "prompt": prefix_up_to_the_loop,
    "rejected": " Wait",
    "chosen": [" So", " Since", " The", " Therefore"],
}

FTPO（Final Token Preference Optimization）の設計

この訓練に使うアルゴリズムがFTPOだ。DPO（Direct Preference Optimization）に近いが、4点で異なる。

1. 末尾トークンのみを学習対象にする — 生成途中のシーケンスの最後の1トークンだけを動かす
2. 複数のchosenトークン — 1つの代替に集中させず、確率を複数の候補に分散させる（ある「過剰学習済みトークン」を別の過剰学習済みトークンに置き換えるだけ、という事態を防ぐ）
3. ロジット空間でのKLライク損失 — softmaxを省略し、無関係なトークンへの影響を抑える
4. 2段階の正則化 — chosenとrejectedのロジットは動きやすくしつつ、残りの語彙は強く拘束する

実装ではLoRA（ランク128〜256）を1エポック訓練する。全アテンション・MLPプロジェクション + lm_head が対象だ。学習率は4e-6〜2e-5の範囲。

重要なのは早期終了の設計だ。chosen_win（chosenトークンがrejectedを上回ったサンプルの割合）が0.35に達した時点で停止する。それ以上訓練を続けるとモデルの性能が劣化する。

パイプライン全体の所要時間は、8x MI325 GPUでのデータ生成が約1時間、1x MI325 GPUでの訓練が1〜2時間。2万ペアを収集した時点で生成を止める。

結果

Qwen3.5-4Bはgreedyサンプリング時にループが頻発することで知られているが、Antidoom適用後にループ率が**22.9%から1%**に低下し、評価スコアも顕著に改善した。

Liquid AIのチームはここで一つ興味深い指摘をしている。「高温度サンプリングが推論を改善する」という一般的な通念は、ドゥームループの効果と混同されている可能性がある、という点だ。ループを除去した後の実験では、greedy近傍のサンプリング（低温度）が最も高いスコアを出した。

なお、1回の適用でループが別の位置に移動するケースもあるため、複数ラウンドの適用が必要になることもある。

既存手法との比較

コード、検出スクリプト、FTPOトレーナーのすべてがGitHubで公開されており、ループ検出用の訓練データセット LiquidAI/antidoom-mix-v1.0 も合わせて提供されている。

業界への示唆

Antidoomが示す最も重要な知見は、ドゥームループは「モデルが苦手な問題」ではなく「特定トークンの確率分布の歪み」として切り出して治療できるという点だ。修正コストが生成1時間・訓練1〜2時間という軽量さは、実用上の障壁を大幅に下げる。

LFMシリーズ以外にも、推論モデルを開発・運用するチームにとっては直接適用可能なツールとして機能する。特に、小規模モデルでの推論品質向上を目指す開発者にとって、フルファインチューニングや強化学習を使わずにループ問題だけを狙い撃ちできる点は実践的な価値が高い。一方で「ループを潰すと別の位置に移動することがある」という制限は、本手法が銀の弾丸ではなく反復適用を前提としたパイプラインであることを示唆している。

※編集部の考察：Antidoomのアプローチはドゥームループという特定の症状に特化した手法だが、「問題のある生成パターンをトークン単位で特定し、最小限の訓練で修正する」という設計思想は、他のモデル品質問題（特定フレーズの過剰生成など）への応用可能性も示唆している。

詳細はLiquid AI Open-Sources Antidoom: A Final Token Preference Optimization (FTPO) Method that Reduces Doom Loops in Reasoning Modelsを参照していただきたい。