7月29日、MarkTechPostが「Liquid AI Releases LFM2.5-Encoder-230M and LFM2.5-Encoder-350M: Bidirectional Encoders That Stay Fast at 8K Context on CPU」と題した記事を公開した。Liquid AIがオープンウェイトの双方向エンコーダ2モデルを公開した——それ自体はよくある話だが、CPU上で8Kトークンを28秒で処理するという数字は、現行のBERT系エンコーダが抱えてきた「長文脈での推論コスト」という課題に真正面から答えるものだ。BERTやRoBERTaは512トークン前後が実用的な上限とされており、ModernBERTが8Kトークン対応で注目を集めた背景もそこにある。LFM2.5エンコーダはそのModernBERTを推論速度で大幅に上回る数字を示しており、「次世代エンコーダ」の有力候補として評価されている。
CPUで8K処理、しかも28秒——数字が一番雄弁
今回公開されたのはLFM2.5-Encoder-230MとLFM2.5-Encoder-350Mの2モデルだ。どちらもマスク言語モデル（MLM）として動作する双方向エンコーダで、8,192トークンのコンテキストウィンドウを持つ。
最も目を引く数字はCPU上での推論レイテンシだ。8Kトークンの入力に対して、230Mモデルは1フォワードパスあたり約28秒で処理する。比較対象として挙げられているModernBERT-baseは同条件で90秒超かかる。GPUなし・クラウドなしで長文ドキュメントを処理したい現場にとって、この差は小さくない。
Liquid AIは8,192トークンを「約13〜15ページ相当」と説明している。契約書一式や患者記録全体を1回のフォワードパスでカバーできる計算だ。
なお、BERT系エンコーダはコンテキスト長が伸びるとアテンションの計算量が二乗で増加するため、512〜1,024トークンを超えた領域ではCPU推論が現実的でなくなるという構造的な問題を抱えてきた。LFM2.5エンコーダがこの問題を緩和できる理由は、次節で説明するアーキテクチャ上の工夫にある。
デコーダをエンコーダに変換した3つの改造
両モデルはゼロから学習したものではなく、既存のデコーダ型モデル（LFM2.5-230M / 350M）を出発点として変換されている。変換のポイントは3点だ。
- 因果的アテンションマスクを双方向マスクに置き換え——すべてのトークンが前後両方向を参照できるようにする
- 短距離畳み込みを非因果化——対称センターパディングを使い、各トークンの畳み込みが両側の隣接トークンを参照できるようにする
- マスク率30%でMLM学習——BERTの15%より高いマスク率を採用。このスケールでは高マスク率が有効とのLiquid AI側の知見による
学習は2段階で行われる。第1段階は1,024トークンの短文脈MLMで基礎的な言語能力を獲得し、第2段階で8,192トークンに拡張して法律・多言語・事実知識を強化する。
アーキテクチャ的には、ゲート付き短距離畳み込みブロックとグループクエリアテンション（GQA）を交互に組み合わせたハイブリッド構造（LFM2技術レポート参照）を採用している。隠れ層サイズは1,024、語彙サイズは65,536トークン、15言語に対応する。このハイブリッド構造が、純粋なアテンションベースのモデルと比べてCPU上での長文脈処理を現実的なレイテンシに収める鍵となっている。
ベンチマーク：14モデル中4位、ただし上位3つはすべて大型モデル
評価はGLUE・SuperGLUE・多言語分類から17タスクを選び、14モデルで比較している。全モデルをタスクごとにフルファインチューニングしたうえでのスコアだ。
| モデル | パラメータ数 | 17タスク平均スコア |
|---|---|---|
| XLM-R XL | 3.5B | 83.06 |
| ModernBERT-large | 395M | 81.68 |
| XLM-R large | 560M | 81.34 |
| LFM2.5-Encoder-350M | 350M | 81.02 |
| … | … | … |
| LFM2.5-Encoder-230M | 230M | 79.29 |
| ModernBERT-base | 149M | 78.19 |
| EuroBERT-610M | 610M | 75.87 |
350Mモデルは4位（81.02）。上位3モデルはすべてより大きい。230Mモデルは6位（79.29）で、より大きいEuroBERT-610M（75.87）やEuroBERT-2.1B（72.19）を上回っている。
また、Liquid AI自身の検索特化モデル（LFM2.5-ColBERT-350M: 76.18、LFM2.5-Embedding-350M: 75.68）とも差があり、これが汎用エンコーダを別途開発した理由として説明されている。
評価コードはApache-2.0でオープンソース公開されており、fp32マスターウェイト＋bf16オートキャストで統一、AdamWレシピはEuroBERTカードから流用、transformersはバージョン4.56.2に固定するなど、再現性への配慮が徹底されている。
使い方と対象ユースケース
両モデルはtransformersからロードできる。クラス名はLfm2BidirectionalModel（ベースエンコーダ）とLfm2BidirectionalForMaskedLM（MLM用）で、auto_map経由のためtrust_remote_code=Trueが必要だ。
汎用表現を出力するモデルなので、ダウンストリームタスクへのファインチューニングは必須。Liquid AIはファインチューニングチュートリアルを公開しており、8Kコンテキストで長文法律文書を分類するサンプルが含まれている。
公開済みのデモ（すべてCPU専用のHugging Face Space上で動作）は以下の5種類だ：
- ゼロショットプロンプトルーティング
- ゼロショットポリシーリンティング
- スペルチェック
- PII検出（16言語・40種類の個人情報タイプに対応）
- マスク拡散チャットボット（トークンを反復的にアンマスクして生成する実験的デモ）
モデル選択の指針はシンプルだ：精度優先なら350M、スループットやハードウェア制約が厳しい場合は230M。ライセンスはLFM Open License v1.0。商用利用の可否など詳細な条件については、利用前にライセンス本文を確認することを推奨する。
詳細はLiquid AI Releases LFM2.5-Encoder-230M and LFM2.5-Encoder-350M: Bidirectional Encoders That Stay Fast at 8K Context on CPUを参照していただきたい。
