10月6日、Hackadayが「A New Type Of LLM On The Block: Decision-Making Models」と題した記事を公開した。テキストを生成せず、分類・判定結果を数値として直接返す意思決定特化型の新カテゴリLLM「Decision-Making Models」を紹介する内容だ。
LLMなのに「文章を出力しない」モデルとは何か
LLMといえばテキストを生成するものだというのが一般的な認識だ。しかし実際の用途を見ると、「このレビューはポジティブか？」「このコンテンツはどのカテゴリに当てはまるか？」「このメールはスパムか？」といった分類・判定タスクに使われるケースが非常に多い。文章を生成させ、その結果を解析する——という迂回路を取っているわけだ。
ここで重要な文脈として、分類タスクへの対応手段はLLM以前から存在していた。BERTベースのfine-tuningモデルや、テキストの意味的近さを数値ベクトルで表現するembeddingモデルがその代表だ。これらはそれぞれ「特定タスク向けに追加学習が必要」「類似度計算には強いが判定ロジックは別途必要」といった制約がある。
Decision-Making Modelsは、こうした既存手法とも汎用LLMとも異なる第三の道を提案する。汎用LLMのようにプロンプトで柔軟な質問を投げかけられる一方、出力はテキストではなく判定結果に対応する数値に絞り込まれている。分類タスクへの適合性をアーキテクチャレベルで追求したモデルカテゴリ、というのが現時点での理解だ。
「Jev」：テキスト入力、出力は判定スコアのみ
数週間前にリリースされたJevは、このカテゴリの代表的存在だ。テキストを入力として受け取るところは通常のLLMと同じだが、出力するのは判定結果に対応する浮動小数点数のみであり、一文すら生成しない。
この数値が「答え」になる。具体的には、ユーザーがYes/No形式の質問を投げれば対応する確信度スコアが返り、選択肢リストを与えれば各選択肢のスコアが返り、スコアリング要求には評点が返る——という形だ。汎用LLMのようにJSON形式で出力を縛ったり、生成されたテキストをパースしたりする手間が不要になる。どのケースも数値として返ってくるため、後段の処理がシンプルになる。
Simon Willison（Djangoの共同作成者として知られ、AI/LLM領域の解説で広く読まれているエンジニア）が、Jevの動作とこのモデルカテゴリの意義をまとめた解説を公開しており、元記事内でも参照されている。
Jevの特徴を整理すると：
- 極めて高速（テキスト生成のオーバーヘッドがなく、分類に特化した推論のみを行う）
- 低コスト（出力トークン数がほぼゼロに近いため、トークン課金モデルでは特に有利）
- 分類・判定タスクに特化（エッセイ生成や会話応答には使えない）
- 出力が確定的（汎用LLMのような出力のブレが構造的に起きにくい）
後追いの動きが加速：KevとNimble
Jevのリリースが火をつけた形で、同様のアーキテクチャを持つモデルやその実験が相次いでいる。記事が具体的に挙げているのはKevとNimbleの2つだ。
特にNimbleは、**Ollamaへの対応が最近追加された**点が注目に値する。Ollamaはローカル環境でLLMを手軽に実行するためのツールとして広く使われており、Nimbleはそこで動かせるほどモデルが小さい。クラウドAPIへのネットワーク遅延やコストを気にせず、ローカル推論で分類タスクをさばける選択肢が現実的になりつつある。
エッジデバイスやオンプレミス環境での推論、あるいはデータをクラウドに送りたくないプライバシー重視の用途では、こうした軽量なローカル動作モデルの存在感が増す可能性がある。
汎用LLMで分類タスクを処理することの「無駄」
ChatGPTなどの汎用LLMを分類タスクに使う場合、典型的なフローはおおよそ次のようになる。
- 分類結果をJSON形式で返すようプロンプトで指示する
- LLMがテキストを生成する（この時点で入力・出力トークンが消費される）
- 生成されたテキストをパースして判定結果を取り出す
- 出力フォーマットがズレていた場合はリトライする
このプロセスにはレイテンシ・コスト・出力の不安定さという三重の課題がある。Decision-Making Modelsは、そもそも出力をテキストにしないことでこの問題を構造レベルで回避するアプローチだ。分類・判定タスクの用途では、汎用LLMに対して速度・コスト・安定性のいずれでも優位に立てる可能性がある。
なお、元記事の時点では詳細なベンチマーク数値は限られており、汎用LLMとの定量的な比較データは示されていない。カテゴリとしての新規性と方向性が紹介されている段階だ。
まだ初期段階だが、方向性は明確
Decision-Making Modelsはまだ登場したばかりのカテゴリであり、エコシステムも整備途上だ。しかし「分類タスクのためにテキスト生成を挟まない」という発想はシンプルで、エンジニアが手を動かして試しやすい領域でもある。Ollamaへの対応が進めば、ローカル環境で気軽に評価できる環境も整ってくるだろう。
詳細はA New Type Of LLM On The Block: Decision-Making Modelsを参照していただきたい。
