9月19日、Inside AI Newsが「Jev: ChatGPT Inventor's New AI Model 100x Cheaper」と題した記事を公開した。この記事では、ChatGPT開発に携わった元OpenAI研究者が創業したスタートアップTypeSafe AIが、テキスト生成を捨てて確率スコアのみを返す新AIモデル「Jev」をリリースしたことについて詳しく紹介されている。
なぜLLMの出力コストが問題なのか
LLMをAPIで利用する場合、課金は一般的に入力トークン数と出力トークン数の両方に基づく。特に出力トークンは入力トークンよりも単価が高く設定されているケースが多く、大量のテキストを生成するタスクではコストが急増しやすい。
たとえばメール1件を「緊急/通常/スパム」に分類するだけのタスクでも、LLMは「このメールは緊急度が高いと判断されます。なぜなら…」といった形で自然言語の説明文を生成してしまう。機械がその後の処理に必要なのは分類ラベルや確率値だけであるにもかかわらず、大量の出力トークンが消費される。こうした機械間通信（machine-to-machine communication）における出力の非効率さが、自動化パイプラインでLLMを大規模利用する際のボトルネックになっている。
記事によれば、現在のAI市場では最安値のモデルが100万出力トークンあたり0.04ドル、フロンティアモデル（GPT-4oやGemini 1.5 Proのような最高性能クラスのモデル）が25ドルと、625倍の価格差が存在する。Jevはこの構造的問題を狙い撃ちにして設計されている。
テキストを返さないAIモデル
Jevの設計思想は、既存のLLMとは根本的に異なる。テキストを生成しない。
「この顧客は怒っているか？」と問い合わせると、JevはテキストではなくYesの確率を示す0.9という数値を返す。出力が確率スコア（0〜1の数値）に限定されているため、構造的にハルシネーション（もっともらしい嘘の生成）が発生しない。存在しない言葉を「作り上げる」プロセス自体がないからだ。
開発したのはDiogo Almeida氏。OpenAI在籍時にChatGPTの構築に携わった研究者で、2年前にTypeSafe AIを設立した。Almeida氏はChatGPTの成功にもかかわらず、機械間通信における実用性の低さに不満を抱いてOpenAIを離れたという。Jevはその問題意識から生まれた。
コスト構造の違い
Jevは入力トークン数のみで課金する構造を採用している。出力が数値1〜2個に収まるため、出力トークンに相当するコストがほぼ発生しない。これにより、比較対象となるLLMの約100分の1のコストを実現しているとされる。
なお、Jevが返す確率スコアの詳細な内部構造（純粋な確率値なのか、分類ラベルと組み合わせた構造を持つのか）については、元記事では明示されていない。TypeSafe AIの公式ドキュメントで確認することを推奨する。
リリース直後の反応
リリース翌日には開発者の需要がTypeSafeのインフラを圧迫した。記事では2件の具体的な比較が報告されている。
- VercelのエンジニアPranit Sharma氏：OpenAIのLunaモデル（OpenAIが提供する軽量・低コスト志向のモデル）と比較し、5〜18倍高速かつ精度も上回ると報告
- Bryo AIのCTO Nikhil Mudholkar氏：ビジネスメールの分類タスクでGeminiと比較し、10〜20倍安価かつワークフロー自動化に適した確率スコアを取得できると報告
ただし記事内でも明記されているが、これらの数値はInsideAI Newsが独立検証したものではなく、ユーザー報告に基づく。TypeSafe AIは独自ベンチマークを公開していない。
合成データで訓練
Jevのもう一つの特徴は、合成データ（synthetic data）のみで訓練されている点だ。合成データとは、実際のユーザー行動や実世界の記録から収集するのではなく、アルゴリズムや別のモデルを用いて人工的に生成したデータを指す。実データのスクレイピングを一切行わず、データ生成とアノテーション作業を自動化するアプローチを採った。
Almeida氏はこれを「自分が行った中で最良の戦略的賭け」と表現している。プライバシーリスクと訓練データコストの両方を回避できる手法であり、近年LLMの訓練コスト削減策として注目が高まっているアプローチでもある。
用途と制約
Jevが有効なのは分類・自動化タスクに限られる。自然言語での回答が必要なチャットボットや文章生成用途には、そもそも使えない。メールのカテゴリ分類、感情分析、コンテンツモデレートといった「Yes/Noまたは確率を知りたい」タスクが主な適用領域だ。
汎用LLMの代替ではなく、特定の構造化判断タスクに特化したツールとして位置づけるのが正確だ。なお、TypeSafe AIは調達額・顧客数ともに未公開の段階にある。
詳細はJev: ChatGPT Inventor's New AI Model 100x Cheaperを参照していただきたい。
