7月28日、Runtime Wireが「Fermisense says a $500 Qwen fine-tune beat frontier models on catalog review」と題した記事を公開した。この記事では、約500ドルのファインチューニングコストで訓練した90億パラメータのQwenモデルが、GPT-5.5、Claude Opus 4.8などFermisenseが評価に用いた複数のフロンティアモデル構成を上回ったという実験結果について詳しく紹介されている。
500ドルで「フロンティアモデル超え」の何が本当か
まず前提として、この結果はFermisenseが独自設計した実験であり、独立した第三者による再現は行われていない。その点を踏まえて読む必要がある。
ただ、実験の設計自体は意図的に「現実のビジネス判断」を模している点が興味深い。
Fermisenseは、Amazon Berkeley Objectsデータセット（実製品の画像と出品情報を含む）を使ってECカタログのデジタルツインを構築した。そこから177,767件のレビューエピソードを生成し、ポリシー違反ケース、画像の不一致、ブランド主張の矛盾、正規出品の偽陽性テストを加えている。
スコアリングには非対称ペナルティを設定した。「違反を見逃した場合のペナルティ」は「誤検知した場合の7倍」という設計だ。「禁止出品を通過させるコストは、正常出品を手動レビューに回すコストより大きい」という業務上の経済的前提をそのまま数値に落とし込んでいる。
比較対象として評価に用いたフロンティアモデルはGPT-5.5、GPT-5.6-sol、Gemini 3.1 Pro、Claude Opus 4.8、Claude Fable 5の5構成だ。これらはFermisenseが実験のために独自に命名・区別した構成であり、一般に流通するGPT-5やClaude Opus 4などの製品名と必ずしも一致しない点には注意が必要だ。各モデルに同一の画像、ツール、スコアラー、ターン数上限を与えて評価した。
スコア比較と訓練の概要
200件の層別バリデーションエピソードで評価した結果は以下の通りだ：
| 構成 | スコア（Fermisense上限比） |
|---|---|
| 訓練済み9Bモデル | 87.3% |
| 最強のフロンティア構成 | 76.9% |
| 訓練前の9Bベースモデル | 64.2% |
なお、このスコアはFermisenseが設定したスコアリング上限に対する正規化された割合であり、一般的な精度（Accuracy）とは異なる点に注意が必要だ。
訓練にはNvidia RTX PRO 6000 GPUを2基使用し、1基でRLのロールアウト生成、もう1基でモデル更新を担当した。フレームワークはPrime Intellectのオープンソース実装であるprime-rlで、1,000オプティマイザーステップを約3.5日かけて実行している。
強化学習手法として、元記事ではGRPO（Group Relative Policy Optimization）に相当する手法が採用されたと紹介されている。正しいカテゴリ分類・属性判定・ポリシー判断に報酬を与え、誤りや不要なツール呼び出しにペナルティを与える設計だ。GRPOはDeepSeekなどでも採用された手法で、参照モデルを必要としない点が特徴として知られている。
Fermisenseによれば、約250ステップ（1日程度）の時点でフロンティアモデル群のスコア範囲を超えたという。訓練にかかったGPUコストの合計は約500ドルだった。
モデルと訓練アダプタはHugging Faceで公開されているが、モデルカードの記述は空欄であり、実験の詳細はFermisenseの技術記事が唯一の情報源となっている。
コスト差が本命の論点
スコア差よりも、Fermisenseが強調するのはコスト構造だ。
Fermisenseの試算では、1,000件の出品レビューあたりのコストは以下になる：
- 訓練済み9Bモデル：約0.50ドル
- 最安フロンティア構成：約19ドル
- 最高スコアフロンティア構成：約34ドル
- 最高価格フロンティア構成：約172ドル
最高スコアのフロンティア構成との比較では、約68倍のコスト差を主張している。
さらにFermisenseは、1日4,000万件の判断というスケールシナリオに換算して年間コストも試算している（専門モデル：約700万ドル、フロンティア上位構成：約5億ドル）。ただし、この4,000万件という数字はFermisense自身のトラフィックではなく、ShopifyがスケールでカタログモデルをファインチューニングしているとPublicに述べた内容から引用したものだ。あくまでモデルケースである。
フロンティアモデルに対するコスト増の要因の一つとして、最適化済みプロンプト（約2,800文字の手順と例）を与えた場合、フロンティアモデルの入力コストが28〜55%増加したことも指摘されている。訓練済みモデルはそのルールをすでに重みに内包しているため、長いプロンプトを必要としない。
この実験が示す「本当の資産」
Fermisenseはオンプレミス型のエンタープライズ向け知識インデックス製品を販売している。今回の実験はその製品ピッチの延長線上にある。
Fermisenseが提唱するアプローチは単純だ。まずフロンティアAPIでベースラインを確立しながらトレース・修正履歴・スコア済みアウトカムを蓄積する。ワークフローが十分なボリュームに達したら、その記録で小規模な専門モデルを訓練し、繰り返し判断を任せる。広い能力が必要な作業にはフロンティアモデルを残す、という役割分担だ。
この手法が機能する条件は明確で、Fermisenseも正直に記述している：
- 判断ボリュームが大きい
- ツールと評価基準が安定している
- 結果を自動採点できる
カタログ分類はこれを満たす。一方、オープンエンドなリサーチや戦略的判断など「正解が一意に定まらない」タスクには訓練シグナルが弱く、この方法は機能しにくい。
Fermisenseの実験は「9Bモデルがフロンティアより一般的に優れている」ことを証明してはいない。狭いタスクに対してシミュレーター、独自ルール、コストを反映した報酬関数が揃えば、モデルのスケールは二次的な問題になることを示している。そのセットアップで本当に価値ある資産は、ワークフローデータ・ツール・評価ハーネス・重みを含む訓練ループ全体だ、というのがFermisenseの主張だ。
詳細はFermisense says a $500 Qwen fine-tune beat frontier models on catalog reviewを参照していただきたい。
