「やるぞ、Cloudflare Workers AI上のOSSモデルへ全面移行！」と意気込んだけど、見送らざるを得なかった話

DRANK

「やるぞ、Workers AI上のOSSモデルへ全面移行！」くらいの勢いで、「食品表示印刷」をはじめとした弊社アプリすべての生成AIをまとめて置き換えようとしました。きっかけは@cf/openai/...や@cf/google/...というモデルIDです。各社APIのCloudflare版を、Workersのすぐ隣で動かせる。そう思ったんですよね。皮算用でしたが。実際に試すと、話はそんなに単純ではありませんでした。結論。Workers AI上のOSSモデルへの全面移行は見送り今回の判断は次のとおりです。対象判断理由今回試したWorkers AI上のOSSモデル見送りSchema不適合、誤検出、同期APIでは長い待ち時間が発生外部の商用モデル継続今回の評価では構造化出力と速度の両方で優位これはWorkers AIというサービス全体の評価ではなく、今回選んだ7つのOSSモデルを「食品表示印刷」で使えるかという判断です。@cfは「各社APIのCloudflare版」ではない@cf/はWorkers AIのモデルを指定するprefixです。なのですが、Cloudflare独自の追加学習や、同じ開発元の商用APIとの同等性を示す印ではありませんでした。Workers AIは、CloudflareのGPU基盤上で、キュレーションされたOSSモデルをサーバーレス実行するサービスです…