「GPU代はAPI代の半額」のはずが128%に — LLMセルフホストのざっくり試算が崩れる4つの落とし穴
DRANK

11月16日、Omri Ben-Tolilaが「You Want to Self-Host Your LLM. Here's What the Napkin Math Leaves Out.」と題した記事を公開した。LLMのセルフホスティングコストを試算する際に「ざっくり計算」では見えてこない落とし穴を、実際のスタートアップのケーススタディをもとに詳しく解説している。

by @tf_official
Related Topics: AI Google Cloud Startup