LiteLLM を使って色々な LLM API サービスをいい感じに使いこなす

BRANK

この記事は Magic Moment Advent Calendar 2024 5 日目の記事です。Magic Moment でプロダクトデータを活用した機能の開発・検討をしている @nagomiso です。気づけば前回の記事から 1 年が経過していました。時間の流れが早すぎて驚きを隠せません。 ここ 1 年での変化としては体重が大幅に増えました。原因は間違いなくラーメンの食べ過ぎです。節制せねば… 🍜はじめにGoogle が Gemini 1.5 Pro / Flush を公開したり OpenAI が GPT-4o / 4o mini, OpenAI o1 / o1 mini を公開したりと 2024 年も LLM の進化には目を見張るものがありました。こうした進化によって開発で使える高性能な LLM API サービスが増えるのは喜ばしいことですがサービス毎に API が異なっているのでサービスを比較検討しながら開発する際に辛さを感じることも少なくありません。この辛さを軽減してくれるのが LiteLLM です。LiteLLMLiteLLM は世の中に存在する様々な LLM API サービスの呼び出しをラップして OpenAI と同じ形式で透過的に利用できるようにしてくれる OSS です。すでに LiteLLM の魅力を紹介する記事は存在していますが私からも改めて紹介させていただければと思います。 LiteLL…