GPT-4o-miniのファインチューニングのすゝめ

SRANK

突然ですが、みなさんLLMのファインチューニングしていますか？個人的な感想かもしれませんが、ファインチューニングは、幻滅期に入っているように感じています。GPT-3.5 Turboのファインチューニングが発表されて以降、ファインチューニングしても思ったような出力をしてくれないので、ファインチューニングに期待しないという意見がちらほら聞こえてきました。ファインチューニングするぐらいなら、Few-shotなどのプロンプトエンジニアリング技法を駆使した方が、結果的には求めている出力をしてくれると考えている方も多かったのではないでしょうか。正直、私自身もそうでした。ファインチューニングは、データセットを準備するのも大変ですし、正直コスパがよくないなと感じていました。実際、プロンプトのチューニングは高速でPDCAを回せるので、ファインチューニングを反復するよりも遥かに高速なフェードバックループを得ることができます。ですが、一方で、プロンプトエンジニアリングでも求める精度を達成するのには限界があります。あくまでイメージですが、1つのプロンプトに小さなタスクをこなさせるとしても、体感90%ぐらいの精度までは簡単に持っていけるので…