エンコーダのみモデルの感情分析ファインチューニングして Unity で動かす

DRANK

はじめに今回は、エンコーダのみのモデルをファインチューニングする方法を備忘録として残しておきたいと思います。エンコーダのみのモデルは、通常の LLM（最近だとデコーダのみの構成が多い）に比べて、分類タスクなどが得意です。またモデルも軽量なのでエッジで動かすことも可能です。分類後に、LLM に投げて処理する門番のような使い方もできるかもしれません。この記事で紹介しているファインチューニングの処理についての実装コードは以下で公開しています。また、後半で解説している Unity で動かす部分について、Unity プロジェクトも含まれています。記事内ではコード全文載せているわけではないので、興味がある人はこちらを参考にしてください。 AI 生成していませんが、学習マテリアル部分を AI に生成してもらい、それに基づいて解説している記事です。エンコーダのみモデルについてファインチューニングの話に入る前に、そもそもエンコーダのみのモデルとはなにかについて書きます。まず、前述したように最近の LLM はデコーダのみのものが主流です。Transfomer の最初の論文、Attention Is All You Need ではエンコーダとデコーダふたつで動作していました…