4月18日、PyTorchチームは新しいライブラリ「torchtune」を公開した。このライブラリはPyTorch固有の機能を活用し、大規模言語モデルのファインチューニングを容易にすることができる。

torchtuneの設計方針

PyTorchの設計原則に則り、 torchtuneは組み合わせ可能なモジュラー構成ブロック と 拡張しやすいトレーニングレシピ を提供し、一般的な消費者向けGPUからプロフェッショナルなGPUに至るまで、様々な環境で人気のLLMをファインチューニングする支援を行う。

torchtuneはファインチューニングの全工程をサポート しており、モデルチェックポイントのダウンロードと準備から始まり、様々なモデルアーキテクチャ、効率的なファインチューニング技術のサポート、トレーニングプロセスの進捗とメトリクスのログ取り、モデルの量子化、標準ベンチマークにおけるファインチューニングモデルの評価、ローカルでの推論テスト実行に至るまでをカバーする。
さらに、人気のある本番推論システムとのチェックポイントの互換性も保証されている。

なぜtorchtuneか？

昨年、オープンLLMに対する関心が急速に高まっており、これらの最先端モデルを特定のユースケースに適応させるためのファインチューニングが重要な技術として浮上している。しかし、既存のソリューションではカスタマイズや最適化を行う上で必要なコンポーネントが抽象化の層に隠されており、異なるコンポーネントがどのように相互作用するか、どのコンポーネントを更新する必要があるかが不明瞭だ。 torchtuneは開発者が特定のニーズと制約に合わせてLLMを適応させることを可能にし、完全な制御と可視性を提供 する。

詳細はtorchtune: Easily fine-tune LLMs using PyTorchを参照していただきたい。