PyTorchチームは1月31日、PyTorch® 2.2のリリースを発表した。新機能や最適化が盛りだくさんのこのバージョンは、エンジニアたちの期待を十分に満たすリリースだ。

PyTorch 2.2では、FlashAttention-v2の統合により、SDPA（_scaled_dot_product_attention_）のパフォーマンスが 約2倍向上 した。これにより、A100 GPUsで最大FLOPs/sの約50-73%まで到達する高速なSDPAが実現された。

新しい機能としては、非Pythonサーバーサイド向けのAOTInductorも導入。これにより、PyTorchプログラムのコンパイルとデプロイメントが可能になり、非Python環境での利用が向上した。

その他にも、Optimizersのサポート向上や新しいログメカニズムTORCH_LOGSの追加など、多くの改良が行われた。一方で、macOS x86サポートは非推奨となり、PyTorch 2.2.xがmacOS x64を最後にサポートすることがアナウンスされている。

このリリースは、3,628のコミットと521のコントリビュータによって成り立っており、PyTorchコミュニティに感謝の意を表している。ユーザーは積極的に新機能を試し、問題があれば報告していただきたいと呼びかけている。

詳細はPyTorch 2.2: FlashAttention-v2 integration, AOTInductorを参照していただきたい。