9月11日、Claudio Masoloが「How LinkedIn Trains AI Job Search 8x Faster with Multi-Teacher Distillation」と題した記事を公開した。LinkedInが求人検索モデルのトレーニングを約8倍高速化した手法の詳細だ。注目すべきは、この高速化が単一の革新的技術によるものではなく、LiGer・マルチノード並列化・FSDP2・新世代GPUという4つの施策の積み上げによって達成された点であり、「とりあえずFP8を使えばいい」という通説を真っ向から否定する知見も含む実践的な内容となっている。

8倍高速化の正体：「1つの魔法」ではなく積み上げ

LinkedInが公開したエンジニアリングブログの核心は、タイトルにある「8倍速」が単一の技術によるものではない点だ。LiGer、マルチノードデータ並列化、FSDP2、そして新世代GPU（H200）それぞれが独立した改善幅を持ち、それらが積み重なって約8倍の高速化を実現している。

各施策の寄与は以下のとおりだ：

• LiGer（Liger-Kernelとも呼ばれる）の採用：メモリ使用量を削減し、バッチサイズを2倍に拡大
• マルチノードトレーニング：最大3.5倍の追加高速化
• **FSDP2**（Fully Sharded Data Parallelism v2）：さらに20%の高速化
• H200マルチノードクラスター：さらに最大30%の改善

なお、LiGerはLinkedInが開発・公開しているTritonカーネルライブラリで、GitHubリポジトリ名はlinkedin/Liger-Kernelであり、同一プロジェクトを指している。

また、8B未満のモデルに対してFP8混合精度を評価したが、効果がないと結論づけた点は実務的に重要な知見だ。FP8は低精度フォーマットへのデータ変換（キャスティング）を伴うが、小規模モデルではそのオーバーヘッドが支配的になりやすい。具体的には、演算量が少ないため「変換コスト ÷ 演算量」の比率が大きく、FP8で節約できるコンピュートコストを変換処理自体のコストが上回ってしまう。大規模モデルほど演算量が多くキャスティングコストが相対的に薄まるため、FP8の恩恵が出やすい構造になっている。FP8をデフォルトで採用しようとしているチームにとって見逃せない結果である。

マルチティーチャー蒸留の仕組み：オンラインとオフラインの使い分け

知識蒸留（Knowledge Distillation）とは、大規模なモデル（ティーチャー）の出力を使って小型モデル（スチューデント）を訓練する手法だ。LinkedInの場合、8Bパラメータの関連性オラクルモデルと1.7Bのエンゲージメントティーチャーモデルの2つを使い、0.6Bパラメータのランキングモデルを訓練している。

ティーチャーモデルへのクエリはトレーニングのボトルネックになりやすい。これを解消するために、LinkedInはSGLang（オープンソースのLLM推論エンジン）をベースにした独自フレームワークを構築し、オンラインとオフラインを使い分けるアーキテクチャを採用した。

• オンライン方式：トレーニングループ中にティーチャーモデルをリアルタイムで非同期クエリする。ティーチャーの選択が頻繁に変わる初期フェーズに有効。複数ノードにローカルレプリカを配置することで蒸留プロセスを3倍高速化。
• オフライン方式：ティーチャーの出力をHDFSまたはNFSに事前計算・保存し、トレーニング時はキャッシュを参照する。ティーチャーが安定し、クエリ量が増えた段階に切り替える。

ティーチャー/スチューデントトレーニングの全体パイプライン

実測値：NDCG@10が24.48%向上

モデル精度の観点では、この0.6Bスチューデントモデルにより、求人検索のNDCG@10（推薦品質の評価指標）が0.7583から0.9432へ、24.48%改善した。

推論側では、構造化プルーニングとコンテキスト圧縮を組み合わせることで、ランキングスループットをGPU1基あたり約290件/秒から2,000件超/秒に引き上げている。このシステムは現在、LinkedIn米国ユーザー向けの自然言語求人検索として本番稼働中だ。

Pinterestとの類似アプローチ

2026年6月、Pinterestが近線形スケーリングに関するエンジニアリングブログを公開しており、HomefeedやRelated Pinsのランキングでも大規模ティーチャーモデルの知識を効率的なスチューデントモデルに蒸留するアプローチを採用している。実験サイクルを数週間から大幅に短縮した点も共通する。

LinkedInとPinterestの違いは焦点にある。LinkedInはSGLangベースのカスタムフレームワークによるティーチャーのライブクエリを中心に据え、PinterestはDistributed Checkpointへの移行を含むトレーニングフレームワーク自体のスケーリングを主眼としている。

なお、Hugging Faceによる2026年の蒸留サーベイでは、NVIDIA Nemotron 3 UltraやDeepSeek-V4（元記事中の表記のまま）が10以上の専門ティーチャーを用いるトークンレベルの蒸留を実施していることが紹介されている。LinkedInやPinterestのような産業向けランキングシステムは、より少数のタスク特化型ティーチャーを用いる点で方向性が異なる。

詳細はHow LinkedIn Trains AI Job Search 8x Faster with Multi-Teacher Distillationを参照していただきたい。