中国AI企業、OpenAIなどの出力を「産業規模のモデル蒸留」に活用 — 米国の輸出規制下でLLM開発を加速する実態をReutersが調査報道
DRANK

11月17日、Omar Sohailが「Chinese AI Firms Have Cracked The Code For Training LLMs While Dealing With U.S. Chip Tightening Measures; Using OpenAI's Models For "Industrial-Scale Distillation"」と題した記事を公開した。中国のAI企業がOpenAIなどの米国製LLMの出力を利用した「産業規模のモデル蒸留」によって、米国の輸出規制下でも国産モデルを強化し続けている実態を、Reutersの調査報道をもとに詳しく伝えている。「蒸留」を産業インフラとして使い始めた中国AIモデル蒸留(knowledge distillation)とは、高性能な「教師」モデルが生成した回答やコード、推論ステップを使い、より小規模な「生徒」モデルを訓練する手法だ。学術研究では広く知られた技術だが、中国では今や産業規模の標準ワークフローへと移行しつつある。Reutersが300件超の中国学術論文・特許・企業開示・採用情報・政府文書を精査した結果、...

by @tf_official
Related Topics: AI Machine Learning Deep Learning