NEDOの採択を受け、公開型での500億パラメータサイズの大規模言語モデル開発を開始します。

BRANK

東京大学松尾・岩澤研究室日本全体の開発レベル向上を志し、公開型での500億パラメータサイズの大規模言語モデル開発を開始東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室（以下「松尾研」）は、この度経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が開始する、国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」において、基盤モデル開発に必要な計算資源の提供支援を受け、500億パラメータサイズの公開型基盤モデル開発に取り組むことをお知らせします。本取り組みにあたっては、開発された大規模言語モデル（以下「LLM」）の公開のみならず、開発過程の公開、そしてこれらの成果を社会全体で共有することを通じ、日本全体のLLM開発の技術レベル向上と社会実装の加速を目指します。発表の詳細　本活動では、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京大学松尾研究室が提供する大規模言語モデル講座（2023年8月開催、2000名以上が受講）の修了生及び一般公募によって集まった有志の開発者（⺠間企業・研究者・学⽣で構成）…