グーグルのAIチームで｢頭脳流出｣深刻化。トップ研究者たちはどこへ行ったのか？

『Sequence-to-Sequence Learning with Neural Networks（ニューラルネットワークによるシーケンスツーシーケンス学習）』

2014年に発表されたシーケンスツーシーケンスに関する論文では、（英語の文をフランス語に変換するなど）単語シーケンスをあるドメインから別のドメインのシーケンスに変換するトレーニング言語モデルを調査している。

この論文の研究をリードしたのはイリヤ・サスケバー（Ilya Sutskever）だ。リサーチサイエンティストとして約3年勤務した後、2015年にグーグルを退職し、OpenAIを共同創業。今も同社のチーフサイエンティストとして働いている。

『Attention Is All You Need（必要なものはアテンション）』

『Attention Is All You Need』はトランスフォーマーを扱った論文だ。自然言語処理のブレークスルーと見なされているトランスフォーマーモデルは、文中の各単語を同時に捉えてから、各単語の重要性を比較検討して文脈上のニュアンスを収集することで、AIが意味を理解するのに役立っている。

ChatGPTの｢T｣はトランスフォーマーを表しており、ChatGPTはグーグルの功績を土台にして開発された。この論文に携わった筆者たちは、いまやリオン・ジョーンズ（Llion Jones）を除き全員がグーグルを去っている。

アシシュ・ヴァスワニ（Ashish Vaswani）はグーグルブレイン（Google Brain）に5年勤務した後、アデプト（Adept）を設立した。同社は最近3億5000万ドル（約462億円、1ドル＝132円換算）を調達しており、これをもとに生産性ソフトウェアの効率性を高めるのに役立つ生成AIツールを開発した。なお、ヴァスワニは最近アデプトを離れ、ステルススタートアップに関わっているという。

ノーム・シャイザー（Noam Shazeer）は、エンジニアとして21年以上もグーグルに勤めたが、今ではキャラクターAI（Character.AI）のCEOに就任している。

ニキ・パルマ（Niki Parmar）は、グーグルブレインを5年で離れ、アデプトの共同創業者兼CIO（最高技術責任者）に就任した。ヴァスワニ氏と同様、最近ステルススタートアップに転職した。

ヤコブ・ウスコライト（Jakob Uszkoreit）は、グーグルで13年間、ニュートラルネットワークとディープラーニングに取り組んだ。現在はディープラーニングを使った新しい治療法を考案するスタートアップ、インセプティヴ（Inceptive）の共同創業者になっている。

エイダン・ゴメス（Aidan Gomez）は研究者としてグーグルブレインに1年半勤務した後、コウヒア（Cohere）を共同創業した。現在は同社のCEOを務める。コウヒアは開発者がアプリやウェブサイトにジェネレーティブAIを組み込むのを支援しており、約1億6000万ドル（約211億円）を調達している。なお、ゴメスとともにコウヒアを共同創業したニック・フロスト（Nick Frosst）は、研究者としてグーグルブレインに4年勤務した。

ルカシュ・カイザー（Lukasz Kaiser）は、グーグルブレインに7年以上勤務した後、2021年にOpenAIに加わった。最近、GPT-4に関するOpenAIのホワイトペーパーで、ロングコンテキスト機能開発の中心人物としてカイザーが携わったことが紹介されている。この機能により、チャットボットはコンテキストを忘れることなく長く会話できるようになった。

イリア・ポロスキン（Illia Polosukhin）は、グーグルブレインで3年間、ディープラーニングと自然言語理解に取り組んだ後に退職。2017年にWeb3スタートアッププラットフォームであるパゴダ（Pagoda）を立ち上げた。

『Toward a Humanlike Open-Domain Chatbot（人間のようなオープンドメインチャットボットを目指して）』

この論文では、グーグル初のチャットボットである｢Meena｣が取り上げられている。公開されているソーシャルメディアの会話から採取したデータをチャットボットが学習することで、あらゆる話題で会話風に話すことができるようになる方法を探るという内容だ。

また、チャットボットがどれほど人間さながらの会話ができるかを評価するためにグーグルが作成したテストも紹介している。この論文は、大規模言語モデルにおいて新たな大きな一歩と考えられた。著者らは、ハードコードの訓練なしであらゆる質問に対して人間のような応答ができる大規模言語モデルの作成は可能と主張している。

ダニエル・デ・フレイタス（Daniel De Freitas）は、研究者としてグーグルブレインに5年間勤務した後、現在はCharacter.AIの共同創業者兼社長を務めている。

なお、グーグルブレインで7年間勤務した後、Character.AIに創業時から研究者として関わっているローマル・トッピラン（Romal Thoppilan）もこの論文に関わっている。

『LaMDA: Language Models for Dialogue Applications（LaMDA：対話アプリケーション用言語モデル）』

LaMDAは対話アプリケーション用言語モデルを意味し、グーグルが検索機能への組み込みを計画しているチャットボット｢Bard｣の基盤となる。グーグルは2020年にMeenaで最初のデモを行ったが、一般公開はしなかった。Insiderが取材した同社AI研究部門の元従業員によれば、Meenaが有害な発言をした場合に生じる広報リスクを懸念してのことだったという。

LaMDAの中心的な研究者のうちの何人かはCharacter.AIに移った。ダニエル・デ・フレイタスとノーム・シャイザーは2022年に同社を設立、最近では約2億ドル（約264億円）を調達している。Character.AIはイーロン・マスク（Elon Musk）からセラピストやライフコーチに至るまで、さまざまなキャラクターの形態で話すチャットボットを制作している。

この論文には前出のロマール・トッピランも関わっているほか、グーグルブレインに3年勤めた後2022年末頃に研究エンジニアとしてCharacter.AIに入社したアリシア・ジン（Alicia Jin）も関与している。

『BERT』

BERT（Bidirectional Encoder Representations from Transformers）は、自然言語処理用のトランスフォーマーモデルに基づいて開発されているが、マスク言語モデリングと次文予測という2つのタスクを適切に実行するように事前訓練を受けている。

言い換えれば、BERTは隠された（マスクされた）単語を予測しようとし、アルゴリズムに対して周囲のテキストをさらに学習し、隠された単語をより適切に予測するよう働きかける。

例えば、｢誰かのために薬局で薬をもらうことができますか｣などの質問を入力すると、BERTは｢誰か｣が質問の重要な部分であることをよく理解するようになる。

グーグルは2019年から検索機能にBERTを導入し始めた。これは、2015年に別の機械学習アルゴリズムRankBrainを導入して以降、検索精度における最大級の進歩となる。

この論文執筆を主導したジェイコブ・デブリン（Jacob Devlin）は、ChatGPTの立ち上げ直前にOpenAIに参画したとジ・インフォメーションは報じている。

『T5』

T5と呼ばれるこの論文は、正式タイトルを『Exploring the Limits of Transfer Learning With a Unified Text-to-Text Transformer（統合テキストツーテキストトランスフォーマーを使用した転移学習の限界を探る）』という。T5はBERTを基礎とし、翻訳や要約などのタスクに適していると考えられている。

この論文の主筆著者であるコリン・ラッフェル（Colin Raffel）は、リサーチサイエンティストとしてグーグルブレインに約5年勤めた後、2021年に退職。現在はノースカロライナ大学チャペルヒル校（UNC Chapel Hill）の准教授であり、週1日のペースで大規模言語モデルとデータセットを提供するハギングフェイス（Hugging Face）の研究者として勤務している。同社は2022年5月に1億ドル（約132億円）の調達を発表し、バリュエーションは20億ドル（約2640億円）となった。

T5論文のもう一人の執筆者シャラン・ナラン（Sharan Narang）は、2022年に4年勤めたグーグルブレインを退職し、現在はメタ（Meta）でAIを研究している。

『A graph placement methodology for fast chip design（高速チップ設計のためのグラフ配置手法）』

グーグルのサイエンティスト、アザリア・ミロシーニ（Azalia Mirhoseini）とアナ・ゴルディ（Anna Goldie）が筆頭執筆者である論文『A graph placement methodology for fast chip design』では、人間の専門家よりAIのほうが速くチップの設計工程を完成できることを見出している。

2人は別の論文『Chip placement with deep reinforcement learning（深層強化学習によるチップ配置）』でも筆頭執筆者を務めている。この論文では、チップ設計にAIを使用することで、サイズも電力使用量も最小限に抑えながら性能を最大化する方法が記されている。

これらの研究結果は、グーグルのTPUチップ設計、特に機械学習タスクの設計に役立てられた。

ミロシーニとゴルディは2022年にそろってグーグルを退職すると、OpenAIの競合であるアンスロピク（Anthropic）に移り、そこで独自の大規模言語モデルとClaudeと呼ばれるチャットボットを開発した。

上記2本の研究論文の評判を傷つけようとしたシニアエンジニアリングマネジャーが解雇されると、両氏はグーグルの社内抗争の渦中に巻き込まれた。訴訟は今も進行中で、グーグルはこの研究を擁護し続けている。

『DeepMind（ディープマインド）』

ムスタファ・スレイマン（Mustafa Suleyman）は、2014年にグーグルに買収されたディープマインドを共同創業し、最高プロダクト責任者を務めた。同社は囲碁でプロの世界チャンピオンを打ち負かすことができる機械学習プログラムAlphaGoの開発元として知られる。

グーグルの親会社アルファベット（Alphabet）は2022年第4四半期決算で、ディープマインドの業績を｢その他投資｣とは別に分類すると発表した。｢その他投資｣には通常、まだ収益性が低いウェイモ（Waymo）やウィング（Wing）などアーリーステージのプロジェクトが含まれる。ここからディープマインドが外されるということは、今後のグーグルの戦略においてAIが重要な役割を果たすことを示唆している。

スレイマンは、新しいAI製品の安全性を確保することを積極的に支持してきた。ディープマインド在籍中には、ディープマインドエシックス&ソサエティ（DeepMind Ethics & Society）という研究ユニットを設立し、AIが現実世界にもたらす影響を研究している。

スレイマンは2019年に従業員に対するいじめの疑いで異動を余儀なくされた。しかし調査が進行するなか、彼はグーグルのヴァイスプレジデントに就任している。

スレイマンは、機械学習に関連する多数の研究論文で引用されている。2022年2月にはリンクトイン（LinkedIn）を共同創業したリード・ホフマン（Reid Hoffman）とともにAIスタートアップのインフレクション（Inflection）を創業した。

もっと知る

ディープマインドの内部告発者、セクハラで悩む同僚に退職を勧める…｢あなたの才能は他の場所でも評価してもらえる｣

もっと知る

｢アルファ碁｣開発のディープマインド創業者、イーロン・マスク｢オリエント急行貸し切り｣誕生会参加していた

もっと知る

GPT-4搭載の新Bingは｢1億DAU｣突破。マイクロソフトがそこでどう広告収入を増やすのか、少し見えてきた