頭で考えるだけでアバターから声を出せる技術が登場、脳卒中で話せなくなった女性が253個の電極とAIの力で声と表情を取り戻す

カリフォルニア大学サンフランシスコ校の研究チームが脳に電極を埋め込んでコンピューターと接続することでアバターに思考内容を話させる技術を開発しました。アバターは表情を再現することも可能で、脳卒中の影響で話せなくなった女性が声と表情を取り戻すことに成功しています。

How Artificial Intelligence Gave a Paralyzed Woman Her Voice Back | UC San Francisco
https://www.ucsf.edu/news/2023/08/425986/how-artificial-intelligence-gave-paralyzed-woman-her-voice-back

カナダに住むアン氏は教師として働いていましたが、2005年に脳卒中で倒れた後、意識はあるのに筋肉を動かせない「閉じ込め症候群」を患ってしまいました。アン氏はリハビリによってわずかに体を動かしたり簡単な音を発話したりできるようにはなりましたが、機器に頼らずにコミュニケーションを取ることは困難な状態が続いています。このためアン氏は「目線でアルファベットを選択して文章を記すデバイス」を用いてコミュニケーションを取っているのですが、当該デバイスを用いた会話は1文章当たり数分もの時間がかかります。

カリフォルニア大学サンフランシスコ校の研究チームは、脳に253個の電極を埋め込んでコンピューターと接続することで、アバターに思考内容を話させる技術を開発しました。電極は脳の「会話時に活発化する領域」や「表情を変化させる際に活発化する領域」に埋め込まれ、会話や表情の変化を試みる際の脳の活動を読み取ってAIで音声や表情に変換することでアバターに会話内容と表情を適用できます。

脳とコンピューターの接続部分はこんな感じ。

このシステムを用いることで、アン氏は以前と比べて素早くコミュニケーションを取れるようになりました。

アン氏がアバターを介してコミュニケーションする様子は以下のムービーで確認できます。

How a Brain Implant and AI Gave a Woman with Paralysis Her Voice Back - YouTube


開発されたAIは「発話しようとしている単語」ではなく「発話しようとしている音の構成」を読み取るようにトレーニングされているとのこと。例えば「Hello」という単語は「HH」「AH」「L」「OW」という4つの音声の組み合わせとして認識されてから単語として再構成されます。この音の構成を読み取るシステムの導入によって、単語を直接読み取ろうとするシステムより3倍はやく音声化が可能となりました。

今回の研究では脳とコンピューターが有線接続されていますが、研究チームは将来的に無線接続で同様のシステムを構築することを目指しています。