10月21日、Matthias Bastianが「Elevenlabs releases two new speech-to-speech models designed for real-time AI conversations」と題した記事を公開した。ElevenLabsが発表したリアルタイム音声変換モデル「Eleven Realtime」は、上位モデルv1 Maxが0.57秒のレイテンシと**98.8%**の精度を記録し、ElevenLabsは「現時点でこれより速くかつ正確なSpeech-to-Speechモデルは存在しない」と主張している。

0.57秒・98.8%という数字

Eleven Realtimeは、音声から音声へのリアルタイム変換（Speech-to-Speech）に特化した2つのモデルだ。

上位モデルのv1 Maxは、Big Bench Audioベンチマークで98.8%のスコアを記録し、応答レイテンシは0.57秒。Big Bench Audioは、音声AIモデルの理解精度・応答品質を多角的に評価するベンチマークで、音声AIの性能比較において広く参照されている。ElevenLabsは「Artificial AnalysisのSpeech-to-Speechリーダーボード上で、現時点でこれより速くかつ正確なモデルは存在しない」と述べている。

Artificial AnalysisのリーダーボードではEleven Realtime v1 Maxが高精度・低レイテンシの象限（左上コーナー付近）に位置しており、速度と精度のトレードオフで他モデルを上回る位置づけとなっている。

2モデルの使い分け

下位モデルのv1 Miniは、コストを抑えつつ自然な会話を実現することに焦点を当てている。特徴的なのが、発話終了の検出精度だ。相手が話し終えたのか、それとも「うーん」「んー」といった相づちを打っているだけなのかを区別できる。リアルタイム会話AIでは、この判定のズレが不自然な割り込みや沈黙につながるため、実用上の重要度は高い。

v1 MaxとMiniは用途による使い分けを想定した設計であり、精度よりも応答の自然さや会話テンポを重視するシナリオではMiniが適している。音声品質や対応言語の詳細な仕様比較については、ElevenLabsの公式ドキュメントに情報が掲載されている。

提供形態と料金

両モデルは**ElevenAgentsプラットフォームと、OpenAI互換のRealtime API**経由で利用できる。OpenAI互換であることで、既存のOpenAI Realtime APIを使った実装からの移行コストを下げる狙いがあると見られる。既存コードベースをほぼそのまま流用しながらモデルだけを切り替えられる点は、開発者にとって実質的なメリットになりうる。

料金体系は「分単位 ＋ トークンコスト」の組み合わせで、v1 MaxはMiniより高価格。詳細はElevenLabsの料金ページに掲載されている。

背景：TTS最大手がリアルタイム音声エージェント市場へ

リアルタイム音声AIは現在、主要テック企業が相次いで参入している競争領域だ。OpenAIはGPT-4oのAudio機能およびRealtime APIを通じて音声エージェント基盤を提供しており、GoogleはProject Astraなどを通じてマルチモーダルなリアルタイム音声処理の実用化を進めている。

ElevenLabsはもともとテキスト読み上げ（TTS）の高品質さで知られるスタートアップだ。2024年1月には10億ドル超の評価額でシリーズBラウンドを調達し、著名なコンテンツ制作者・企業による音声コンテンツ生成や、ゲーム・映像分野でのナレーション自動化などに広く活用されてきた実績を持つ。その同社が今回、純粋なSpeech-to-Speechモデルとして音声AIエージェントの構築基盤を直接狙う領域に踏み込んだことは、TTS単体から総合的な音声AI基盤へのピボットとして注目に値する。

Eleven Realtimeが音声エージェント市場でどこまで存在感を示せるかは、OpenAIやGoogleとの性能・価格・エコシステムの競争次第となるが、OpenAI互換APIという選択は開発者取り込みの現実的な戦略といえる。

詳細はElevenlabs releases two new speech-to-speech models designed for real-time AI conversationsを参照していただきたい。