Eleven Realtime v1 Max 対 Sesame Preview のヒーローカード。サブタイトルは「耳を魅了する声はタスクに敗れる」、チップには「API 対 コンシューマーアプリ」「タスク成功率 87.1%」「公開音声 API なし」と表示。
Guides & Insights

Eleven Realtime v1 Max 対 Sesame Preview:耳を制する声はタスクに敗れる

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

どの音声アシスタントが最も人間らしく聞こえるかと尋ねれば、S​esame Previewという答えが返ってくるでしょう。企業が電話番号の背後に置けるモデルはどれかと尋ねれば、答えはEleven Realtime v1 Maxです。これは2026年10月20日に発表された音声対音声モデルで、固定評価でタスクの87.1%を解決し、0.57秒で応答し、ElevenAgentsまたはO​penAI互換のRealtime APIを通じて利用できます。S​esame Previewは4人の名前付きコンパニオンを備えた消費者向けアプリで、その中の音声を購入する方法はありません。このクラスのモデルの背後にある、文書化されたAIインシデントやエージェントの失敗は、the OrcaRouter AI Incident Archiveに集められており、各エントリには独自の情報源、重大度、信頼度グレード、異議ありフラグが付いています。

それは決着打ではない。なぜなら、この2つの製品は異なるものを追っており、S​esameの声に関する主張には確かな根拠があるからだ。S​esameの研究者たちは、会話のタイミング——「mm-hmm」、声の重なり、文の途中で譲る姿勢——こそが不気味の谷であり、音色ではないという考えを早くから公にしていた。E​levenLabsのドキュメントは、逆方向から同じ賭けをしている。Miniは、話し手が話し終えたのか、それとも単に口を挟んだだけなのかを検出すると説明されている。2つのラボ、1つの命題、正反対のビジネスモデル。

比較が興味深くなるのは、それぞれが実際に何を測定したかという点です。ElevenLabsは6つの数値と評価パートナーを公表しています。Sesameは体験を公表しています。

それぞれが正確に何であるか

Eleven Realtime v1 Maxは、認識、ターンテイキング、推論、音声生成を単一のネットワークでまとめて実行し、多段階のツール利用を伴う複雑なタスク(カスタマーサポート、リード選別、スケジューリング支援など)向けに位置付けられています。低コストの兄弟モデルであるEleven Realtime v1 Miniは、新しいElevenAgentsエージェントのデフォルトで、より低コストで自然な会話を目指しています。Maxには2つの利用方法があります。ElevenAgentsのドロップダウンから利用する方法では、ElevenLabsがLLM、TTSモデル、ASRプロバイダー、推論設定を代わりに管理します。もう一つは、WebSocket上でOpenAIのRealtimeイベントプロトコルに準拠するRealtime APIを経由する方法で、接続先はwss://api.elevenlabs.io/v1/convai/realtime。

S​esame Previewは無料のコンシューマー向け音声アシスタントだ。Maya、Miles、Simone、Charlieという4名の名前付きエージェントをiOSとウェブで利用でき、試したほぼ全員が市場で最も自然な音声アシスタントだと評している。セッションをまたいで文脈を保持し、ウェブ検索やリマインダーの設定も行える。ただし予約や購入、書類の提出はできない。エンタープライズ向けのプランはなく、価格は公開されておらず、アプリで聞ける音声の公開APIも存在しない。

どちらも全二重の会話システムであり、ターンテイキングは人々がそれに気づかなくなるほど十分に自然です。類似点が終わるのはそこであり、「どちらが優れているか」という問いが単一の答えを持たなくなるのもそこです。

そのうちの1つが持っている数字

Artificial Analysisは、すべての音声対音声モデルに適用しているのと同じ評価ハーネスを用いて、Eleven Realtime v1 Maxを独自に評価しました。これらはElevenLabsの数値ではなく、同社の数値です。

• 音声推論(Big Bench Audio)— 最大98.8%

• 会話のダイナミクス(Full-Duplex-Bench) — 最大94.1%

• タスク成功率 — 最大 87.1%

• アリーナの優先設定(Elo) — 最大997

• 初回音声までの時間 — 最大0.57秒

• 入力音声1時間あたりのコスト — 最大$4.80

• エージェント性能(τ-Voice) — Max は未測定

• Speech to Speech Index — Max は採点対象外

A generated scoreboard titled 'Eleven Realtime v1 Max vs Sesame Preview - the scoreboard'. The Max column reads: Public voice API yes, Big Bench Audio 98.8%, task success 87.1%, Arena Elo 997, time to first audio 0.57s, price per hour $4.80. The Sesame Preview column reads: Public voice API no, consumer app, Big Bench Audio not scored, task success not scored, Arena Elo not scored, time to first audio not published, price per hour app only. Footer: 'Eleven figures per Artificial Analysis; Sesame Preview publishes no benchmark data.'

S​esame Preview はこれらの行のどれにも表示されない。公開 API がないため、独立したハーネスで実行することはできず、アプリ自体の動作も、タスク完了やレイテンシについて S​esame 外部の誰かによってベンチマークされたことは一度もない。人々が S​esame のほうがよく聞こえると言うとき、それは聴取印象を報告しているのであり、それ自体は妥当なものだ。ただしそれは、方法論と選好モデルを背景に持つアリーナによる測定と単純に同じものではない。

それは諸刃の剣だ。アリーナEloの997は実際のリスナーによる実数であり、MaxはGrok Voice 3.0の1,064、GPT-Live-1(Sol, low)の1,047、Gemini 3.8 Liveの1,078を下回っている。ElevenLabsは推論と速度の項目で勝ち、選好の項目では勝っていない。Sesameの声がMaxの声より優れているという直感があるなら、アリーナの結果はその直感と一致している——たまたまSesameではなく他のAPIモデルを相手に測定されただけのことだ。

オープンウェイトの問い、そこがほとんどの比較が間違えるところだ

Sesameの音声を称賛するあらゆる記事は、アプリを称賛しているにすぎない。そしてそのアプリの音声は、Sesameがエンドポイントとして一度も公開したことのないクローズドな実運用モデルだ。Sesameがオープンソース化したのは、Moshiファミリーの10億パラメータ会話音声モデルCSM-1Bであり、Apache-2.0の下で公開されている。それはアシスタントではなく合成ブロックだ。Llamaバックボーンが最初のMimiコードブックを予測し、より小型のLlamaデコーダが残りを予測し、Mimiコーデックがそれを24 kHzの波形に変換する。英語優先で、短い参照クリップから声をクローンし、テキストは一切生成できない——別の言語モデルと組み合わせて使う。

{{1}}両方を試した人々は{{/1}}、CSM-1Bの声はPreviewアプリのものより{{2}}明らかに弱い{{/2}}と評しており、S​esame自身のモデルカードもその見方を裏付けている。インタラクティブなデモを動かしているのはCSMの微調整済み変種であり、その変種はダウンロードできるチェックポイントではない。

Screenshot of the Hugging Face model card for sesame/csm-1b in English, showing the text-to-speech tag, Apache-2.0 licence, 144,167 downloads last month and the model card and files tabs for the 1B conversational speech model.

正直に言えば、「Sesame vs ElevenLabs」はこうだ。Sesameには、呼び出せない美しいクローズド音声と、呼び出せる小さなオープン合成ブロックがあり、両者は同じモデルではない。ElevenLabsには、音声が測定可能なほど良いものの最も好まれているわけではない呼び出し可能なモデルと、価格がある。ビルダーにとって重要な非対称性は、どちらがより良く聞こえるかではなく、どちらにエンドポイントがあるかであり、その差は僅差ではない。

マージが本番環境でどこに現れるか

E​levenLabsの主張は、認識・ターンテイキング・推論・音声を一つの調整済みシステムに統合することで、カスケード型に残る継ぎ目が取り除かれるというものだ。

Screenshot of ElevenLabs' Speech to Speech landing page in English, headlined 'A new class of Speech to Speech models for building voice agents that sound natural', with the line 'Pick v1 Mini for natural conversations or v1 Max for complex tasks' and the claim that speech recognition, turn-taking, LLM and voice are tuned as one system.

ElevenAgents では、この統合は文字通りに行われ、代償を伴います。Realtime モデルが設定されている間は、LLM、reasoning effort、thinking budget、並列ツール呼び出し、カスケードタイムアウト、TTS モデル、表現モード、ASR プロバイダーはすべて ElevenLabs によって管理され、エージェント側では無視されます。ワークフローノードでこれらを上書きすることはできず、エージェントはカスタム LLM や Amazon Bedrock をまったく使用できません。モデルを選ぶということは、その下のスタック全体を選ぶということです。

コンプライアンスマトリクスは、各地域でこれを展開する人々を驚かせる形で不均一になっています:

• データレジデンシー — Max は米国と EU で稼働していますが、インドやシンガポールでは提供されておらず、これらの国では Mini のみが提供されています

• Zero Retention ModeおよびHIPAA — Maxは米国およびEUでサポートされていますが、Miniはそのどちらでもサポートされていません

• トークン制限 — Max では 1,024 トークンまたは無制限が必要で、ワークフローノードではそれを上書きできません

• エージェントの転送 — Realtimeモードのエージェントは、他のRealtimeモードのエージェントとの間でしか転送できませんが、Mini-to-Maxは許可されています

• トランスポート — 提供開始時点ではWebRTC非対応。Realtime APIはWebSocketのみです

それらのルールは保存時ではなく公開時に適用されます。ルールに違反する下書きは保存自体は問題なく通りますが、公開時に失敗し、その際に設定名を示すエラーが出ます。プロトタイピング中なら、それはちょっとした不便です。規制対象のキューに投入する場合には、どのバリアントをどの環境で使えるかが決まり、安価な方が常に準拠しているとは限りません。

あなたのスタックに属するのはどれですか

音声が目的達成の手段であり、通話で成果を出す必要があるなら、Eleven Realtime v1 Maxをお選びください。サポートのトリアージ、スケジューリング、適格性確認などが該当します。今すぐ使えるエンドポイント、Realtime 統合からの移行を2つの文字列の変更だけで済ませるOpenAI互換のイベントプロトコル、実測87.1%のタスク成功率、ボード上で最速の強力な推論能力、そして音声1時間あたり$4.80でモデル化できる価格を提供します。ただし、まだ展開中であること、エージェント的挙動は未測定であること、音声が選好アリーナで首位ではないことをご了承ください。

Sesame Previewを選ぶべきなのは、会話の品質がどうあるべきかを研究しているとき、あるいは会話そのものが製品であるようなコンシューマー製品を構築しているときです。無料で、ほとんどの人が試した中で最も音が良いものであり、自分の好みを校正するのにうってつけの方法です。ただし、これを中心に統合を計画しないでください。統合できるものは何もなく、CSM-1Bはアプリに搭載されているモデルではありません。

CSM-1B は、オープンでセルフホスト可能な合成ブロックを求め、その周囲に ASR、言語モデル、ターンテイキング層といった残りの部分を自分で構築する用意がある場合にのみ選んでください。Apache-2.0 ライセンスであり、その役割においては本当に有用です。しかし Max の競合ではなく、そもそもそうした存在として意図されたものではありません。

ハイブリッド、そしてルーターが助けられる半分

本格的な音声プロダクトの多くは、1つのモデルを選ぶのではなく、複数のモデルを組み合わせる形に落ち着く。冒頭や相づちのターンでは、温かみとレイテンシーが体感されるため、自然な聞こえ方のモデルを。トランザクションのターンでは、エラーが予約の喪失につながるため、タスク信頼性の高いモデルを。Eleven RealtimeもSesameも、単一の接続内でそれを簡単に実現できるわけではない。ElevenLabsのRealtime APIはElevenAgentsとは別製品で、WebSocket経由でしか動作せず、Sesameには組み合わせられるAPIがない。

ルーティング層が本当に価値を発揮するのは、その1つ下の層、つまり音声モデルが委任する作業においてです。OrcaRouter ではそれが1つのキーで16社の上流プロバイダーから提供される209モデルであり、プロバイダーの定価でマークアップなし、プロバイダーでエラーが発生した際の自動フェイルオーバー付きです。モデルフュージョンにより、1つのモデルの判断だけでは不十分な場合にパネルが共同で回答できます。ルーティング DSL は複数のモデルを1回の呼び出しに組み合わせます。Eleven Realtime v1 Max 自体は当社のカタログにはありません — サードパーティのエンドポイントが存在しないためです — したがって正直な境界線は、当社がルーティングできるのは検索、要約、通話後の分析であり、音声ではないということです。

この記事の内容を変えるのは、アリーナが選好を測るのと同じように自然さを測るベンチマークを、S​esameのアプリとAPIモデルの両方にまたがって実行すること——あるいはS​esameの本番音声向けエンドポイントだ。どちらかがあれば、アクセスと体験の間の選択は実際の比較になる。それまでは、これらのモデルの一方は呼び出せて、もう一方は眺めることしかできず、それがどの聴取テストよりも多くを決着させる。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新