Realtime 1 対 Gemini 3.8 Live の生成タイトルカード。1074 のアリーナ Elo と 93.2% のタスク成功率を、30.1% のエージェント型タスク完了スコアと対比させ、さらに OrcaRouter のロゴを添えている。
Guides & Insights

Realtime 1 vs Gemini 3.8 Live:アリーナの勝者は、タスクを完了できないほうだ

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

G​emini 3.8 Live は、Artificial Analysis の音声対音声ボード上で、あらゆる音声モデルの中で最高のアリーナ Elo を記録している——1074 で、GPT-Live-1 の 1037 を上回り、Eleven Realtime Max の 990 を大きく引き離している。また、その比較セットの中で最高のタスク成功率 93.2% を持つ。そしてエージェント的タスク完了率では 30.1% を記録しており、これは4モデルの中で最も弱い数値だ。これら3つの数値は同じモデルを表しており、それをMAI Realtime 1——2026年11月17日に発表された Microsoft の新しい音声対音声モデルで、まさに G​emini 3.8 Live が最も苦手とする点に狙いを定めている——の隣に置いたとき、なぜそれらが共存するのかを理解することが問いのすべてである。

これらのモデルのうち一方は会話型です。もう一方はオペレーターとして売り込まれています。あなたのワークロード上でどちらがどちらなのかを証明できるほど、どちらも十分な情報を公開していませんが、両者は正反対の方向に失敗します。そして、そのことのほうが、すべてが僅差で並ぶスコアボードよりも有用です。

音声モデルの用途をめぐる2つの異なる賭け

GoogleによるGemini 3.8 Liveの位置づけは、範囲が狭く、断定的だ。それは「推論遅延なしで、ほとんどの低遅延音声エージェント体験」を実現するためのLive APIのデフォルトモデルであり、やり取りの最中に「より高度なバックグラウンド推論」を必要とするケース向けに、兄弟モデルのGemini 3.8 Live Extended Thinkingが用意されている。この分担は、Googleがベースモデルを何のためのものではないと考えているかを物語っている。本当の思考は兄弟モデルの側に宿る。

MicrosoftによるMAI Realtime 1の位置づけは、その鏡像だ。それは「自然な会話の流れと精密な制御性を備えた音声対音声」であり、アーキテクチャは明示的に二層構造になっている。高速なシステムが対話をリアルタイムに保ち、より難しいタスクは「不自然な間を挟むことなく、より強力な推論エンジンへルーティングされる」。Microsoftはより優れた話し手を売っているのではない。何か別のものが処理をしている間、通話をつなぎ続けられるほど上手く話すディスパッチャーを売っているのだ。

• G​emini 3.8 Live — 単一のモデルであり、意図的に高速化された設計。推論機能は、デプロイごとに選択できる、より重量級の別モデルとして利用できます。

• MAI Realtime 1 — 1つの製品の背後に2つのエンジンを備え、デプロイ単位ではなくターンごとにエスカレーションします。

• 実用上の違い — Google は統合時に設定を選ぶよう求めます。Microsoft はモデル内部のルーターを信頼し、その推論ティアをトークン単位で支払うよう求めます。

独立した数字が語るG​emini 3.8 Live

実測値があるのはこの比較の側で、しかもその値は良好です:

• 音声対音声指数 — 74.5(Extended Thinking バリアントは82.6)。この指数では、会話ではなくエージェント列の項目で減点されている。

• 音声推論(Big Bench Audio)— 91.7%。高い水準で、Extended Thinkingでは97.7%。

• 会話のダイナミクス — 96.1%。ここから arena Elo が生まれます。通話における人間のリズムを、測定されるあらゆるものとほぼ同程度にうまく扱います。

• Arena Elo — 1074。比較セットの中で最高値。実質的に人間の選好によるものであり、しかもそれはそのリストの最下位とは程遠い。

• タスク成功率 — 93.2%、これもセット内で最高です。

• エージェントによるタスク完了(τ-Voice)— 30.1%。唯一の外れ値であり、総合指標が拡張思考バージョンを下回る理由でもある。

• 最初の音声までの時間 — 1.18秒。最速ではない — Eleven Realtime Max は0.57秒 — だが、「推論による遅延なし」という主張が信憑性を持つほどには十分速い。

• ブレンドコスト — Artificial Analysisの正規化では1時間あたり約0.84ドル。G​oogle自身の料金表では音声入力1分あたり0.005ドル、音声出力1分あたり0.018ドルで、継続的な双方向通話では1時間あたり約1.38ドルに近くなる。この差は測定上の慣例であり矛盾ではなく、どちらの数値も他方として引用すべきではない。

タスク成功率の数値とエージェント指標の数値を並べると、重要なことが見えてくる。93.2%のタスク成功率の隣に30.1%のエージェント完了率があるということは、モデルが、ハーネスが会話型とみなすタスクは非常に得意で、複数ステップにわたる計画とツール使用を必要とするタスクは苦手だということだ。これらは別の測定器であり、その不一致こそが知見である。G​emini 3.8 LiveはおそらくMAI Realtime 1より良い会話をするだろう。その会話の最後に予約を取るかどうかは別問題であり、入手可能な唯一の公開証拠に基づけば、それは弱い側面である。

A screenshot of Artificial Analysis's Speech to Speech AI Model & Provider Leaderboard page captured 18 November 2026, showing the page heading, the methodology summary covering reasoning quality, conversational dynamics, generation time and price, the Speech to Speech Index / Speed / Cost per Hour chart panels, and the Related Links rail; the individual model rows in the charts are not legible at this capture size.

マイクロソフトの数字が示していること、それは1つの数字です

MAI Realtime 1には独立したスコアがない。Artificial Analysisは11月18日時点でこのモデルを掲載していない。Microsoft自身が公開しているのは、モデルページ上の単一の精度数値——Big Bench Audioでの98.8%で、そこではそのベンチマークの音声推論質問に対する精度と記載されている——に加え、P50 time-to-first-audioのカードと「P50 Latency on BigBench Audio」というキャプションだけだ。τ-Voiceの数値も、対応言語のリストも、パーセンタイルの背後にある分布も、精度数値のそばの方法論注記もない。それを、Artificial Analysisが測定した同一ベンチマークでのG​emini 3.8 Liveの91.7%と比べると、ベンダー自身の評価を第三者による評価と比べていることになる。この2つの数値は同じ種類の対象ではなく、98.8%を7ポイント差の勝利として扱うのは、この記事が避けようとしているまさにそのごまかしにほかならない。同社のより広い主張は、このモデルがBig Bench Audioとτ-Voiceの性能価格パレートフロンティア上に位置し、品質・速度・価格でG​PT Realtime 2.1を上回るというものだ。これはO​penAIのトークン課金型推論音声モデルとの比較であり、G​emini 3.8 Liveとの比較ではない。

したがって今日この2つのモデルを直接比較することは、第三者による測定プロファイルとベンダー自身の見出し数値との比較になる。それはこの対決を避ける理由にはならない。むしろ、それぞれの側が実際に何にコミットしているかを正確に捉える理由である。

Microsoftが具体的に約束した内容は次のとおりです。音声1分あたり0.01ドル、推論は入力100万トークンあたり1.00ドル、出力100万トークンあたり5.00ドル、O​penAI Realtime API互換のインターフェース、公開プレビューまで課金されない限定アクセスのFoundryプレビュー、MAI Labsにおける成人限定の2分間の非商用デモ、ベンダー報告によるBig Bench Audioでの98.8%(P50レイテンシの数値はあるが、その分布は示されていない)、Dynamics 365 Contact CenterおよびDragon Copilotの看護師トレーニング用シミュレーションで予定されている具体的な展開、そしてAgodaとReservations.aiでの初期テストです。

まだ約束していない項目:言語、τ-Voice、データレジデンシー、保持期間、GA日。

A screenshot of Microsoft's MAI Realtime 1 model page captured 18 November 2026, showing the 98.8% Big Bench Audio accuracy figure, a 'Start a conversation' button, $0.01 per audio minute pricing, $5 per 1M output tokens, and a P50 time-to-first-audio card labelled 'P50 Latency on BigBench Audio'.

コスト比較をきちんと

音声ラインだけでも、その差は微妙ではない。G​emini 3.8 Live の音声は、入力と出力を合わせて1分あたり G​oogle の料金表で $0.023。MAI Realtime 1 は推論前で1分 $0.01。およそ2.3倍であり、ElevenLabs との比較と違い、G​oogle 側には差を広げるコンプライアンス費用やプラットフォーム手数料はない。

しかし、興味深いコスト差は料金ではない。それは推論の請求がどこに落ちるかだ。G​emini 3.8 Liveが難しいターンに対して取る答えは、デプロイする別のモデル、すなわちG​emini 3.8 Live Extended Thinkingであり、Artificial Analysisの基準では1時間あたり3.50ドル、指数では82.6だ。これはデプロイの判断であり、特定のターンで必要だったかどうかにかかわらず、音声1時間あたりで価格が決まる。MAI Realtime 1の答えは、トークン単位で価格設定されたターンごとのエスカレーションであり、難しいターンが少ないときは安く、ほとんどが難しいときは高くつく。

• ほとんどが簡単なターンで、時折エスカレーションが発生 — MAI Realtime 1 のトークン単位モデルが勝利し、しかも大差で。

• 主に難しいターン — G​emini 3.8 Live Extended Thinking の時間あたり一律3.50ドルの方が予測しやすい手段であり、コンタクトセンターの予算を予測する際には予測可能性にも価値がある。

• 明確な分割のない混在トラフィック — 正当化できる時間単位の見積もりと、測定しなければならないトークン単位の見積もりのどちらを選ぶかということです。これらは異なる調達の議論になります。

Googleの無料枠では、Gemini 3.8 Liveの入力・出力がレート制限付きながら無料で利用できる点は特筆に値します。プロトタイプにとっては、登録フォームやウェイトリストよりも確かな利点です。

言語は、ベンチマークよりも多くのマッチアップを決定する

Gemini 3.8 LiveはLive APIの多言語に関する挙動を継承しており、Googleのドキュメントでは英語以外の対話も通常の使用として扱われています。MAI Realtime 1の発表資料には、対応言語が一つも記載されていません。Microsoftの音声技術の系譜はDragonに遡ります。Dragonは英語での導入実績が強い臨床用ディクテーション製品であり、Transcribe 2の発表では多言語のエラー率を半減させることが語られています。しかしそれは文字起こしモデルの話であってリアルタイムモデルの話ではなく、また言語のリストでもありません。

エージェントが英語圏の市場を1つだけ対象にしているなら、これは脚注にすぎません。3つを対象にしているなら、MAI Realtime 1 はまだ評価できる候補ではありません。プレビューでは、必要な言語でそれが何をするのか分からないからです。

どちらかのベンダーが決着をつける前に比較を実行する方法

両モデルとも OpenAI Realtime API を話します — Google の Live API は独自のサーフェス経由で、Microsoft のものは設計上明示的に。Gemini 側は密接に関係していますが、セッションのセマンティクスは同一ではないため、ベース URL の差し替えではなくアダプターを挟む前提で見積もるべきです。MAI Realtime 1 側は、Microsoft 自身の説明によれば、よりドロップインに近いです。

この対戦を決める評価は、ベンチマーク実行ではない。タスク完了実行だ。各モデルに、ツール呼び出しと2段階目を必要とする同じ20件の実リクエストを与え、何件を完了できるかを数える。G​emini 3.8 Liveのエージェント性能30.1%という数字が事前予想の基準になる。つまり、およそ6件を完了するはずだ。MAI Realtime 1がその近辺に着地するなら、このワークロードでは価格優位は何の役にも立たない。同じハーネスでEleven Realtime Maxが達成する87%近くに着地するなら、Microsoftの2層設計は主張どおりに機能しており、この対戦は決着だ。

その評価には、音声モデルの背後にある推論レイヤーへの計装が必要です。Microsoft側では、2番目のステップが実際に起きるのはまさにそこだからです。そのレイヤーを組み込む場所がOrcaRouterです:プロバイダー定価でマークアップ0%、1つのキーの背後に200以上のモデル、自動フェイルオーバーにより、推論呼び出しが停滞してもライブ通話中に4秒間の無音にならず、エスカレーション経路をルールにできるルーティングDSLであり、音声ハンドラーで保守するコードではありません。MAI Realtime 1自体は当社のカタログには含まれていません — MAI LabsとFoundryの限定アクセスプレビューを通じて利用できます — そのため当社がルーティングするのは、同モデルが引き渡すすべてに加えて、G​oogleの道を選ぶならG​emini 3.8 Liveの兄弟モデルです。

プレビューが調達タイムラインに与える影響

2つの提供ルートを並べてみると、その非対称性はモデルそのものの話ではなくなり、何かを知るまでにどれだけ時間がかかるかという話になり始める。G​emini 3.8 Live は本日、G​oogle の Live API で一般提供されており、無料枠はレート制限付きで入力と出力をカバーしている。つまり、2日間の急増があれば、週の終わりまでにタスク完了の数値を出せる。MAI Realtime 1 は、登録フォーム、ウェイトリスト、成人に限定された2分間の非商用デモ、そして Microsoft がパブリックプレビューが始まるまで課金しないと述べているプレビューだ。

これらは異なる種類の摩擦であり、それぞれ別のチームに有利に働きます。今すぐ答えが必要で、その答えが請求書に署名する人に対して説明可能でなければならないなら、G​emini 3.8 Live は、背後に公開ハーネスを備えた実測プロファイルと、議論の対象にできる公開料金を提供します。エンジニアリングの余力があり、今四半期に締め切りがないなら、Microsoft のプレビューはこのカテゴリで最も安価な有用な実験です — 今日は何も費用がかからない毎分1セントで、第三者が誰も測定していないモデルを相手に、おそらくすでに使い慣れているインターフェースで試せます。

• 今週プロトタイプを作り、次の四半期に判断する — どちらでもうまくいきます。しかも双方に無料枠があるので、実験はほぼ無料で済みます。

• 今週プロトタイプを作り、来月リリース — G​emini 3.8 Live。なぜなら MAI Realtime 1 にはGA日がなく、それを予測するすべもないからです。

• データはテナンシーやリージョンの外に出られない — 公開されている条件では、どちらも答えではない。G​oogle は Live API にリージョン制御を備え、Microsoft は Realtime 1 のデータ所在地について何も述べていない。

A generated two-column scoreboard titled 'MAI Realtime 1 vs Gemini 3.8 Live — the scoreboard'. Left column MAI Realtime 1: arena Elo not scored, task success not published, agentic not published, reasoning 98.8% vendor, cost $0.01 plus tokens. Right column Gemini 3.8 Live: arena Elo 1074, task success 93.2%, agentic 30.1%, reasoning 91.7%, cost $0.84 per hour. Footer reads 'Gemini figures per Artificial Analysis; the 98.8% is Microsoft own, unaudited.'

これは誰に分配されるか

製品が会話であるなら、G​emini 3.8 Liveを選んでください。価値が、エージェントの声の印象、中断されたときの対応、応答の速さ、6言語での動作の良さにあるなら、同価格帯のどの製品よりも測定済みプロファイルが優れており、それを証明する無料枠もあります。30.1%のエージェントスコアが重要になるのは、通話を、うまく処理されたやり取りではなく完了したアクションで終わらせる必要がある場合だけです。

MAI Realtime 1 を本気で検討すべきなのは、その製品がトランザクション——予約、請求、複数システムにまたがる照会——であり、Microsoft が別途発表するまで英語のみで許容できる場合だ。1分あたり1セントで、しかも未請求のプレビュー期間中なら、ベンダー側ルーターがアプリケーション側ルーターに勝るかどうかを確かめる最も安価な方法だ。リスクは費用ではない。リスクは、公開されている精度指標が自社調べの98.8%だけであり、それを裏付ける再実行も、τ-Voice スコアも、言語リストも、レイテンシ分布もないモデルに対して出荷することになる点だ——そして今月そのギャップを埋められる唯一の当事者は、自前の計測を備えたあなた自身である。

どちらの陣営もまだ行っていないのは、決着をつける数字を公表することだ。実際の会話のうち何割が第2のエンジンを必要とするのか、という数字である。Googleの答えは、第2のモデルを販売し、導入ごとに判断を委ねるというものだ。Microsoftの答えは、ターンごとに判断し、その分を課金するというものだ。どちらも誠実な設計だ。だが今日測定できるのはそのうち片方だけで、しかもそれは安い方ではない。