タイトルカード「Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live」、サブタイトル「12.8%と4.00%は同じ数字ではない」。その下に、「PriMock57 臨床模擬診察」が12.8%、「Artificial Analysis 一般音声」が4.00%の2本の横棒グラフがあり、各棒にはそれが属するベンチマークのタグが付き、破線の縦線で区切られている。
Guides & Insights

Scribe v3 Live Medical 対 Gemini 3.5 Transcribe Live:12.8% と 4.00% は同じ数字ではない

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Scribe v3 Live Medicalの12.8%をGemini 3.5 Transcribe Liveの4.00%の隣に置くと、ストリーミング文字起こしの疑問はGoogle有利で3倍の差で決着したように見えます。しかしそうではなく、その理由こそがこのページで最も有用な点です。これら2つの数値は、異なる音声で、異なる組織によって、異なる目的のために測定されたものです。12.8%はElevenLabsによるPriMock57での単語誤り率です。PriMock57は録音された57件の模擬プライマリケア診療で、薬名、用量、言いかけた文が満載です。4.00%はArtificial AnalysisによるGemini 3.5 Transcribe Liveのストリーミング単語誤り率で、一般的な音声ハーネス上で、最終文字起こしまで0.40秒という条件です。一方は臨床診療であり、もう一方はベンチマークスイートです。両者を比較するのは、車の燃費をサーキットで測った値と市街地走行で測った値を比べて、エンジンが変わったと結論づけるのと同じ誤りです。

誤った一騎打ちの構図を取り除けば、本当の選択肢が残ります。それは精度ではなく、デプロイの話です。Gemini 3.5 Transcribe Live は自分で呼び出すモデルです。gemini-3.5-transcribe-live、分単位の価格が公開された WebSocket エンドポイントで、無料枠があり、1セッションの上限は10分です。Scribe v3 Live Medical はそもそも呼び出すことすらできないモデルで、ElevenAgents 内の ASR オプションとしてのみ存在し、早期アクセス中、モデル ID も独自の料金もありません。一方はインフラです。もう一方はエージェントプラットフォームの一機能です。どちらを選ぶべきかは、文字起こしツールを構築しているのか、それとも電話エージェントを購入しているのかによって決まります。

双方が実際に公開している内容

各ベンダーが述べているとおりの仕様対比を、項目ごとに示します:

アクセス — Gemini 3.5 Transcribe Live は、無料枠付きの Live API WebSocket エンドポイント(gemini-3.5-transcribe-live)です。Scribe v3 Live Medical は、ElevenAgents エージェントの自動音声認識設定でのみ選択でき、Speech to Text API からは選択できません。

• 価格 — Gemini 3.5 Transcribe Live は、音声入力トークン100万件あたり$3.50、テキスト出力トークン100万件あたり$21.00です。Googleの推定では、それぞれ1分あたり$0.005と$0.004、合算で1分あたり約$0.009になります。Scribe v3 Live Medical には個別の価格がなく、ElevenAgents の料金に含まれています。

• 精度 — Gemini:Artificial Analysisによる計測で、最終結果まで0.40秒時点のストリーミングWERは4.00%。Scribe:PriMock57でWER 12.8%(ベンダー実施)で、4つの競合リアルタイムモデルの15.5%~17.2%と比較。

• ドメイン適応 — Gemini: バッチ版の兄弟モデルでカスタム語彙バイアスを適用。話者分離と単語タイムスタンプは Gemini 3.5 Transcribe のカードに記載。Scribe: 臨床向けファインチューニングに加え、最大10,000件のカスタム用語を追加料金なしで利用可能。

• 言語 — Gemini: 85以上の言語に対応し、ストリーム途中での切り替えが可能。Scribe: 90以上の言語に対応し、医療分野での改善は英語、フランス語、ドイツ語で測定。

• セッションの形態 — Gemini: 最大10分に制限されたWebSocketセッション。Scribe: エージェントの会話が続く間存続します。

• コンプライアンス — Gemini: モデルのドキュメント上に、医療やHIPAAに関する位置づけは見当たりませんでした。Scribe: BAAおよびZero Retention ModeによりHIPAA適格であり、早期アクセスのリアルタイムモデルについては、そのモデル自体の適格性が確認されるまでPHIを送信しないよう明示的に警告しています。

その行のうち2つが実際の意思決定の大半を左右しますが、どちらも精度ではありません。10分という上限はアーキテクチャ上のものです。コールセンターのアンケートより長いものにはセッションを継ぎ接ぎする必要があり、その継ぎ目はあなたの側の問題になります。もう一方は、ElevenLabsモデルの価格が示されていないことです。LLM、電話、音声もまとめて請求するサブスクリプションの内側にあるため、料金表には載せられません。

A two-column scoreboard titled 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live — the scoreboard', with the rows Access (ElevenAgents only vs Live API WebSocket), Price (bundled, no ASR rate vs about $0.009 per minute), Accuracy (12.8% PriMock57 vs 4.00% AA streaming WER), Adaptation (clinical fine-tune, 10,000 terms vs custom vocabulary biasing), Languages (90+ vs 85+) and Session (length of the agent call vs 10-minute cap), and a footer reading 'ElevenLabs figures vendor-run on PriMock57; Gemini figures per Artificial Analysis.'

精度の行を、実際に使える形に変える

これら2つを比較する正当な方法は存在し、それには実際に両方を実行する必要がある。まさにその手間を省くためにマーケティング用のグラフがあるのだ。公開されている証拠から言えることは、より限定的だ:

特に臨床会話に関しては、ElevenLabsには実測値があるが、Googleにはない。これはGemini 3.5 Transcribe Liveが薬名の扱いに弱いという主張ではなく、PriMock57に相当する数値を誰も公開していないという主張である。Googleのカスタム語彙機構は、まさにこの問題のために提供されているツールであり、バッチモデルにおける語彙バイアスは文書化されている。Liveエンドポイントでは、そのバッチ版ほど文書が充実しておらず、共通のGemini 3.5 Transcribeカードに記載されている話者分離および単語タイムスタンプ機能は、エンドポイントごとに明示的に確認されているわけではない。

一般的な会話音声に関して、Googleは独立して公開した数値を持ち、ElevenLabsはベンダーが実施した数値を持っています。4.00%は固定された評価ハーネスと数十のモデルを備えたトラッカーから出たもので、12.8%はElevenLabsが選び実施した単一の57件の相談セットから出たものです。どちらも有用です。しかし、どちらも他方から差し引いて成立するものではありません。

実践版としては、ワークロードが臨床通話なら、自社の録音からPriMock57風のサンプルを用意し——話者2名、室内に実際の医薬品集、少なくとも1人の発信者が会員IDを読み上げる——両方を実行することです。多少の専門用語が混じる汎用ストリーミング文字起こしであれば、Googleが公開している数値の方が監査可能な出発点であり、その語彙バイアスがドメイン負荷の大半を担います。

The Artificial Analysis Speech to Text leaderboard, showing the heading 'Speech to Text AI Model & Provider Leaderboard' with the subtitle 'Compare word error rate, speed, and pricing across Speech to Text models and providers', the chart label 'AA-WER Index (Non-streaming)', and a grid of model bars with percentage labels.

臨床的な違いは言葉そのものではなく、その間の取り方にある

Googleのドキュメントには記載されていない、ElevenLabsが実装した機能はターン予測です。Scribe v3 Live Medicalのターンモデルは、発信者が話し終えたかを判断する際に、無音だけではなく会話の文脈を利用します。これは、「私の会員IDは4-4-2です」の後に応答するエージェントと、最後の数字まで待つエージェントの違いです。ElevenLabs自身の例は、無音ベースのエンドポインティングが破綻するまさにその文字列です。会員ID、生年月日、電話番号、綴りで読み上げられる投与量などです。

Gemini 3.5 Transcribe Live は、同じ問題をスタックの1つ上の層へ押し上げます。ドキュメントでは双方向ストリーミング文字起こしモデルと説明されており、ターンがどこで終わるかは、その上に位置するエージェントフレームワークによって決まります。また、Google の音声エージェントに関する説明では、文字起こし専用のターンモデルではなく、Live API 自体のターン処理を経由します。これは完全に優れたアーキテクチャであり、同時に別のアーキテクチャでもあります。エンドポインティングのロジックは自社で所有し、調整することになります。患者が症状の途中で考え込むために間を置く臨床通話では、その調整は見た目だけの問題ではありません。

誠実に行うコスト比較

Googleの課金メーターは、数字を積み上げるのに十分透明だ。1日40時間のライブ通話を月22日行うクリニックを例に取ると、52,800分になる。ブレンドで1分あたり推定$0.009なら、文字起こし部分は月約$475になり、これは予測し、上限を設け、更新時に交渉できる費目だ。

ElevenLabs側は比較可能な数値を公表しておらず、それを引用する人は推測しているにすぎない。最も近い公表済みの基準はAPI料金表で、Scribe v3 Liveが1時間あたり0.22ドル、キータームプロンプティングが1時間あたり0.08ドルだが、Scribe v3 Live Medicalはそのようには販売されていない。これはElevenAgents内にあり、会話1分単位で価格設定され、その会話にはLLMトークン、音声合成、電話通信が含まれる。そのバンドルが割引なのかロックインなのかは、別に何を組み合わせて構成していたかによって変わり、料金ページだけでは決着できない。

引き継げる点が 1 つあります。結局両方を動かすことになった場合 — 文字起こしには Google、推論には任意の LLM — ルーティングの判断があるのは第 2 の部分です。OrcaRouter は単一の OpenAI 互換 API の背後で 215 モデルを 0% のマークアップで提供し、プロバイダーのリスト価格を変更せずにそのまま通すため、Gemini の文字起こしを読むモデルは、ASR コードに触れることなく差し替えたりフェイルオーバーしたりできます。このページではどちらの文字起こしモデルも提供しておらず、上記のいずれも当社の価格ではありません。

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

どちらを選ぶべきですか

製品を購入するのではなく自社で構築するなら、Gemini 3.5 Transcribe Liveを選んでください。2つのうち、呼び出し可能なモデルで、公開価格があり、評価用の無料枠があり、自社のエージェントループの背後に置けるエンドポイントを備えているのはこれだけです。10分のセッション上限は設計で考慮すべき制約であり、臨床ベンチマークがないことは、自社の音声とカスタム語彙リストで埋めるべきギャップです。

エージェントがElevenLabsの問題だとすでに決めているなら、Scribe v3 Live Medicalを選んでください――そして、コンプライアンス上の立場がアーリーアクセスモデルを許容するなら。ただしドキュメントは現在、適格性が確認されるまでPHIについては許容しないと述べています。臨床向けファインチューニングとターンモデルは、実際の患者通話において確かな利点であり、競合するリアルタイムモデルとのPriMock57の差は、臨床適応がそもそも役立つことを示す最も強力な公表済みの証拠です。ただそれはGeminiに関する証拠では決してなく、Geminiもまたそれに関する証拠ではありません。

注目すべき数字は、どちらのWERでもない。Scribe v3 Live Medicalが独自のモデルIDをいつか持つかどうかだ。それが実現した日には、この比較は普通のものになる — 呼び出し可能な2つのエンドポイント、2つのメーター、実行できる1つのベンチマーク — そして12.8%は、購入者が実際に確認できるものになる。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新