標題卡寫著「Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live」,副標題為「12.8% 和 4.00% 不是同一個數字」。其下方有兩條水平長條,分別標示為「PriMock57 臨床模擬問診」的 12.8% 與「Artificial Analysis 一般語音」的 4.00%,每條長條都標註其所屬的基準測試,並以虛線垂直分隔線隔開。
Guides & Insights

Scribe v3 Live Medical 對比 Gemini 3.5 Transcribe Live:12.8% 與 4.00% 不是同一個數字

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

把 Scribe v3 Live Medical 的 12.8% 和 Gemini 3.5 Transcribe Live 的 4.00% 放在一起看,串流轉錄的問題似乎以三倍之差倒向 Google。事實並非如此,而原因正是本頁最有用的重點:這兩個數字是在不同的音訊上、由不同組織、為不同目的測量出來的。12.8% 是 ElevenLabs 在 PriMock57 上的字錯誤率——PriMock57 包含 57 段錄製的模擬基層醫療問診,充滿藥名、劑量和說了一半的句子。4.00% 是 Artificial Analysis 在其通用語音測試工具上測得的 Gemini 3.5 Transcribe Live 串流字錯誤率,最終轉錄耗時 0.40 秒。一個是臨床問診;另一個是基準測試套件。拿這兩者相比,就跟把汽車在賽道上的油耗拿來和它在城市車流中的油耗相比,然後得出引擎變了的結論一樣,是同樣的錯誤。

拋開虛假的正面交鋒,真正的選擇依然存在,而這關乎部署,而非準確度。Gemini 3.5 Transcribe Live 是一個你可以呼叫的模型:gemini-3.5-transcribe-live,一個 WebSocket 端點,具備公開的每分鐘價格、免費方案,以及十分鐘的工作階段上限。Scribe v3 Live Medical 則是一個你根本無法呼叫的模型——它僅作為 ElevenAgents 內部的 ASR 選項存在,處於早期存取階段,沒有模型 ID,也沒有自己的費率。一個是基礎設施。另一個是代理平台的一項功能。你想要哪個,取決於你是在打造轉錄器,還是在購買電話代理。

雙方各自實際發布的內容

規格對照,逐個維度,依各廠商所述:

• 存取 — Gemini 3.5 Transcribe Live 是 Live API WebSocket 端點(gemini-3.5-transcribe-live),並提供免費方案;Scribe v3 Live Medical 僅可在 ElevenAgents 代理程式的自動語音辨識設定中選取,無法透過 Speech to Text API 使用。

• 價格 — Gemini 3.5 Transcribe Live 為每百萬音訊輸入 token 3.50 美元、每百萬文字輸出 token 21.00 美元,Google 估計分別為每分鐘 0.005 美元與 0.004 美元,混合計算約為每分鐘 0.009 美元;Scribe v3 Live Medical 沒有另行定價,已包含在 ElevenAgents 定價中。

• 準確度 — Gemini:根據 Artificial Analysis,從 0.40 秒到最終輸出的串流 WER 為 4.00%;Scribe:在 PriMock57 上由廠商自行測試的 WER 為 12.8%,而四款競爭即時模型的 WER 為 15.5%–17.2%。

• 領域調適 — Gemini:在批次同系列模型上提供自訂詞彙偏置,並於 Gemini 3.5 Transcribe 卡片中說明了說話者分離與字詞時間戳記;Scribe:臨床專用微調模型,外加最多 10,000 個自訂詞彙,不額外收費。

• 語言 — Gemini:85 種以上語言,支援串流中途切換;Scribe:90 種以上語言,醫療成效以英文、法文和德文測量。

• 工作階段形態 — Gemini:WebSocket 工作階段上限為十分鐘;Scribe:在代理程式對話期間持續存在。

• 合規 — Gemini:在模型文件中,我們找不到任何醫療或 HIPAA 定位;Scribe:符合 HIPAA 資格,具備 BAA 與 Zero Retention Mode,並明確警告在其自身適用資格獲得確認之前,不要將 PHI 傳送至早期存取即時模型。

其中兩列決定了大多數實際決策,而兩者都不是準確度。十分鐘上限屬於架構層面的限制:只要超過客服中心問卷的長度,工作階段就必須拼接起來,而接縫就是你的問題。ElevenLabs 模型沒有標價則是另一點:你無法把它放進價目表,因為它包含在一個同時計費 LLM、電話通訊和語音的訂閱方案裡。

A two-column scoreboard titled 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live — the scoreboard', with the rows Access (ElevenAgents only vs Live API WebSocket), Price (bundled, no ASR rate vs about $0.009 per minute), Accuracy (12.8% PriMock57 vs 4.00% AA streaming WER), Adaptation (clinical fine-tune, 10,000 terms vs custom vocabulary biasing), Languages (90+ vs 85+) and Session (length of the agent call vs 10-minute cap), and a footer reading 'ElevenLabs figures vendor-run on PriMock57; Gemini figures per Artificial Analysis.'

將準確度列轉換成可實際使用的內容

有正當的方法可以比較這兩者,而這需要實際執行它們;這正是行銷圖表存在的目的——幫你省去這件事。能從已公開證據中得出的說法則較為有限:

具體就臨床對話而言,ElevenLabs 有實測數字,Google 則沒有。這並不是說 Gemini 3.5 Transcribe Live 在藥名上表現很差——而是說沒有人發表過與 PriMock57 相當的數字。Google 的自訂詞彙機制正是它為這個問題提供的工具,而批次模型上的詞彙偏置已有文件記載;在 Live 端點上,相關文件比其批次版本更為單薄,而且共用 Gemini 3.5 Transcribe 說明卡上所描述的說話者分離與詞級時間戳功能,並未針對各端點逐一明確確認。

在一般對話音訊上,Google 有一個獨立公布的數字,ElevenLabs 則有一個由廠商自行執行的數字。4.00% 來自一個採用固定測試框架、涵蓋數十個模型的追蹤評測;12.8% 則來自 ElevenLabs 自行挑選並執行的一組 57 次諮詢資料。兩者都有用,但都不能拿其中一個去減另一個。

實務做法:如果你的工作負載是臨床通話,就借用一份 PriMock57 風格的自家錄音樣本——兩位講者、房間裡有真實的處方集、至少有一位來電者念出會員 ID——並把兩者都跑一遍。如果是一般用途的串流轉錄、帶有一點術語,Google 公布的數字是更可稽核的起點,而其詞彙偏置將承擔大部分的領域負載。

The Artificial Analysis Speech to Text leaderboard, showing the heading 'Speech to Text AI Model & Provider Leaderboard' with the subtitle 'Compare word error rate, speed, and pricing across Speech to Text models and providers', the chart label 'AA-WER Index (Non-streaming)', and a grid of model bars with percentage labels.

臨床上的差異在於停頓,而不是字句。

ElevenLabs 打造、而 Google 文件並未描述的功能,就是輪次預測。Scribe v3 Live Medical 的輪次模型運用對話脈絡,而非僅靠靜默,來判斷來電者是否已經說完;這正是差別所在:一個代理會在「我的會員 ID 是 4-4-2」之後就應答,另一個則會等到最後一個數字。ElevenLabs 自家的範例,正好就是那些會讓以靜默為基礎的端點偵測失效的字串:會員 ID、出生日期、電話號碼、逐字拼出的劑量。

Gemini 3.5 Transcribe Live 把同一個問題往上推了堆疊的一層。其文件將它描述為雙向串流轉錄模型;回合在哪裡結束,取決於位於其上層的代理框架,而 Google 的語音代理方案是透過 Live API 自身的回合處理來進行,而非採用轉錄專用的回合模型。這是個相當好的架構,而且它是另一種架構:端點偵測邏輯由你掌控,而你得親自調校它。在病患於描述症狀途中停下來思考的臨床通話裡,這樣的調校絕非表面工夫。

誠實呈現的成本比較

Google 的計費表夠透明,足以據此算出一個數字。以一家診所每天進行 40 小時的即時通話、每月 22 天來算:共 52,800 分鐘。按每分鐘混合估算 $0.009 計算,轉錄部分每月約 $475,而且這是你在續約時可以預測、設定上限並據以討論的項目。

ElevenLabs 方面不會產生可比的數字,任何人若引用這樣的數字,都只是在猜測。最接近的公開參照是 API 價目表——Scribe v3 Live 每小時 0.22 美元,關鍵詞提示每小時 0.08 美元——但 Scribe v3 Live Medical 並不是以那種方式販售。它包含在 ElevenAgents 中,按對話分鐘計價,而對話內容包括 LLM token、語音合成與電話通訊。這種捆綁究竟是折扣還是鎖定,取決於你原本會另行組裝什麼,而這無法只從定價頁面判定。

有一件事確實可以移轉:如果你最後兩者都跑——用 Google 負責轉錄,用你自選的 LLM 負責推理——第二段才是路由決策所在。OrcaRouter 提供 215 個模型,背後是單一 OpenAI 相容 API、0% 加成,供應商牌價原樣傳遞,因此 讀取 Gemini 轉錄稿的模型可以替換或容錯移轉,而不必更動 ASR 程式碼。我們在本頁不提供任何一個轉錄模型,且以上皆非我們的價格。

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

該選哪一個

如果你是在打造產品,而不是購買現成產品,就選 Gemini 3.5 Transcribe Live。它是兩者中唯一可呼叫、有公開定價、提供免費評估方案,而且有可放在你自己代理迴圈後端的端點的模型。十分鐘的單次工作階段上限是你設計時必須繞開的限制;缺少臨床基準測試則是你需要用自家音訊與自訂詞彙表來補上的缺口。

如果你已認定這個代理程式是 ElevenLabs 的問題,就選 Scribe v3 Live Medical——前提是你的合規立場允許使用早期存取模型;而目前文件指出,就 PHI 而言,在資格確認之前並不允許。臨床微調與輪次模型在即時病患通話中是真正的優勢,而 PriMock57 與競爭即時模型之間的差距,是已發表證據中最有力的一項,證明臨床調適確實有幫助。這單純不是關於 Gemini 的證據,而 Gemini 也不是關於它的證據。

值得留意的數字不是任何一個 WER,而是 Scribe v3 Live Medical 是否終有一天擁有自己的 model ID。等到那一天,這項比較就會變成正常的比較——兩個可呼叫的端點、兩個計量器、一個你可以實際執行的基準——而 12.8% 也就會成為買家真正能夠查核的東西。

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新