Eleven Realtime v1 Max 對上 GPT-Live-1 的主視覺卡片,副標題為「基準差距對 ElevenLabs 不利」,標籤寫著「任務基準:缺失」、「指數:無 vs 80.1」以及「每小時 $4.80 vs $4.47」。
Guides & Insights

Eleven Realtime v1 Max 對上 GPT-Live-1:基準測試差距對 ElevenLabs 不利

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

Eleven Realtime v1 Max 的新聞稿以 Big Bench Audio 的 98.8% 和 0.57 秒回應時間為主打。這兩個數字都是真的,也都是同級最佳,但當比較對象是 GPT-Live-1 時,兩者都不是重點——因為決定語音代理在生產環境中表現的基準並不是語音推理,而在那一項上,OpenAI 的模型以足夠大的差距勝出,足以淹沒 ElevenLabs 所推銷的 0.7 秒領先優勢。這一級別模型背後的已記錄 AI 事件與代理故障,收錄於OrcaRouter AI Incident Archive,其中每筆條目都附有自己的來源、嚴重性、信心等級與爭議標記。

在兩者上跑同一套 Artificial Analysis 評測框架,結果區隔得很清楚。Eleven Realtime v1 Max 在語音推理上領先,98.8% 對 89%;在速度上也以 0.57 秒對 1.24 秒領先。G​PT-Live-1 則在代理式任務完成上領先,59.3% 對未測量;在對話動態上,97.3% 對 94.1%;在競技場偏好上,1,047 Elo 對 997;在任務成功率上,90.9% 對 87.1%;在綜合指數上,80.1 對完全從缺。

最後那個數字並非誇飾。Eleven Realtime v1 Max 沒有 Speech to Speech Index 分數,因為該指數要求全部四個組成部分,而 τ-Voice 的 agentic 執行結果尚未針對它發布。G​PT-Live-1 有指數分數。它是排行榜上最高的。

完整計分板,並排顯示

除非另有標註,所有列皆為 Artificial Analysis 以其自有評測框架所得的測量結果。Eleven Realtime 的數據來自 2026 年 10 月 20 日的公告;G​PT-Live-1 的 API 可用性始於 2026 年 9 月 10 日,而模型本身於 7 月 8 日在 ChatGPT 推出。

• 語音轉語音指數 — Eleven Realtime v1 Max 未評分,對比 G​PT-Live-1(Sol,低)80.1

• 語音推理(Big Bench Audio)— 最高 98.8%,相較 G​PT-Live-1 的 89%

• 代理式效能(τ-Voice)— Max 未測量,相較 G​PT-Live-1 的 59.3%

• 對話動態 — Max 94.1% 對比 G​PT-Live-1 97.3%

• 任務成功率 — Max 87.1%,相較於 G​PT-Live-1 的 90.9%

• Arena 偏好(Elo)— Max 997 對 GPT-Live-1 1,047

• 首個音訊時間 — Max 0.57 秒,對比 G​PT-Live-1 1.24 秒

• 每小時輸入音訊成本 — Max $4.80 對比 G​PT-Live-1 $4.47

• 傳輸 — 推出時僅支援 Max WebSocket,對比 G​PT-Live-1 僅支援 WebRTC

A generated scoreboard titled 'Eleven Realtime v1 Max vs GPT-Live-1 - the scoreboard'. The Max column reads: Speech-to-speech index not scored, Big Bench Audio 98.8%, Tau-Voice not measured, Full-Duplex-Bench 94.1%, time to first audio 0.57s, price per hour $4.80. The GPT-Live-1 column reads: Speech-to-speech index 80.1, Big Bench Audio 89%, Tau-Voice 59.3%, Full-Duplex-Bench 97.3%, time to first audio 1.24s, price per hour $4.47. Footer: 'Benchmark figures per Artificial Analysis; prices are vendor list rates.'

其中一項的差距比標題所暗示的更小:成本。每小時音訊 $4.80 對上 $4.47,使這兩個模型落在同一個價格帶,這與拿 Eleven Realtime 去比 Gemini 3.8 Live 的 $0.84 所得到的故事正好相反。而在與 OpenAI 的比較中,ElevenLabs 的溢價為 7%。

為什麼推理分數指錯了方向

Big Bench Audio 是 1,000 道音訊題目,改編自 Big Bench Hard,涵蓋四大類別——形式謬誤、導航、物件計數,以及一組布林文字題。模型會聽到一個問題並口頭回答,而答案會被評為正確或錯誤。它衡量的是模型對音訊內容的推理能力,這與模型進行對話或完成任務的能力並不相同。

Max 的 98.8% 讓它在該排行榜上排名第三,落後於 StepAudio 3 Realtime(100%)與 Q​wen Audio 3.0 Realtime Plus(99.2%),並領先 Qwen3.5 Omni Plus Realtime(98.7%)與 G​rok Voice 3.0(98.5%)。G​PT-Live-1 的 89% 排名第十二。如果你的代理程式的工作是聽取一段冗長的語音描述並回答相關問題,那麼這九個百分點的差距就很重要,E​levenLabs 是更值得購買的選擇。

但 E​levenLabs 並不是為了那個而販售 Max。它自己的頁面將 Max 定位於「複雜任務」,具備「多步驟工具使用」——客戶支援、潛在客戶資格篩選、輔助排程。那是 τ-Voice 的領域,而在 τ-Voice 上,Max 沒有數字,G​PT-Live-1 則有 59.3%。

OpenAI 的數字也需要有自己的但書,而 OpenAI 自家的文件正好提供了這點:已公布的部署證據薄弱。OpenAI 在 API 推出時報告的銀行語音支援基準顯示,GPT-Live-1 的通過率為 32%,而 GPT-Realtime-2.1 為 12.4%。32% 的通過率是很大的進步,但仍意味著該系統在受監管的工作流程中,有三分之二會失敗。Artificial Analysis 的 τ-Voice 數字更有用,因為它是在共同的測試框架上運行,但那是中段分數,不是加冕。

G​PT-Live-1 的優勢所在:結構性,而非邊際性

3.2 點的對話動態差距與 50 點的競技場 Elo 差距,源自 ElevenLabs 並未做出的架構選擇。GPT-Live-1 是嚴格意義上的全雙工:它會在同一時間軸上聆聽與說話,而當來電者提出需要實際處理的請求時,它會將任務跨過非同步邊界交給獨立的後端模型,讓該模型在語音對話持續進行的同時繼續思考。語音層是前端。推理發生在其他地方,並在準備好後折返整合進來。

那樣的設計,正是 G​PT-Live-1 能在線路不陷入沉默的情況下執行工具呼叫的原因,也是它的推理分數較低的原因:回答 Big Bench 題目的模型,並不是在真實工作階段中進行深度思考的那一個。Eleven Realtime Max 押下相反的賭注。單一網路負責辨識、輪流發言、推理與語音,這正是換來 0.57 秒的原因——不必等待任何交接——也正是限制來電者在察覺停頓之前能進行多少推理的因素。

哪個選擇才對,取決於你的延遲預算和任務完成預算哪個更緊。對於一個必須查看行事曆、確認時段並寫入紀錄的排程代理而言,交接模型在完成度上勝出。對於要在一次呼吸間回答口頭提問的家教而言,合併模型在體感上勝出。

決定整合的計費與傳輸詳細資訊

G​PT-Live-1 以每分鐘語音固定 $0.05 計費,按秒收費,工作階段初始化會先收取 15 秒費用,並將其折抵後續時長。後端推理模型則依其本身正常費率另行計費,因此便宜的語音層仍可能產生昂貴的通話。OrcaRouter 無法路由語音層——v1/live/sessions 的 Live Sessions 端點專屬於 O​penAI——但後端那一半只是另一次模型呼叫,而在 OrcaRouter 上,那就是 16 家供應商提供的 209 個模型,共用一把金鑰,按供應商定價且不加價,若你選用的後端在通話中途出錯還會故障轉移。

Screenshot of OpenAI's developer documentation for the GPT-Live 1 voice model in English, showing the model catalogue navigation and the realtime and audio section, including the flat $0.05 per minute voice rate billed by the second and the note that only the Live sessions endpoint is supported.

Eleven Realtime 的計費方式恰好相反:標準 ElevenAgents 按分鐘計費,另加輸入、快取輸入與輸出 token 依 Realtime 模型的費率計算,而 Max 的每 token 費用高於 Mini。兩款模型的每分鐘費率均未公布於 ElevenLabs 的定價頁面;儀表板顯示的是估算值,而 Artificial Analysis 的 4.80 美元是經過標準化的數字,並非牌價。

傳輸層是更明顯的不對稱。Eleven Realtime 的 API 在 WebSocket 上與 O​penAI Realtime 相容——文件本身的範例會從 @openai/agents-realtime 匯入 OpenAIRealtimeWebSocket,並將其指向 wss://api.elevenlabs.io/v1/convai/realtime。G​PT-Live-1 僅支援 WebRTC,而用 G​PT-Live 模型 ID 探測較舊的 Realtime 路徑,會傳回錯誤,表示工作階段需要 WebRTC。因此相容性是單向的:O​penAI Realtime 用戶端只需變更端點即可移轉到 E​levenLabs,但 O​penAI Realtime 用戶端若沒有改寫傳輸層,就無法移轉到 G​PT-Live-1。移轉到 G​PT-Live-1 的團隊得撰寫 RTCPeerConnection 交握、oai-events 資料通道,以及伺服器端的 offer 交換;移轉到 Eleven Realtime 的團隊則只需編輯兩個字串。

E​levenLabs 這邊的推出注意事項

ElevenLabs 的文件補充了沒有任何發布報導提及的限制:

可用性 — Realtime 模型正在「逐步推出」;沒有 Voice mode 設定的工作區,API 會回傳「Realtime models are not available for this workspace」。

• 資料駐留 — Max 可在美國與歐盟使用,但印度與新加坡不提供,當地僅提供 Mini

• 合規 — 美國與歐盟的 Max 支援零保留模式與 HIPAA;Mini 兩者皆不支援

• 受管理的設定 — 當設定了 Realtime 模型時,LLM、推理強度、思考預算、平行工具呼叫、T​TS 模型、表達模式與 ASR 提供者全都由 E​levenLabs 控制,而工作流程節點無法覆寫這些設定

• 自訂 LLM — 當代理程式使用自訂 LLM 或 Amazon Bedrock 時,即時模式無法使用

G​PT-Live-1 自身的限制在某方面更嚴格,在另一方面則更寬鬆:它沒有 Chat Completions、沒有 Responses、沒有 Realtime 相容層、沒有微調,也沒有圖片或影片輸入,但它的層級限制是以並行工作階段來計量——Tier 1 為 25,最高到 Tier 5 的 500——而不是每分鐘請求數。

Screenshot of ElevenLabs' Speech to Speech landing page in English, headlined 'A new class of Speech to Speech models for building voice agents that sound natural', presenting v1 Mini for natural conversations and v1 Max for complex tasks with speech recognition, turn-taking, LLM and voice tuned as one system.

誰應該選擇哪一個

選擇 G​PT-Live-1當代理必須完成工作時:預訂、變更、退款,任何最終涉及資料庫寫入的事項。它具有更高的任務成功率、更高的 Arena 偏好、更高的綜合指數與更低的每小時成本,而且是兩者中唯一有公布代理式分數的模型。請為 WebRTC 重寫以及後端模型的獨立帳單編列預算。

選擇 Eleven Realtime v1 Max,適用於對話本身就是產品、而推理需求不深的情況:家教、角色,或客訴正被搶話蓋過的客服專線。你能得到目前陣容中最快的強大推理模型、從現有 O​penAI Realtime 整合遷移的最簡單方式,以及相對 G​PT-Live-1 僅 7% 的價格溢價,而非相對 G​emini 的 5.7× 溢價。你接受它的代理式行為尚未經過衡量,且此次發布仍不完整。

能翻轉這篇文章的結果,是 Max 的 τ-Voice 分數。E​levenLabs 正憑著一項推理基準,要求外界把它信任為能完成任務的模型;任務基準確實存在,也已在另外十個語音模型上跑過,卻尚未在這個模型上跑過。這是證據上的缺口,不是模型本身的缺口——但正是這個缺口,決定你該把這兩者中的哪一個放到付費客戶面前。