Eleven Realtime v1 Max vs GPT-Live-1: różnica w benchmarkach działa na niekorzyść ElevenLabs

Komunikat prasowy dotyczący Eleven Realtime v1 Max zaczyna się od wyniku 98,8% w Big Bench Audio i odpowiedzi w czasie 0,57 sekundy. Obie liczby są prawdziwe, obie są najlepsze w swojej klasie i obie nie mają znaczenia, gdy porównanie dotyczy G​PT-Live-1 — ponieważ benchmarkiem, który decyduje o agentach głosowych w środowisku produkcyjnym, nie jest rozumowanie mowy, a na tym polu model O​penAI wygrywa przewagą tak dużą, że przyćmiewa 0,7-sekundową przewagę na starcie, którą sprzedaje E​levenLabs. Udokumentowane incydenty AI i awarie agentów związane z modelami w tej klasie są zebrane w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, stopień ważności, ocenę pewności i oznaczenie sporności.

Uruchom ten sam harness Artificial Analysis na obu i podział jest klarowny. Eleven Realtime v1 Max prowadzi w rozumowaniu mowy – 98,8% wobec 89% – oraz w szybkości – 0,57 sekundy wobec 1,24. G​PT-Live-1 prowadzi w ukończeniu zadań agentowych – 59,3% wobec braku pomiaru – w dynamice konwersacji – 97,3% wobec 94,1% – w preferencjach areny – 1047 Elo wobec 997 – w skuteczności zadań – 90,9% wobec 87,1% – oraz w indeksie złożonym – 80,1 wobec zupełnie niczego.

Ta ostatnia liczba nie jest retoryczna. Eleven Realtime v1 Max nie ma wyniku w Speech to Speech Index, ponieważ indeks wymaga wszystkich czterech składników, a przebieg agentowy τ-Voice nie został dla niego opublikowany. GPT-Live-1 ma indeks. To najwyższy wynik w rankingu.

Pełna tablica wyników, obok siebie

Wszystkie wiersze to pomiary Artificial Analysis na własnym środowisku testowym, o ile nie oznaczono inaczej. Dane Eleven Realtime pochodzą z ogłoszenia z 20 października 2026 r.; dostępność GPT-Live-1 w API datuje się od 10 września 2026 r., a sam model trafił do ChatGPT 8 lipca.

• Indeks mowy na mowę — Eleven Realtime v1 Max bez wyniku w porównaniu z G​PT-Live-1 (Sol, low) 80,1

• Rozumowanie w mowie (Big Bench Audio) — Max 98,8% vs GPT-Live-1 89%

• Wydajność agentowa (τ-Voice) — Max: nie zmierzono w porównaniu z G​PT-Live-1 59.3%

• Dynamika konwersacji — Maks. 94,1% vs G​PT-Live-1 97,3%

• Wskaźnik skuteczności zadań — Max 87,1% vs GPT-Live-1 90,9%

• Preferencja w Arena (Elo) — Max 997 vs G​PT-Live-1 1,047

• Czas do pierwszego dźwięku — maks. 0,57 s vs G​PT-Live-1 1,24 s

• Koszt za godzinę audio wejściowego — Max 4,80 USD w porównaniu z GPT-Live-1 4,47 USD

• Transport — Max: tylko WebSocket na start vs G​PT-Live-1: tylko WebRTC

Jeden wiersz jest bliżej, niż sugeruje nagłówek: koszt. 4,80 USD w porównaniu z 4,47 USD za godzinę dźwięku stawia te dwa modele w tym samym przedziale cenowym, co jest odwrotnością tego, co wynika z porównania Eleven Realtime z G​emini 3.8 Live za 0,84 USD. W porównaniu z O​penAI premia E​levenLabs wynosi 7%.

Dlaczego wynik rozumowania wskazuje w złym kierunku

Big Bench Audio to 1000 pytań audio zaadaptowanych z Big Bench Hard w czterech kategoriach — sofizmaty formalne, nawigacja, liczenie obiektów oraz zestaw zadań tekstowych z logiki boolowskiej. Model słyszy pytanie i odpowiada na głos, a odpowiedź jest oceniana jako prawidłowa lub nieprawidłowa. Mierzy to, jak dobrze model rozumuje na temat treści audio, co nie jest tym samym, co to, jak dobrze prowadzi rozmowę lub wykonuje zadanie.

Wynik Maxa wynoszący 98,8% plasuje go na trzecim miejscu w tym zestawieniu, za StepAudio 3 Realtime (100%) i Q​wen Audio 3.0 Realtime Plus (99,2%), a przed Qwen3.5 Omni Plus Realtime (98,7%) i G​rok Voice 3.0 (98,5%). Wynik G​PT-Live-1 wynoszący 89% to dwunaste miejsce. Jeśli zadaniem Twojego agenta jest wysłuchanie długiego opisu mówionego i odpowiedzenie na pytanie na jego temat, ta dziewięciopunktowa różnica ma znaczenie, a E​levenLabs to lepszy wybór.

Ale E​levenLabs nie sprzedaje Maxa w tym celu. Na własnej stronie Max jest pozycjonowany jako rozwiązanie do „złożonych zadań" z „wieloetapowym korzystaniem z narzędzi" — obsługa klienta, kwalifikacja leadów, wspomagane planowanie spotkań. To terytorium τ-Voice, a właśnie tam Max nie ma żadnej liczby, podczas gdy G​PT-Live-1 osiąga 59,3%.

Liczba podana przez OpenAI również wymaga własnego zastrzeżenia, a dostarcza je sama dokumentacja OpenAI: opublikowane dowody z wdrożeń są skąpe. Benchmark obsługi głosowej w bankowości, który OpenAI podało przy premierze API, dał GPT-Live-1 wskaźnik zaliczeń na poziomie 32% wobec 12,4% dla GPT-Realtime-2.1. Wskaźnik zaliczeń 32% to znacząca poprawa, a jednocześnie oznacza, że system nie sprawdza się w dwóch trzecich regulowanego procesu. Wynik τ-Voice Artificial Analysis jest bardziej użyteczny, ponieważ jest uzyskiwany na wspólnym stanowisku testowym, ale to wynik ze środka stawki, a nie koronacja.

Gdzie przewaga G​PT-Live-1 ma charakter strukturalny, a nie marginalny

Luka 3,2 punktu w dynamice konwersacyjnej oraz 50-punktowa różnica Elo na arenie wynikają z wyboru architektonicznego, którego E​levenLabs nie dokonał. G​PT-Live-1 jest pełnodupleksowy w ścisłym sensie: słucha i mówi na tej samej osi czasu, a gdy dzwoniący pyta o coś, co wymaga rzeczywistej pracy, przekazuje zadanie przez asynchroniczną granicę do osobnego modelu backendowego, który nadal myśli, podczas gdy rozmowa głosowa trwa. Warstwa głosowa jest front-endem. Rozumowanie odbywa się gdzie indziej i włącza się z powrotem, gdy jest gotowe.

Ta konstrukcja sprawia, że G​PT-Live-1 może wywoływać narzędzia, nie powodując ciszy na linii, i dlatego też jego wynik w rozumowaniu jest niższy: model, który odpowiada na pytanie z Big Bench, to nie ten sam, który wykonuje głębokie myślenie podczas rzeczywistej sesji. Eleven Realtime Max przyjmuje odwrotny zakład. Jedna sieć zajmuje się rozpoznawaniem, obsługą tur rozmowy, rozumowaniem i głosem, co daje 0,57 sekundy — nie ma przekazania, na które trzeba czekać — i co ogranicza, ile rozumowania może się odbyć, zanim dzwoniący zauważy pauzę.

To, który zakład jest trafny, zależy od tego, czy ciaśniejszy jest twój budżet opóźnienia, czy budżet ukończenia zadania. W przypadku agenta planującego, który musi sprawdzić kalendarz, potwierdzić termin i zapisać rekord, model z przekazaniem wygrywa pod względem ukończenia. W przypadku korepetytora odpowiadającego na pytanie głosowe jednym tchem, model scalony wygrywa pod względem odczucia.

Szczegóły rozliczeń i transportu, które decydują o integracji

G​PT-Live-1 nalicza stałą opłatę w wysokości 0,05 USD za minutę głosu, rozliczaną co sekundę, przy czym inicjalizacja sesji jest rozliczana z góry jako 15 sekund i zaliczana na poczet późniejszego czasu trwania. Model rozumowania po stronie backendu jest rozliczany osobno według własnych standardowych stawek, więc tania warstwa głosowa wciąż może skutkować drogim połączeniem. OrcaRouter nie może trasować warstwy głosowej — endpoint Live Sessions pod v1/live/sessions należy wyłącznie do O​penAI — ale część backendowa to po prostu kolejne wywołanie modelu, a w OrcaRouter to 209 modeli od 16 dostawców na jednym kluczu w cenie katalogowej dostawcy, bez marży, z przełączeniem awaryjnym, jeśli wybrany backend zwróci błąd w trakcie połączenia.

Eleven Realtime rozlicza w odwrotny sposób: standardowa stawka ElevenAgents za minutę plus tokeny wejściowe, tokeny wejściowe z pamięci podręcznej i tokeny wyjściowe według stawki modelu Realtime, przy czym Max kosztuje więcej za token niż Mini. Stawka za minutę żadnego z modeli nie jest publikowana na stronie cennika ElevenLabs; pulpit nawigacyjny pokazuje szacunkową wartość, a 4,80 USD w Artificial Analysis to wielkość znormalizowana, a nie cena katalogowa.

Transport to wyraźniejsza asymetria. API Eleven Realtime jest zgodne z OpenAI-Realtime przez WebSocket — przykład z samej dokumentacji importuje OpenAIRealtimeWebSocket z @openai/agents-realtime i wskazuje na wss://api.elevenlabs.io/v1/convai/realtime. GPT-Live-1 działa wyłącznie przez WebRTC, a sondowanie starszej ścieżki Realtime z identyfikatorem modelu GPT-Live zwraca błąd mówiący, że sesje wymagają WebRTC. Zgodność działa więc tylko w jedną stronę: klient OpenAI Realtime może przenieść się do ElevenLabs po zmianie endpointu, ale klient OpenAI Realtime nie może przenieść się do GPT-Live-1 bez przepisania transportu. Zespoły migrujące do GPT-Live-1 piszą uzgadnianie połączenia RTCPeerConnection, kanał danych oai-events i wymianę oferty po stronie serwera; zespoły migrujące do Eleven Realtime edytują dwa ciągi znaków.

Zastrzeżenia dotyczące wdrożenia po stronie E​levenLabs

Dokumentacja ElevenLabs dodaje ograniczenia, o których nie wspomina żadna relacja z premiery:

• Dostępność — modele Realtime są „wdrażane stopniowo”; obszar roboczy bez ustawienia Voice mode w odpowiedzi z API otrzymuje komunikat „Realtime models are not available for this workspace”.

• Lokalizacja danych — Max jest dostępny w USA i UE, ale nie w Indiach ani Singapurze, gdzie oferowana jest wyłącznie Mini

• Zgodność — tryb zerowego przechowywania i obsługa HIPAA w przypadku Max w USA i UE; Mini nie obsługuje żadnego z nich

• Ustawienia zarządzane — gdy ustawiony jest model Realtime, model LLM, nakład pracy rozumowania, budżet myślenia, równoległe wywołania narzędzi, model TTS, tryb ekspresyjny i dostawca ASR są kontrolowane przez ElevenLabs, a węzły przepływu pracy nie mogą ich nadpisywać

• Niestandardowe modele LLM — tryb czasu rzeczywistego jest niedostępny, gdy agent używa niestandardowego modelu LLM lub Amazon Bedrock

Ograniczenia samego GPT-Live-1 są pod jednym względem surowsze, a pod innym łagodniejsze: nie ma on Chat Completions, nie ma Responses, nie ma warstwy zgodności z Realtime, nie oferuje fine-tuningu ani danych wejściowych w postaci obrazu lub wideo, ale jego limity na poszczególnych poziomach są wyrażane w liczbie równoczesnych sesji — 25 na poziomie Tier 1, rosnąco do 500 na poziomie Tier 5 — a nie w liczbie żądań na minutę.

Kto powinien wybrać, które?

Wybierz G​PT-Live-1, gdy agent musi wykonać pracę: rezerwacje, zmiany, zwroty — wszystko, co kończy się zapisem do bazy danych. Ma wyższy wskaźnik powodzenia zadań, wyższą preferencję w arenie, wyższy indeks złożony i niższy koszt za godzinę, a przy tym jako jedyny z tych dwóch ma opublikowany wynik agentowy. Uwzględnij w budżecie przepisanie WebRTC oraz osobny rachunek za model backendowy.

Wybierz Eleven Realtime v1 Max, gdy rozmowa jest produktem, a rozumowanie płytkie: korepetytor, postać, infolinia wsparcia, na której przerywa się skargę. Dostajesz najszybszy mocny model rozumujący w zestawieniu, najprostszą migrację z istniejącej integracji O​penAI Realtime oraz cenę wyższą o 7% niż w przypadku G​PT-Live-1, a nie 5,7× wyższą niż w przypadku G​emini. Akceptujesz, że jego zachowanie agentowe jest niezmierzone, a premiera jest wciąż częściowa.

Wynikiem, który zmieniłby wydźwięk tego tekstu, jest wynik τ-Voice dla Maxa. ElevenLabs prosi o zaufanie jako model wykonujący zadania, powołując się na benchmark rozumowania; benchmark zadań istnieje, został przeprowadzony na dziesięciu innych modelach głosowych i nie został przeprowadzony na tym modelu. To luka w dowodach, nie w modelu — ale to luka, która decyduje, który z tych dwóch należy postawić przed płacącym klientem.