Cartão de destaque para Eleven Realtime v1 Max versus GPT-Live-1, com o subtítulo 'A lacuna de benchmark é desfavorável à ElevenLabs', com etiquetas que dizem 'Benchmark de tarefa: ausente', 'Índice: nenhum vs 80.1' e '$4.80 vs $4.47 por hora'.
Guides & Insights

Eleven Realtime v1 Max vs GPT-Live-1: A Lacuna nos Benchmarks É Desfavorável à ElevenLabs

Autor

Rowan Sterling

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

O comunicado de imprensa do Eleven Realtime v1 Max destaca 98,8% no Big Bench Audio e uma resposta de 0,57 segundo. Ambos os números são verdadeiros, ambos são os melhores da categoria, e ambos são irrelevantes quando a comparação é com o G​PT-Live-1 — porque o benchmark que decide os agentes de voz em produção não é o raciocínio de fala, e nesse quesito o modelo da O​penAI vence por uma margem ampla o suficiente para ofuscar a vantagem inicial de 0,7 segundo que a E​levenLabs está vendendo. Os incidentes de IA documentados e as falhas de agentes por trás dos modelos desta classe estão reunidos no OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, gravidade, grau de confiança e sinalização de disputa.

Execute o mesmo harness do Artificial Analysis em ambos e a separação é nítida. O Eleven Realtime v1 Max lidera em raciocínio de fala, 98,8% contra 89%, e em velocidade, 0,57 segundo contra 1,24. O G​PT-Live-1 lidera em conclusão de tarefas agênticas, 59,3% contra não medido, em dinâmica conversacional, 97,3% contra 94,1%, em preferência na arena, 1.047 Elo contra 997, em sucesso em tarefas, 90,9% contra 87,1%, e em índice composto, 80,1 contra absolutamente nada.

Esse último número não é retórico. O Eleven Realtime v1 Max não tem pontuação no Speech to Speech Index, porque o índice exige todos os quatro componentes e a execução agêntica do τ-Voice ainda não foi publicada para ele. O G​PT-Live-1 tem um índice. É o mais alto do ranking.

O placar completo, lado a lado

Todas as linhas são medições da Artificial Analysis em seu próprio harness, a menos que indicado de outra forma. Os números do Eleven Realtime são do anúncio de 20 de outubro de 2026; a disponibilidade da API do G​PT-Live-1 data de 10 de setembro de 2026, com o próprio modelo chegando ao ChatGPT em 8 de julho.

• Índice Speech to Speech — Eleven Realtime v1 Max sem pontuação vs G​PT-Live-1 (Sol, low) 80.1

• Raciocínio de fala (Big Bench Audio) — Max 98,8% vs G​PT-Live-1 89%

• Desempenho agêntico (τ-Voice) — Max não medido vs G​PT-Live-1 59,3%

• Dinâmica conversacional — Max 94,1% vs GPT-Live-1 97,3%

• Taxa de sucesso da tarefa — Max 87,1% vs GPT-Live-1 90,9%

• Preferência na Arena (Elo) — Max 997 vs G​PT-Live-1 1.047

• Tempo até o primeiro áudio — Max 0,57s vs G​PT-Live-1 1,24s

• Custo por hora de áudio de entrada — Max US$ 4,80 vs. GPT-Live-1 US$ 4,47

• Transporte — Max WebSocket apenas no lançamento vs GPT-Live-1 WebRTC apenas

A generated scoreboard titled 'Eleven Realtime v1 Max vs GPT-Live-1 - the scoreboard'. The Max column reads: Speech-to-speech index not scored, Big Bench Audio 98.8%, Tau-Voice not measured, Full-Duplex-Bench 94.1%, time to first audio 0.57s, price per hour $4.80. The GPT-Live-1 column reads: Speech-to-speech index 80.1, Big Bench Audio 89%, Tau-Voice 59.3%, Full-Duplex-Bench 97.3%, time to first audio 1.24s, price per hour $4.47. Footer: 'Benchmark figures per Artificial Analysis; prices are vendor list rates.'

Uma linha está mais próxima do que a manchete sugere: o custo. US$ 4,80 contra US$ 4,47 por hora de áudio coloca esses dois modelos na mesma faixa de preço, o que é o oposto da história que se obtém ao comparar o Eleven Realtime com os US$ 0,84 do Gemini 3.8 Live. Na comparação com a OpenAI, o prêmio do ElevenLabs é de 7%.

Por que a pontuação de raciocínio aponta na direção errada

O Big Bench Audio é composto por 1.000 perguntas de áudio adaptadas do Big Bench Hard, distribuídas em quatro categorias — falácias formais, navegação, contagem de objetos e um conjunto de problemas booleanos com enunciado textual. O modelo ouve uma pergunta e responde em voz alta, e a resposta é avaliada como certa ou errada. Isso mede quão bem um modelo raciocina sobre conteúdo de áudio, o que não é o mesmo que quão bem ele conduz uma conversa ou conclui uma tarefa.

Os 98,8% do Max o colocam em terceiro nesse ranking, atrás do StepAudio 3 Realtime (100%) e do Q​wen Audio 3.0 Realtime Plus (99,2%), e à frente do Qwen3.5 Omni Plus Realtime (98,7%) e do G​rok Voice 3.0 (98,5%). Os 89% do GPT-Live-1 ficam em décimo segundo. Se o trabalho do seu agente é ouvir uma longa descrição falada e responder a uma pergunta sobre ela, essa diferença de nove pontos é significativa, e a E​levenLabs é a melhor compra.

Mas a ElevenLabs não vende o Max para isso. A própria página dela posiciona o Max para "tarefas complexas" com "uso de ferramentas em várias etapas" — atendimento ao cliente, qualificação de leads, agendamento assistido. Esse é o território do τ-Voice, e é nele que o Max não tem número e o GPT-Live-1 tem 59,3%.

O número da OpenAI também precisa da sua própria ressalva, e a documentação da própria OpenAI a fornece: as evidências de implantação publicadas são escassas. O benchmark de suporte de voz bancário que a OpenAI divulgou no lançamento da API colocou a taxa de aprovação do GPT-Live-1 em 32%, contra 12,4% do GPT-Realtime-2.1. Uma taxa de aprovação de 32% é uma grande melhoria e ainda significa que o sistema falha em dois terços de um fluxo de trabalho regulamentado. O número τ-Voice da Artificial Analysis é o mais útil porque é executado em um harness comum, mas é uma pontuação de meio de tabela, não uma coroação.

Onde a vantagem do G​PT-Live-1 é estrutural, não marginal

A diferença de 3,2 pontos em dinâmica conversacional e a diferença de 50 pontos no Elo da arena vêm de uma escolha arquitetural que a E​levenLabs não fez. O G​PT-Live-1 é full duplex no sentido estrito: ele escuta e fala na mesma linha do tempo e, quando o interlocutor pergunta algo que exige trabalho real, ele transfere a tarefa por meio de uma fronteira assíncrona para um modelo de backend separado que continua pensando enquanto a conversa falada prossegue. A camada de voz é um front end. O raciocínio acontece em outro lugar e retorna quando está pronto.

É por isso que esse design permite que o G​PT-Live-1 execute chamadas de ferramentas sem que a linha fique em silêncio, e também é por isso que sua pontuação de raciocínio é mais baixa: o modelo que responde à pergunta do Big Bench não é o mesmo que faz o raciocínio profundo em uma sessão real. O Eleven Realtime Max aposta no oposto. Uma única rede faz reconhecimento, alternância de turnos, raciocínio e voz, o que é o que garante os 0,57 segundos — não há transferência a esperar — e o que limita quanto raciocínio pode acontecer antes que quem liga perceba a pausa.

Qual aposta é a certa depende de qual orçamento é mais apertado: o de latência ou o de conclusão de tarefa. Para um agente de agendamento que precisa consultar um calendário, confirmar um horário e gravar um registro, o modelo de handoff vence na conclusão. Para um tutor que responde a uma pergunta falada num só fôlego, o modelo unificado vence na sensação.

Os detalhes de faturamento e transporte que determinam a integração

O G​PT-Live-1 cobra uma tarifa fixa de US$ 0,05 por minuto de voz, cobrada por segundo, com a inicialização da sessão cobrando 15 segundos adiantados e creditando-os à duração posterior. O modelo de raciocínio de backend é cobrado separadamente às suas próprias tarifas normais, portanto, uma camada de voz barata ainda pode gerar uma chamada cara. O OrcaRouter não consegue rotear a camada de voz — o endpoint Live Sessions em v1/live/sessions pertence exclusivamente à O​penAI —, mas a parte de backend é apenas mais uma chamada de modelo e, no OrcaRouter, isso são 209 modelos de 16 provedores em uma única chave pelo preço de lista do provedor sem markup, com failover se o backend escolhido apresentar erro no meio da chamada.

Screenshot of OpenAI's developer documentation for the GPT-Live 1 voice model in English, showing the model catalogue navigation and the realtime and audio section, including the flat $0.05 per minute voice rate billed by the second and the note that only the Live sessions endpoint is supported.

O Eleven Realtime cobra no sentido inverso: o padrão por minuto do ElevenAgents mais tokens de entrada, de entrada em cache e de saída à tarifa do modelo Realtime, com o Max custando mais por token do que o Mini. A tarifa por minuto de nenhum dos modelos é publicada na página de preços da ElevenLabs; o painel mostra uma estimativa, e os US$ 4,80 da Artificial Analysis são um valor normalizado, e não um preço de tabela.

O transporte é a assimetria mais acentuada. A API do Eleven Realtime é compatível com OpenAI-Realtime via WebSocket — o próprio exemplo da documentação importa OpenAIRealtimeWebSocket de @openai/agents-realtime e o aponta para wss://api.elevenlabs.io/v1/convai/realtime. O GPT-Live-1 é apenas WebRTC, e testar o caminho Realtime mais antigo com um ID de modelo GPT-Live retorna um erro dizendo que as sessões exigem WebRTC. Portanto, a compatibilidade funciona em uma única direção: um cliente OpenAI Realtime pode migrar para a ElevenLabs com uma alteração de endpoint, mas um cliente OpenAI Realtime não pode migrar para o GPT-Live-1 sem uma reescrita do transporte. As equipes que migram para o GPT-Live-1 estão escrevendo um handshake RTCPeerConnection, um canal de dados oai-events e uma troca de oferta do lado do servidor; as equipes que migram para o Eleven Realtime estão editando duas strings.

As ressalvas de implantação do lado da ElevenLabs

A documentação da E​levenLabs acrescenta restrições que nenhuma cobertura de lançamento menciona:

• Disponibilidade — os modelos Realtime estão sendo "lançados gradualmente"; um workspace sem a configuração de modo de voz recebe da API a resposta "Os modelos Realtime não estão disponíveis para este workspace"

• Residência de dados — Max está disponível nos EUA e na UE, mas não na Índia ou em Singapura, onde apenas o Mini é oferecido

• Conformidade — o Max oferece Modo de Retenção Zero e suporte ao HIPAA nos EUA e na UE; o Mini não oferece nenhum dos dois

• Configurações gerenciadas — o LLM, o esforço de raciocínio, o orçamento de pensamento, as chamadas paralelas de ferramentas, o modelo TTS, o modo expressivo e o provedor de ASR são todos controlados pela ElevenLabs enquanto um modelo Realtime estiver definido, e os nós de workflow não podem sobrescrevê-los

• LLMs personalizados — O modo em tempo real não está disponível enquanto um agente usa um LLM personalizado ou o Amazon Bedrock

As próprias restrições do GPT-Live-1 são mais rígidas em um aspecto e mais flexíveis em outro: ele não tem Chat Completions, nem Responses, nem camada de compatibilidade Realtime, nem fine-tuning e nem entrada de imagem ou vídeo, mas seus limites de nível são denominados em sessões simultâneas — 25 no Tier 1, subindo para 500 no Tier 5 — em vez de solicitações por minuto.

Screenshot of ElevenLabs' Speech to Speech landing page in English, headlined 'A new class of Speech to Speech models for building voice agents that sound natural', presenting v1 Mini for natural conversations and v1 Max for complex tasks with speech recognition, turn-taking, LLM and voice tuned as one system.

Quem deve escolher qual

Escolha o G​PT-Live-1 quando o agente tiver de concluir trabalho: reservas, alterações, reembolsos, qualquer coisa que termine numa escrita na base de dados. Tem a taxa de sucesso de tarefas mais elevada, a preferência de arena mais elevada, o índice compósito mais elevado e o custo por hora mais baixo, e é o único dos dois com uma pontuação agêntica publicada. Orçamente para a reescrita WebRTC e para a fatura separada do modelo de backend.

Escolha o Eleven Realtime v1 Max quando a conversa é o produto e o raciocínio é superficial: um tutor, um personagem, uma linha de suporte em que a reclamação está sendo atropelada. Você obtém o raciocinador forte mais rápido do mercado, a migração mais simples de uma integração existente do O​penAI Realtime e um prêmio de preço de 7% sobre o G​PT-Live-1, em vez do prêmio de 5,7× sobre o G​emini. Você aceita que o comportamento agêntico dele não é medido e que o lançamento ainda é parcial.

O resultado que mudaria esta análise é uma pontuação τ-Voice para o Max. A ElevenLabs pede que se confie nela como um modelo capaz de concluir tarefas com base em um benchmark de raciocínio; o benchmark de tarefas existe, foi executado em dez outros modelos de voz e não foi executado neste. Isso é uma lacuna nas evidências, não no modelo — mas é a lacuna que determina qual destes dois você deve colocar diante de um cliente pagante.