Phonon vs Whisper Large v3 Turbo: Duas Metades de um Loop de Voz Offline

Comparar Phonon 31M com Whisper Large v3 Turbo é um erro de categoria, e é o erro de categoria mais útil na engenharia de fala neste momento. O Phonon 31M, lançado pela Gradium em 20 de outubro de 2026, converte texto em áudio. O Whisper Large v3 Turbo, lançado pela OpenAI em 1º de outubro de 2024, converte áudio em texto. Eles não competem. São as duas pontas do mesmo ciclo, e ambos são pequenos o suficiente e rápidos o suficiente para rodar em hardware que você possui.

Há um segundo motivo pelo qual a combinação confunde as pessoas. Ambos publicam um número chamado WER, e os dois números significam coisas opostas. Para o Whisper, a taxa de erro de palavra mede com que frequência a transcrição está errada. Para o Phonon, ela mede com que frequência um transcritor ouve errado a fala que o modelo gerou. Um número menor é melhor nos dois casos, mas não são a mesma medida, e colocá-los em uma única coluna é assim que comparações ruins acabam sendo feitas.

Um escuta, o outro fala

O Whisper Large v3 Turbo é um modelo de reconhecimento de fala. Ele mantém o encoder completo do Whisper large-v3 e reduz o decoder de 32 camadas para quatro, gerando 809 milhões de parâmetros em vez de 1,55 bilhão. Ele abrange 99 idiomas, detecta o idioma automaticamente e não é treinado para tradução. A documentação da OpenAI o descreve como aproximadamente oito vezes mais rápido que o modelo large, com um pequeno custo de precisão; a empresa não publicou um multiplicador preciso na ficha do modelo, portanto qualquer número exato de velocidade vem de testes de terceiros.

O Phonon 31M é um modelo de síntese de fala. Ele recebe texto e uma voz e produz áudio mono de 24 kHz por meio de um transformer de flow matching sobre latentes Mimi. Tem 31 milhões de parâmetros, excluindo o tokenizer, é distribuído como um GGUF q8 de 64,5 MB e é Apache 2.0. Não tem nenhuma capacidade de escuta — não consegue transcrever, diarizar nem detectar idioma.

A única coisa que eles têm em comum é um objetivo de projeto: ambos são feitos para funcionar sem um centro de dados. O Whisper Turbo é o membro rápido e barato de uma família que se tornou a base aberta padrão de ASR. O Phonon é uma tentativa de tornar a parte de síntese igualmente barata.

As mesmas três letras, duas medidas diferentes

O Whisper Large v3 Turbo apresenta um WER médio de 7,83 no Open ASR Leaderboard em inglês, contra 7,44 para o large-v3 completo. No LibriSpeech test-clean, os números ficam em torno de 2,0%. Esses números descrevem com que frequência o modelo escreve a palavra errada quando ouve fala limpa.

Phonon 31M relata 0,51% no Seed-TTS e 1,5% em um conjunto mais difícil no cartão do modelo, ou 1,70% no mesmo conjunto difícil no blog de lançamento. Esses números descrevem com que frequência o whisper-large-v3 escreve a palavra errada quando ouve a saída do Phonon. Observe que o avaliador é o próprio Whisper. A metodologia da Gradium é circular de uma forma inevitável: para medir um modelo TTS, você precisa de um modelo ASR, e a própria taxa de erro do modelo ASR estabelece um piso para quão bom o TTS pode parecer.

É por isso que um WER de TTS de 0,5% e um WER de ASR de 7,8% não são comparáveis, e por que um WER de TTS abaixo de cerca de 1% deve ser interpretado como “o transcritor não teve dificuldade”, e não como “a fala é quase perfeita”. Ouvintes humanos e avaliadores automáticos discordam, especialmente em prosódia, que nenhum WER captura.

• Tarefa — conversão de texto em fala para o Phonon 31M; conversão de fala em texto para o Whisper Large v3 Turbo.

• Parâmetros — 31M, excluindo o tokenizador, para o Phonon 31M; 809M para o Whisper Large v3 Turbo.

• Idiomas — somente inglês para o Phonon 31M; 99 para o Whisper Large v3 Turbo.

• Saída — áudio mono de 24 kHz para o Phonon 31M; texto com marcas de tempo para o Whisper Large v3 Turbo.

• Precisão relatada — WER de 0,51% no Seed-TTS para o Phonon 31M, medido pelo Whisper; WER médio de 7,83 em inglês para o Whisper Large v3 Turbo no Open ASR Leaderboard.

• Licença — Apache 2.0 para Phonon 31M; MIT para Whisper Large v3 Turbo.

Dimensionando um loop de voz offline

Se o objetivo é um assistente de voz que funcione com a rede desligada, a lista de materiais é de três modelos, não dois. Reconhecimento de fala, geração de linguagem e síntese de fala.

O Whisper Large v3 Turbo tem 809 milhões de parâmetros, cerca de 1,6 GB de pesos em precisão de 16 bits. A inferência em GPU normalmente reserva vários gigabytes de memória de trabalho para ativações e batching; builds GGUF quantizadas reduzem ainda mais o footprint, a um pequeno custo de precisão. Não é um modelo da classe de celulares na sua forma Turbo, embora variantes menores e versões destiladas do Whisper sejam.

O Phonon 31M tem 64,5 MB. Isso é aproximadamente um vigésimo quinto do arquivo de pesos do Whisper Turbo, e ele roda em um núcleo de CPU, em uma Neural Engine de iPhone ou em um Raspberry Pi.

O modelo de linguagem no meio é a variável. Um modelo instruct de 1B a 4B quantizado para quatro bits cabe em alguns gigabytes e é a escolha habitual para um assistente offline. O ciclo completo — Whisper Turbo, um pequeno modelo instruct, Phonon — fica em uma faixa que um laptop ou um celular de alta gama consegue comportar, com o ASR como o componente mais pesado.

Essa assimetria é a percepção prática. A metade do ciclo com que as pessoas se preocupam — a síntese, a parte que precisa soar humana — agora é a metade barata. O reconhecimento é a cara.

O orçamento de latência

Os números de fornecedores da Phonon situam o primeiro áudio em 5 a 7 ms num núcleo de MacBook Air M5 e em 9 ms num iPhone 16 Pro, com uma taxa de processamento entre 11,6 e 41 vezes o tempo real, dependendo de qual dos documentos da Gradium se consultar. A velocidade do Whisper Turbo depende fortemente do hardware e do backend: a OpenAI descreve-o como cerca de oito vezes mais rápido do que o large-v3, e benchmarks da comunidade com builds quantizados relatam dezenas de vezes o tempo real em Apple silicon e valores muito mais lentos em CPU.

Em um loop conversacional, a etapa de reconhecimento domina. Um enunciado de três segundos leva algumas centenas de milissegundos para ser transcrito em uma GPU de laptop e quase o tempo real em uma CPU fraca. A etapa de síntese é efetivamente instantânea em comparação. Equipes que otimizam o TTS primeiro estão otimizando a ponta errada.

A cobertura de idiomas é a restrição rígida.

O Whisper lida com 99 idiomas. O Phonon 31M lida com um, e a ficha da Gradium alerta que os outros idiomas são pronunciados incorretamente. Portanto, não é possível construir um assistente de voz multilíngue a partir deste par: o reconhecimento funciona em japonês, a síntese não.

A resposta da Gradium é a família Phonon 40M, que cobre inglês, francês, alemão, espanhol e português. São cinco idiomas, não 99, e os checkpoints 40M são CC BY-NC 4.0 — não utilizáveis em um produto comercial sem um acordo separado. A lacuna multilíngue entre ASR aberto e TTS aberto é uma das mais amplas da stack, e nada lançado neste mês a fecha.

Onde eles se encontram em um produto real

A aplicação natural é uma ferramenta de transcrição e reprodução: grave uma reunião ou uma nota de voz, transcreva-a com o Whisper e depois leia um resumo em voz alta com o Phonon. Ambos são executados localmente, ambos têm licenças permissivas e nenhum deles envia áudio a terceiros. Uma ferramenta de ditado médico, um gravador de campo, um aplicativo de acessibilidade para usuários surdos e com deficiência auditiva ou um brinquedo offline de aprendizagem de idiomas encaixam-se todos no mesmo formato.

A segunda aplicação é um agente de voz com uma primeira passagem local e um fallback na nuvem. O Whisper transcreve no dispositivo; se a confiança for baixa, o áudio é enviado para um ASR hospedado. O modelo de linguagem redige uma resposta; se precisar de um modelo maior, o pedido é encaminhado para fora. O Phonon fala o resultado; se o dispositivo estiver com limitação térmica, um TTS hospedado assume. Cada etapa tem uma opção local e uma remota, e o produto decide qual usar por solicitação.

A camada de texto entre eles.

O Whisper produz uma transcrição, o Phonon consome um script, e algo precisa transformar um no outro. Esse algo é um modelo de linguagem, e é a única parte do ciclo que se beneficia de ser grande.

O OrcaRouter não hospeda nenhum desses dois modelos — o Whisper Large v3 Turbo é executado na sua própria stack de inferência, e o Phonon é executado no dispositivo —, portanto, nenhum dos dois aparece em nosso catálogo. O que a plataforma cobre é a camada intermediária: uma API para mais de 200 modelos de linguagem pelo preço de tabela do provedor, com 0% de markup, failover automático entre provedores e uma DSL de roteamento que consegue enviar as tarefas rotineiras para um modelo barato e as difíceis para um mais forte. Em um design offline-first, essa camada é a parte que permanece online.

O que realmente comparar

Se você está escolhendo um modelo de fala, compare o Phonon com outros sistemas TTS e o Whisper Turbo com outros sistemas ASR. Se você está construindo um produto, compare os loops: memória total, latência total, licenças totais, idiomas totais. Nessa medida, o par é coerente para trabalho somente em inglês, offline e com licença permissiva, e incoerente para qualquer coisa multilíngue ou comercial na faixa de 40M.

O erro a evitar é ler o WER de 0,51% do Phonon ao lado dos 7,83% do Whisper e concluir que a síntese superou o reconhecimento. Os números são produzidos por processos diferentes que medem coisas diferentes, e um deles é medido pelo outro. A pergunta útil não é qual modelo é melhor. É se o ciclo que você consegue montar a partir de componentes abertos este mês é bom o suficiente para o produto que você tem em mente — e, para inglês, offline, em um laptop, a resposta acabou de mudar.