VibeVoice-ASR-Streaming-7B vs Muse Voice Transcribe: Dois Desafiantes de Streaming, Separados por Um Dia

Em cerca de trinta e seis horas no início de setembro de 2026, dois grandes laboratórios lançaram modelos de fala-para-texto em streaming que fazem a mesma promessa de manchete — uma transcrição ao vivo que também informa quem disse o quê, enquanto as palavras estão sendo ditas. Em 1º de setembro, a Meta Superintelligence Labs lançou o Muse Voice Transcribe como uma API hospedada com preço de US$ 3,00 por 1.000 minutos de áudio, cerca de US$ 0,18 por hora, com reconhecimento em streaming, diarização de mais de 20 falantes e detecção de fim de fala em uma única passada. Em 2 de setembro, a Microsoft Research publicou o VibeVoice-ASR-Streaming-7B no Hugging Face: pesos abertos com licença MIT, sem anúncio, um model card que afirma transcrição em streaming com atribuição de falantes, hotwords e dez idiomas, e nenhuma versão hospedada em lugar algum. Mesma proposta, modelos de negócio opostos e evidências, de ambos os lados, mais escassas do que qualquer um dos laboratórios gostaria que você notasse.

Esta página está escrita como o que se sabe até agora, porque nenhum dos modelos tem um número de precisão verificado de forma independente. Os números da Muse Voice Transcribe são alegações de lançamento da Meta, relatadas pelo fornecedor e não reproduzidas; o VibeVoice-ASR-Streaming-7B não publicou nenhum número de precisão de streaming em texto. A comparação abaixo, portanto, apoia-se no que é estrutural e conhecível — arquitetura, preço, licença, comportamento documentado — e rotula os poucos números de fornecedor onde eles aparecem.

Dois desafiadores do pipeline de lote, com um dia de diferença.

Os dois modelos atacam a mesma premissa: a de que a conversão de fala em texto é algo que você roda sobre uma gravação finalizada. O Muse Voice Transcribe é o primeiro produto que a Meta chama de “modelo de percepção de áudio em tempo real” — uma única passada de streaming que faz reconhecimento, diarização de falantes em mais de vinte vozes e detecção de fim de fala, a tarefa de decidir quando um falante terminou de fato em vez de apenas pausar. Ele chega em três superfícies ao mesmo tempo: a Meta Model API, a US$ 0,18 por hora de áudio; a Meta AI para Mac, em que manter a tecla Fn pressionada permite ditar em qualquer aplicativo; e a Muse Code. O VibeVoice-ASR-Streaming-7B da Microsoft é o integrante de streaming da família VibeVoice de código aberto, e sua trilha de lançamento é bem mais discreta: um repositório Hugging Face criado em 2 de setembro (os registros de horário mostram 15:46 UTC, com a última alteração três minutos depois), oito shards safetensors sob licença MIT e uma linha no log de novidades datada de 3 de setembro no repositório microsoft/VibeVoice no GitHub, que o descreve como “um modelo unificado de ASR em streaming que transcreve continuamente quem disse o quê à medida que a fala chega, com suporte a hotwords personalizadas e 10 idiomas”. Um dia após o upload, ele ainda exibia zero downloads.

A colisão de recursos

• Mecanismo de streaming — o Muse Voice Transcribe consome áudio em blocos de 80 milissegundos e confirma palavras conforme elas se estabilizam, enquanto o VibeVoice-ASR-Streaming-7B processa blocos de aproximadamente 2,9 segundos com cerca de 0,5 segundo de antecipação, emitindo texto uma vez por bloco resolvido.

• Atribuição de falantes — mais de 20 falantes em uma única passada, erro médio de diarização de 17,5% relatado pelo fornecedor vs. saída de streaming de quem disse o quê alegada no cartão do modelo, não verificado.

• Endpointing — integrado: o fluxo carrega um limite de enunciado concluído vs. não documentado como sinal de saída.

• Controles de contexto — viés de idioma, palavras-chave e contexto versus hotwords personalizadas via um prompt de contexto (--context_info).

{{1}}Idiomas{{/1}} — treinado em 70+, 25 extensivamente verificados no lançamento, alternância nativa de código vs. 10 declarados (en, zh, es, pt, de, ja, ko, fr, ru, it).

• Evidência — alegações do fornecedor no dia do lançamento: 3,1% de WER em resultados finais a 0,16 s após a fala, 3,6% em primeiros parciais, citando o leaderboard de streaming da Artificial Analysis vs. nenhum valor de WER de streaming ou latência publicado como texto.

• Custo e licença — US$ 0,18 por hora de áudio, hospedado, pesos fechados vs US$ 0 para os pesos (MIT), aproximadamente 18 GB de bf16, auto-hospedado.

Duas ideias muito diferentes de "streaming"

A palavra streaming abrange uma ampla faixa de cadências, e a lacuna entre esses dois é grande o suficiente para mudar o que você pode construir sobre cada um. A Muse Voice Transcribe faz streaming em granularidade de palavra. A arquitetura da Meta consome áudio em blocos de 80 milissegundos e usa o que chama de "atraso adaptativo" — uma política de atraso obtida por aprendizado por reforço que confirma cada palavra assim que o modelo está confiante, retendo mais contexto para as palavras sobre as quais tem menos certeza, em vez de aplicar um orçamento de latência fixo. O fornecedor afirma que as transcrições finais saem 0,16 segundo depois de o locutor parar, e os primeiros resultados parciais, 0,13 segundo após o início da fala. Essa cadência é projetada para loops interativos: legendagem ao vivo, ditado, um agente de voz que precisa responder a um enunciado concluído quase imediatamente.

VibeVoice-ASR-Streaming-7B transmite em um grão mais grosseiro. Sua configuração de pré-processador mostra áudio chegando a 24 kHz, comprimido 3.200× em tokens a cerca de 7,5 quadros por segundo, depois processado em blocos de 22 quadros com lookahead de 4 quadros — aproximadamente 2,9 segundos de áudio por bloco, cerca de meio segundo de lookahead, valores derivados da configuração em vez de latência medida. O texto é emitido conforme cada bloco é resolvido, com contexto de blocos anteriores preservado por meio do cache KV, de modo que uma sessão longa não recalcula do zero. Uma transcrição que cresce em incrementos de aproximadamente três segundos é adequada para anotações de reuniões e análise de chamadas; é um produto diferente da transmissão de palavras em subsegundo para conversas ao vivo. Nenhum dos laboratórios publicou uma medição de latência de ponta a ponta para o checkpoint de streaming, portanto trate o ritmo como o design e a sensação no mundo real como não testada.

Rótulos de falante e detecção de fim de fala: integrados em um, apenas prometidos no outro.

A atribuição de falantes é onde os produtos de streaming mais frequentemente exageram, e ambos fazem essa afirmação. A versão do Muse Voice Transcribe é concreta e estrutural: a diarização roda no mesmo fluxo de streaming que o reconhecimento, então uma gravação de uma chamada com vinte pessoas pode carregar rótulos por falante sem uma etapa separada de "enviar, esperar, receber os falantes de volta", e a Meta relata uma taxa média de erro de diarização de 17,5% — um número de fornecedor, não reproduzido, mas um número ligado a um mecanismo real. Ela também emite limites de virada de fala, o recurso mais discreto: um aplicativo recebe um sinal limpo de "a vez deste falante terminou" sem construir um detector de atividade de voz, e é por isso que agentes de voz construídos sobre ASR bruto tantas vezes cortam as pessoas no meio da fala.

VibeVoice-ASR-Streaming-7B afirma em sua ficha técnica suportar saída de streaming de "quem disse o quê", alinhada à saída estruturada de Quem/Quando/O quê do VibeVoice-ASR em lote — mas, para o checkpoint de streaming, a alegação não é verificada, nenhum teste independente a reproduziu, e não há sinal documentado de detecção de fim de fala ("endpointing") como o que a Muse oferece. Se sua carga de trabalho envolve áudio ao vivo genuinamente com vários falantes, a Muse está oferecendo hoje um mecanismo mais completo; se você está avaliando se um modelo de pesos abertos pode fazer o mesmo trabalho no hardware que você controla, a alegação do VibeVoice é exatamente o tipo de coisa a testar com suas próprias gravações de reuniões antes de acreditar nela.

A evidência: alegações do dia de lançamento contra um cartão em branco

Vale a pena ser preciso quanto ao que cada lado tem, porque nenhum dos dois tem o que um comprador realmente deseja. O Muse Voice Transcribe apresenta um conjunto denso de números divulgados pelo fornecedor — 3,1% de taxa de erro de palavras nas transcrições finais, 3,6% nas primeiras parciais, latência final de 0,16 segundo, 17,5% de erro médio de diarização — todos publicados pela Meta no dia do lançamento e apontando para o ranking de fala-para-texto em streaming da Artificial Analysis, onde a Meta afirma ocupar o primeiro lugar. Essas são alegações, não reproduzidas por ninguém fora do laboratório, mas são específicas o suficiente para serem falseadas, o que é uma espécie de progresso.

VibeVoice-ASR-Streaming-7B não tem nada disso. O card do modelo traz uma figura de avaliação como imagem e o relatório técnico de streaming é um PDF, mas não há nenhum valor de WER de streaming ou latência citável em prosa. A única âncora numérica na família VibeVoice é a tabela reportada pelo fornecedor no card do VibeVoice-ASR batch — 7,77% de WER médio em oito conjuntos de teste de inglês, 2,20% no LibriSpeech clean — que explicitamente não é o número deste checkpoint. Quando uma alegação de dia de lançamento encontra um card em branco, o critério de desempate honesto é tudo exceto o WER de destaque: preço, licença, cadência de streaming e os recursos que cada lado de fato documenta.

Idiomas: 25 verificados contra 10 declarados

A cobertura de idiomas diferencia os dois mais do que as alegações de precisão feitas nas manchetes. O Muse Voice Transcribe foi treinado em 70+ idiomas, mas a Meta valida 25 no lançamento — e a lista verificada, não a lista de treinamento, é a cobertura de produção, com a alternância de código nativa como diferencial: ele é projetado para alternar de idioma no meio da frase sem que haja uma instrução explícita. O VibeVoice-ASR-Streaming-7B declara 10 idiomas na sua ficha de modelo — inglês, chinês, espanhol, português, alemão, japonês, coreano, francês, russo, italiano — contra os 50+ do VibeVoice-ASR em lote. Se o seu tráfego inclui conversas com alternância de código, o Muse tem a proposta mais específica; se o seu tráfego estiver dentro desses dez idiomas, a cobertura do modelo da Microsoft é pelo menos explícita, o que é mais do que a maioria dos materiais de lançamento oferece.

Custo e o que você mantém

A diferença de modelo de negócios é a maneira mais clara de decidir. O Muse Voice Transcribe custa US$ 0,18 por hora de áudio, um preço de tabela inferior ao de todas as principais APIs de transcrição em streaming — sem GPU, sem operações, com pesos fechados, e o preço é definido pela Meta. Baixar o VibeVoice-ASR-Streaming-7B é gratuito; porém, para auto-hospedá-lo em uma GPU de 24 GB, são necessários cerca de 18 GB de pesos bf16, sem contar o cache KV. Os caminhos documentados para servir o modelo são os scripts de demonstração do microsoft/VibeVoice ou o plugin do vLLM, e nenhum provedor de inferência o hospeda ainda. A licença MIT é o ativo duradouro: os pesos são seus para manter e ajustar de uma forma que nenhuma assinatura de API permite. É também aí que o cenário de preços pode ficar interessante: quando um provedor hospedar o checkpoint aberto, os US$ 0,18 por hora deixam de ser o preço de tabela de um único fornecedor e passam a ser um preço de mercado — exatamente a situação em que um roteador pass-through se paga. O OrcaRouter não roteia fala-para-texto hoje, e nenhum desses dois modelos está em seu catálogo; o que ele faz é repassar com markup de 0% os preços de tabela dos provedores para os 200+ modelos de linguagem que consomem uma transcrição ao vivo, de modo que um corte de preço de um fornecedor em qualquer ponto dessa stack chega ao comprador no mesmo dia em que é anunciado.

Perguntas frequentes

O WER de 3,1% do Muse Voice Transcribe significa que ele é mais preciso do que o VibeVoice-ASR-Streaming-7B?

Não, e a comparação ainda não é significativa. Os 3,1% da Meta são uma alegação do dia do lançamento para o caminho de streaming, relatada pelo fornecedor e não reproduzida. O VibeVoice-ASR-Streaming-7B não publicou nenhum número de precisão de streaming em texto algum. Até que ambos os modelos sejam executados no mesmo harness público com o mesmo áudio, a única afirmação honesta é que a Muse tem uma alegação específica que pode ser testada e a VibeVoice ainda não tem uma.

Posso usar qualquer um dos modelos em áudio que já foi gravado?

Sim para ambos, com formatos diferentes. O Muse Voice Transcribe lida com gravações com mais de uma hora por meio da mesma API de streaming. O plugin vLLM do VibeVoice-ASR-Streaming-7B expõe um endpoint de transcrição de arquivo completo juntamente com seu endpoint de stream WebSocket. Mas ambos são projetados e precificados para o caso ao vivo — Muse pelo seu modelo de negócios exclusivamente de streaming, VibeVoice pela arquitetura em blocos que emite conforme o áudio chega — portanto, se a sua carga de trabalho for puramente de arquivos em lote, uma API dedicada de transcrição de arquivos geralmente será mais barata e terá melhor mensuração do que qualquer um dos dois.