Hy-SimulMT vs NLLB-200: Um intérprete de streaming não é um tradutor de 200 idiomas

Os dois nomes de benchmark diferem em uma letra, e essa letra é o artigo inteiro. Hy-SimulMT, o intérprete chinês↔inglês em tempo real do Tencent Hunyuan, lançado em 26 de outubro de 2026, divulga uma pontuação de 90,3 em algo chamado FLEURS. NLLB-200, o tradutor de texto para 200 idiomas da Meta AI, de julho de 2022, é avaliado em algo chamado FLORES-200. Eles são relacionados — o FLEURS é construído a partir de frases do FLORES lidas em voz alta —, mas não são o mesmo teste, não são pontuados da mesma forma, e ninguém nunca colocou esses dois modelos um contra o outro. Pesquisar por esse confronto retorna a cobertura de lançamento de um modelo e a documentação do outro, sem nada no meio. Essa ausência é o ponto de partida honesto: eles não são concorrentes, e a pergunta útil é para qual trabalho cada um realmente serve.

Uma letra, dois benchmarks

O FLORES-200 é um benchmark de texto. A Meta o criou como parte do projeto No Language Left Behind: frases traduzidas profissionalmente em 200 idiomas, usadas para medir quão bem um sistema de tradução transpõe texto escrito de um idioma para outro. A métrica principal é o spBLEU, uma variante do BLEU calculada sobre um tokenizador fixo e equilibrado por idioma, para que as pontuações sejam comparáveis entre idiomas que usam diferentes sistemas de escrita. O artigo do NLLB também relata o chrF++ e uma avaliação humana chamada XSTS.

FLEURS é o equivalente falado. Ele pega conjuntos de frases FLORES, faz falantes nativos lê-las em voz alta e avalia a tradução de fala — áudio na entrada, texto na saída. Abrange 102 idiomas em vez de 200. Quando a Tencent reporta 90,3 no FLEURS para o Hy-SimulMT, esse número inclui todo o pipeline: ouvir o áudio, reconhecer as palavras e traduzi-las. Quando a Meta reporta spBLEU no FLORES-200 para o NLLB-200, o texto já está correto e tokenizado, e a única coisa que está sendo medida é a etapa de tradução.

Coloque esses dois números lado a lado e você não terá comparado dois modelos. Você terá comparado um sistema de fala ponta a ponta com um tradutor de texto usando dados diferentes, métricas diferentes e idiomas diferentes. É esse o erro que a semelhança de uma letra convida a cometer, e vale nomeá-lo antes de qualquer outra comparação neste texto.

O que o NLLB-200 realmente é, quatro anos após o lançamento

O NLLB-200 foi lançado em julho de 2022 e não foi revisado desde então. Os checkpoints que você baixa hoje são os checkpoints de 2022. Isso não é uma crítica — é uma afirmação sobre que tipo de artefato isto é: um lançamento de pesquisa que definiu um benchmark e um conjunto de dados, e então parou.

A família abrange cinco tamanhos, e a variedade é o ponto:

• NLLB-200-distilled-600M — o menor checkpoint utilizável, pequeno o suficiente para uma GPU de classe laptop.

• NLLB-200-distilled-1.3B e NLLB-200-1.3B — o par de médio porte, um destilado para velocidade e outro treinado diretamente.

• NLLB-200-3.3B — o cavalo de batalha denso, o tamanho que a maioria das pessoas realmente implanta.

• NLLB-200-54.5B — o modelo esparso principal: 128 especialistas com gating top-2, uma camada de mistura de especialistas a cada quarto bloco transformer e computação por token aproximadamente comparável à do modelo denso de 3,3B. É o maior modelo de tradução aberto de sua geração e ainda o motivo pelo qual a família é citada.

O conjunto de treinamento tinha aproximadamente 18 bilhões de pares de frases paralelas, e a principal alegação do artigo era uma melhoria de BLEU de 44% em relação ao estado da arte anterior, medida em mais de 40.000 direções de tradução. A arquitetura é um transformer codificador-decodificador criado para tradução de frases únicas. Não há modo de streaming, nem entrada de áudio, nem noção de saída parcial — ele recebe uma frase e retorna uma frase.

A licença é CC-BY-NC 4.0, e o cartão do modelo é direto sobre a intenção: não foi lançado para implantação em produção, nem se destina a tradução específica de domínio, de documentos longos, de entradas longas ou certificada. O código em torno dos pesos é MIT, mas os pesos não são, que é a confusão que acompanha este lançamento há quatro anos.

O que o Hy-SimulMT realmente é, a partir desta semana

Hy-SimulMT tem o formato oposto de artefato em quase todas as dimensões. É um modelo de fala: o áudio entra a 16 kHz em janelas de 30 segundos, e o modelo emite texto traduzido enquanto o falante ainda está falando. A arquitetura é uma mistura esparsa de especialistas com 30,4 bilhões de parâmetros, com cerca de 3 bilhões de parâmetros ativos por token, envolvida em torno de um codificador de áudio de 24 camadas. O par de idiomas documentado é chinês e inglês, em ambas as direções.

A sua afirmação central é a latência, não a cobertura. A Tencent relata um StreamLAAL de cerca de três segundos em áudio RealSI de formato longo, descrevendo-o como o mais baixo entre os sistemas com que comparou. Esse é um tipo de afirmação diferente de qualquer coisa no artigo da NLLB, que não tem nenhuma medição de latência porque não há nada a medir: um tradutor de texto em lote não tem atraso em relação ao falante.

O lançamento é Apache-2.0 e sem restrições de acesso, com seis checkpoints cobrindo dois formatos de saída — somente tradução e texto de origem mais tradução — cada um em precisão total, FP8 e GGUF. A versão de precisão total tem cerca de 61 GB, e a versão GGUF Q4_K_M tem 19,7 GB. A saída de fala e a clonagem de voz exigem um serviço TTS separado; o modelo em si produz texto.

E, assim como o NLLB-200, ele não tem API hospedada nem preço publicado. O produto da Tencent voltado ao consumidor é o aplicativo Hy Translate, que tem um plano gratuito. Todo o resto significa executar os pesos.

Por que as pontuações não podem compartilhar uma coluna

A tentação é comparar as quatro pontuações do Hy-SimulMT com qualquer número do NLLB-200 que esteja mais à mão. Resista a isso, e não apenas por causa da distinção FLEURS/FLORES. Aos dois modelos estão sendo feitas perguntas diferentes.

• Modalidade de entrada — O Hy-SimulMT recebe áudio, portanto sua pontuação inclui erro de reconhecimento. O NLLB-200 recebe texto com o erro de reconhecimento já removido. Um modelo de fala e um modelo de texto nas mesmas frases não partem da mesma linha de largada.

• Métrica — O Hy-SimulMT relata pontuações da família BLEU em conjuntos de tradução de fala; o NLLB-200 relata spBLEU, chrF++ e XSTS no FLORES-200. O tokenizador do spBLEU existe especificamente para tornar a comparação entre idiomas justa, o que significa que ele não é intercambiável com um número BLEU simples mesmo quando ambos são chamados de BLEU.

• Unidade de trabalho — A NLLB-200 é avaliada frase por frase em texto alinhado. A Hy-SimulMT é avaliada em áudio de streaming, onde a falha interessante não é uma palavra mal traduzida, mas uma frase que chega tarde demais para ser útil.

• Contagem de direções — As mais de 40.000 direções do NLLB-200 são calculadas em média para compor seu resultado principal; os quatro benchmarks do Hy-SimulMT abrangem apenas chinês↔inglês. Uma média ao longo da cauda longa e uma pontuação em um único par de altos recursos descrevem tipos diferentes de conquista.

Dentro da sua própria tabela, o Hy-SimulMT também não está uniformemente à frente. Ele marca 75,5 no CoVoST2 contra 82,1 do Qwen3.8-LiveTranslate, e fica atrás do Gemini3.5-LiveTranslate no FLEURS (90,3 versus 92,4) e no ACL6060 (81,2 versus 82,6). Sua vitória mais clara é no RealSI-Sentence, com 84,7. Todos esses números foram executados pelo fornecedor, no ambiente de avaliação escolhido pela Tencent, e não foram reproduzidos de forma independente. O model card também não diz qual das suas duas variantes de saída os produziu.

A latência é medida em uma unidade que o NLLB não possui.

Esta é a parte que decide as implantações e não tem nada a ver com as pontuações de benchmark.

Um intérprete simultâneo tem de fazer uma troca que um tradutor em lote nunca enfrenta: esperar mais e traduzir melhor, ou falar mais cedo e correr o risco de errar. O StreamLAAL mede essa troca — aproximadamente, o quanto a saída fica atrás da entrada, em média. Os três segundos do Hy-SimulMT são uma afirmação sobre essa troca. Isso explicitamente não é o mesmo que tempo até a primeira saída de fala, e a Tencent diz isso no cartão do modelo. Quando você adiciona um serviço TTS externo, a experiência do ouvinte também inclui a latência desse serviço, o que o número de três segundos não inclui.

O NLLB-200 não tem um número equivalente porque não tem um caminho de streaming. Você pode adaptar um: dividir o áudio em blocos, executar reconhecimento de fala, alimentar fragmentos de frases ao NLLB e emitir traduções à medida que ficam prontas. Essa arquitetura funciona, e equipes já a construíram. Mas a divisão em blocos destrói o contexto no qual um tradutor em nível de frase se baseia, e a qualidade resultante não é a qualidade medida no FLORES-200 com frases completas e bem formadas. A lacuna entre "o NLLB-200 obtém X no FLORES" e "o NLLB-200 dentro de um pipeline ao vivo dividido em blocos soa como Y" é onde a maior parte do esforço de engenharia realmente vai.

Esta é a verdadeira assimetria. O Hy-SimulMT foi concebido para o caso de streaming e paga por isso com cobertura linguística e uma pegada da classe 30B. O NLLB-200 foi concebido para a amplitude e paga por isso com uma interface apenas em lote. Nenhum fica atrás. Estão otimizados para restrições diferentes.

Cobertura em relação à profundidade

A vantagem duradoura do NLLB-200 é a cauda longa. Duzentas línguas, incluindo as de baixos recursos que a maioria dos modelos de 2026 não trata de forma alguma, em uma família que escala de um checkpoint de 600M para uma mistura de especialistas de 54,5B. Se o seu problema é um documento em uma língua com alguns milhões de falantes e nenhuma API comercial o cobre, o NLLB-200 continua sendo uma das poucas opções abertas, e o checkpoint denso de 3,3B roda em uma única GPU modesta.

Hy-SimulMT não consegue fazer esse trabalho de jeito nenhum. Ele documenta chinês e inglês. Seus metadados do Hugging Face trazem uma tag de 36 idiomas, mas nenhuma lista dos outros 34 é publicada, e todos os exemplos no repositório usam en-zh ou zh-en. Planejar um lançamento multilíngue com base nessa tag seria um erro.

A aritmética de hardware funciona ao contrário. O modelo denso de 3,3B do NLLB-200 ocupa alguns gigabytes em FP16 e cabe tranquilamente em uma placa de 16–24 GB. Seu modelo principal de 54,5B tem cerca de 108 GB em FP16 — uma proposta para múltiplas GPUs. O Hy-SimulMT tem aproximadamente 61 GB em BF16 e precisa de um acelerador de 80 GB para ser servido como fornecido, ou 19,7 GB em Q4_K_M por um caminho GGUF cujo suporte no llama.cpp ainda não está no upstream. Portanto, o NLLB-200 é mais barato na ponta pequena e comparável no topo; o custo do Hy-SimulMT concentra-se no meio, e ele traz streaming em troca.

As licenças apontam em direções opostas.

Isto não é a espinha dorsal da comparação — a modalidade é —, mas é a forma mais rápida de desqualificar um deles para um produto comercial.

Os pesos do NLLB-200 são CC-BY-NC 4.0. Não comercial. O código ao redor é MIT, que é de onde vem a confusão, mas os pesos são o que você estaria disponibilizando, e a ficha da Meta diz claramente que os modelos não são lançados para implantação em produção. Uma implantação comercial precisa de um modelo diferente ou de um acordo de licenciamento.

Hy-SimulMT é Apache-2.0, sem restrições, com uso comercial, modificação e redistribuição permitidos. A Tencent disponibiliza um kit de ferramentas de treinamento junto com o servidor de inferência, então o treinamento continuado é um uso previsto. Se a escolha for entre os dois apenas com base no licenciamento, não há comparação.

Onde eles pertencem na mesma stack

O motivo pelo qual esta comparação continua a ser pesquisada é que as equipas deparam-se com ambos os problemas no mesmo produto. Uma empresa com operações em chinês e inglês precisa de um intérprete em tempo real para reuniões e de um pipeline de texto para o fluxo documental em 200 línguas que chega por e-mail, contrato e pedido de suporte. São duas tarefas diferentes, e a arquitetura honesta usa dois modelos diferentes.

NLLB-200, ou um sucessor moderno, cuida do caminho de texto offline: tradução em lote, identificação de idioma, triagem de corpus, a cauda longa. O Hy-SimulMT cuida do caminho de fala ao vivo chinês↔inglês, onde a latência domina e a cobertura não importa, porque há apenas dois idiomas na sala. A fronteira entre eles é uma decisão de roteamento, e vale a pena declará-la explicitamente em vez de deixar que um aplicativo a infira a partir do tipo de arquivo.

Nenhum dos dois modelos está no catálogo do OrcaRouter, então não somos uma rota para nenhum deles. O que um roteador oferece é a camada de integração ao redor deles: uma API na frente de mais de 200 modelos hospedados com 0% de markup, preço de tabela do provedor repassado sem nada acrescentado, e uma DSL de roteamento que decide qual caminho uma requisição segue. Essa última parte é corriqueira e útil — requisições de texto passam para um modelo geral hospedado, requisições de fala vão para seu interpretador auto-hospedado, e a aplicação não precisa saber qual é qual. O failover automático cobre o caso em que a parte hospedada está indisponível e a requisição ainda precisa retornar algo.

Como o trecho hospedado é precificado pela tabela do provedor sem nenhum acréscimo, um corte de preço do fornecedor no lado de texto passa a valer do nosso lado no mesmo dia. Isso é pouca coisa até você estar roteando tráfego de documentos em volume e a alternativa for renegociar um contrato sempre que um provedor mudar sua tabela de preços.

O que perguntar antes de qualquer um dos dois

A questão não é qual modelo é melhor. São duas questões, e elas têm respostas diferentes.

Se a entrada for áudio que ainda está chegando, e os idiomas forem chinês e inglês, a resposta é Hy-SimulMT — e a questão de implantação passa a ser qual dos seus seis checkpoints, o que é uma decisão sobre formato e precisão da saída, e não sobre qualidade. Se a entrada for texto em um idioma que você ainda não identificou, em um conjunto que inclui idiomas com poucos recursos, o NLLB-200 continua sendo uma linha de base aberta legítima quatro anos depois, desde que a licença não comercial seja adequada e você aceite uma interface em lote.

O que ninguém publicou é a ponte: reconhecimento de fala alimentando o NLLB-200 em áudio chinês↔inglês, avaliado no mesmo benchmark de streaming que o Hy-SimulMT, com latência e qualidade relatadas em conjunto. Esse experimento diria se um tradutor de texto de 2022 envolto em uma estrutura de streaming de 2026 pode competir com um intérprete feito sob medida. Também seria a primeira comparação honesta desses dois modelos, e ela ainda não existe.

Uma última coisa que vale dizer claramente, porque a semelhança de uma letra entre os benchmarks continuará gerando comparações ruins: um modelo que vence no FLEURS demonstrou algo sobre tradução de fala sob um arcabouço específico. Um modelo que pontua bem no FLORES-200 demonstrou algo sobre tradução de texto em 200 idiomas. Nenhum dos resultados se transfere para a tarefa do outro, e o fornecedor que publicar ambos sobre o mesmo áudio, com a mesma métrica e a mesma contabilização de latência, será o primeiro a fazer essa comparação significar algo.