Um cartão de título gerado com o texto Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, com o subtítulo de que um é um checkpoint de pesquisa de difusão com cinco downloads e o outro um MoE de produção com 962.098 downloads, com um rodapé afirmando que ambos os conjuntos de números são informados pelo fornecedor e que nenhum benchmark é compartilhado entre eles.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B: Dois lançamentos da NVIDIA que nunca competem entre si

Autor

Gideon Frost

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Coloque Nemotron-Labs-Sigma-distill-8B-nfe4 e Nemotron 3.5 Lightning 30B A3B na mesma frase e o instinto é perguntar qual é mais inteligente. Essa pergunta não tem resposta, e não porque os dados sejam escassos — mas porque os dois modelos não têm nenhum benchmark, comprimento de contexto, stack de serving ou processo de lançamento em comum. Nemotron-Labs-Sigma-distill-8B-nfe4 é um modelo de difusão contínua de 8B que a NVIDIA publicou em 12 de novembro de 2026 sem anúncio e que foi baixado cinco vezes. Nemotron 3.5 Lightning 30B A3B é um modelo de mistura de especialistas híbrido de Mamba-2 e atenção, com 30B no total e 3B ativos, lançado em agosto com um model card, um endpoint build.nvidia.com e 962.098 downloads no mês passado. A comparação útil não é um placar. É qual deles você realmente consegue colocar diante de um usuário, e para quê.

Os dois cartões descrevem produtos diferentes, não níveis diferentes

Leia as seções de casos de uso lado a lado e a diferença deixa de ser uma questão de capacidade. A ficha do Sigma-distill diz que ele se destina a "pesquisa de geração sensível à latência, estudos de decodificação especulativa e paralela e experimentação voltada à implantação", e afirma que o modelo "é executado offline no hardware do próprio usuário; a NVIDIA não hospeda nenhum serviço". A ficha do Lightning aponta para um endpoint compatível com OpenAI em integrate.api.nvidia.com, uma tag de contêiner vLLM, um par de amostragem recomendado de temperature 1.0 e top_p 0.95, uma alternância do modo de pensamento no template de chat e três checkpoints de rascunho de decodificação especulativa separados.

Um é um arquivo. O outro é um serviço com um arquivo por trás dele. Essa diferença determina quase todo o resto neste artigo:

• Parâmetros — 8B denso (9,03B no censo de safetensors quando a cabeça auxiliar de leitura é contada) vs 30B no total com 3B ativos por token.

• Arquitetura — decodificador no estilo Ministral com uma cabeça de difusão contínua de 16 dimensões vs camadas intercaladas de Mamba-2, MoE e atenção seletiva com cabeças de previsão de múltiplos tokens.

• Contexto — 4.096 tokens para prompt e saída combinados vs. até 1.000.000, com a ressalva de que uma única H100 só alcança cerca de 256.000 e o milhão completo exige oito H100s, uma GB200 ou uma B200.

• Idiomas — apenas inglês vs inglês mais linguagens de programação, espanhol, francês, alemão, italiano e japonês, com chinês no pós-treinamento.

• Formato do lançamento — apenas card e pesos, sem endpoint do fornecedor, sem anúncio versus um endpoint hospedado, uma build de referência BF16, uma build NVFP4 e três modelos de rascunho para decodificação especulativa.

• Downloads nos últimos trinta dias — cinco versus 962.098 apenas no repositório BF16, antes de contar 901.381 na versão NVFP4.

• Licença — NVIDIA Nemotron Open Model License para ambos, embora a ficha do Lightning a denomine OpenMDW-1.1.

Não há um benchmark compartilhado, portanto não há placar.

Este é o ponto que a maioria das páginas de comparação tentaria encobrir. A ficha do Sigma-distill reporta GSM8K, MATH (Minerva), HumanEval, HumanEval+, MBPP e MBPP+ em dez seeds com dois erros padrão, além de uma média de seis tarefas de 66,36. A ficha do Lightning reporta MMLU Pro, GPQA Diamond, HLE, SciCode, SWE-bench Verified, SWE-bench Multilingual, Terminal-Bench 2.1, PinchBench, BrowseComp, τ³-bench Banking, GDPval-AA-V2, IFBench, AA-LCR e AA-Omniscience. A interseção é o conjunto vazio. Nenhum benchmark aparece nas duas fichas.

Isso não é um acaso da reportagem. As duas avaliações testam coisas diferentes de propósito. As seis tarefas da Sigma são raciocínio de resposta curta e completamento de código em algumas centenas de tokens; as da Lightning são engenharia de software agêntica, recuperação de contexto longo e conhecimento profissional. Um modelo com janela de 4.096 tokens e sem template de chat não consegue participar do harness do SWE-bench, e um modelo treinado para completar o corpo de uma função não está sendo submetido a questões do GPQA.

Então, a única linha honesta a traçar é esta: nas suas próprias seis tarefas, o Sigma-distill nfe4 tem média de 66,36 em dez sementes, o que é um número real sob um protocolo real, e não diz nada sobre como se sairia em qualquer coisa em que o Lightning foi medido. Qualquer pessoa que lhe diga que um supera o outro não está comparando nada.

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

A velocidade é onde a comparação fica interessante — e onde permanece em aberto

Ambos os modelos são rápidos de formas difíceis de colocar em um único eixo, e este é o único ponto em que a comparação tem conteúdo real.

O Sigma-distill gera 32 tokens por bloco em exatamente 4 avaliações de denoising mais uma leitura. Cinco passagens diretas, 32 tokens: 6,4 tokens por passagem direta. Como o número de etapas é fixado pelo treinamento, essa proporção não muda com o comprimento do prompt nem com o comprimento da saída — é uma constante, e o código de inferência do card se recusa a permitir que você a substitua. O card do modelo pai informa 120–140 tokens por segundo em uma H100 com 32 etapas por bloco de 64 tokens; a variante destilada não publica nenhum número de tokens por segundo, então a aritmética de 6,4× menos passagens não é uma taxa de transferência medida.

A Lightning segue o outro caminho. É um MoE com 3B ativos, então cada forward pass é barato, e a NVIDIA disponibiliza o DSpark como o padrão recomendado de decodificação especulativa, com o DFlash e seus próprios heads de predição multi-token como alternativas. Os números de throughput dela também não estão na ficha técnica em tokens por segundo — mas seus downloads e sua receita de serving mostram que ela já foi executada em produção, o que não acontece com a Sigma.

A distinção que importa: o ganho de velocidade do Sigma é estrutural e constante por token, enquanto o do Lightning é especulativo e depende da carga de trabalho. Um contrato fixo de 5 chamadas por 32 tokens é previsível de uma forma que as taxas de aceitação de rascunho nunca são. Também é imensurável hoje, porque ninguém publicou um único número de throughput para o checkpoint nfe4.

Quanto cada um lhe custa para executar

Sigma-distill é 18,06 GB de pesos bfloat16 distribuídos em quatro shards, carregados por meio de código PyTorch eager do próprio repositório com trust_remote_code, em uma GPU CUDA, sem paged attention, sem continuous batching e sem build quantizada na coleção. Não há preço por token porque não há endpoint: o model card da NVIDIA informa que o modelo roda no seu hardware e que a NVIDIA não hospeda nenhum serviço.

Lightning tem o formato oposto. Os pesos BF16 têm 31,6B de parâmetros; a própria recomendação de produção da NVIDIA é usar a build NVFP4, e o card dela traz uma receita vLLM (tag do contêiner vllm/vllm-openai:v0.27.1) com backend FlashInfer Mamba, cache SSM em FP16 e cache de prefixo, além de uma imagem SGLang para Hopper e Blackwell. Não há preço de tabela no card nem em build.nvidia.com — o endpoint está sob os termos de avaliação da API da NVIDIA —, mas plataformas de terceiros listam o modelo a cerca de US$ 0,05 por milhão de tokens de entrada e US$ 0,20 por milhão de tokens de saída. Esse valor é uma observação de marketplace, não um preço do fornecedor.

Nenhum dos modelos está no catálogo do OrcaRouter, e seria desonesto sugerir o contrário. O que está disponível no OrcaRouter é o conjunto de comparação em torno deles: mais de 200 modelos por trás de uma única chave, preço de tabela do provedor repassado sem margem adicional, de modo que um corte de preço na origem aparece no mesmo dia, e não na revisão trimestral da tabela de preços. Se o motivo de você estar lendo isto é precisar escolher uma linha de base para testar o Sigma, é daí que vem a linha de base.

Escolha por envelope, não por pontuação

Quatro perguntas resolvem isso em menos de um minuto, e nenhuma delas envolve precisão de benchmark:

• A tarefa cabe em 4.096 tokens? Se não, o Sigma-distill está fora e a questão está encerrada. A janela de um milhão de tokens do Lightning — 256K em uma única H100 — é três ordens de magnitude maior.

• A tarefa precisa de conversa, ferramentas ou saída estruturada? O Sigma-distill não tem nada disso: sem template de chat, sem prompt de sistema, sem modo JSON, com stop strings e um orçamento de tokens como os únicos mecanismos de parada. O Lightning vem com um template de chat com uma alternância de raciocínio.

• Você precisa atender mais de uma requisição por vez? O Sigma não possui uma stack de serving — o caminho suportado é um script Python em uma única GPU. O Lightning tem duas integrações de engine e uma receita de paralelismo publicada.

• Se o seu interesse está no mecanismo de decodificação em si — difusão em blocos, destilação em poucos passos, autoespeculação? Então o Sigma-distill é o único dos dois que é interessante, e o Lightning é totalmente a comparação errada.

Tudo o mais decorre desses quatro. Uma equipe avaliando o Sigma para um produto está, na verdade, perguntando se um checkpoint de pesquisa pode ser transformado em um serviço; uma equipe avaliando o Lightning está perguntando se um MoE híbrido com 3B ativos cabe em um orçamento. Essas são conversas diferentes.

Onde o confronto se tornaria real

Duas coisas transformariam esta página em um verdadeiro confronto direto, e nenhuma delas existe ainda.

O primeiro é um benchmark compartilhado. Se a Sigma algum dia tiver um número de MMLU Pro ou GPQA, ou a Lightning algum dia tiver um número de GSM8K ou HumanEval em um formato de prompt comparável, haverá algo a comparar. Até lá, a posição honesta é a acima: dois conjuntos de avaliação disjuntos relatados pelo mesmo fornecedor, em modelos que não podem ser submetidos aos testes um do outro.

O segundo é um caminho de serving. O Sigma-distill atualmente é um repositório que você clona e um script que você executa; os pull requests do SGLang que mencionam a difusão Nemotron têm como alvo a linhagem mais antiga Nemotron-Labs-Diffusion-8B e ainda estavam abertos em 17 de novembro, e o registro do vLLM não tem nenhuma arquitetura nemotron_labs_sigma. No momento em que um modelo de difusão em blocos com contagem fixa de etapas receber atenção paginada e batching, sua vantagem de 6,4 tokens por passagem se torna um número que você pode colocar ao lado de uma taxa de aceitação de decodificação especulativa — e essa comparação valeria a pena publicar.

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

Até então, a leitura prática é que a NVIDIA lançou dois modelos para dois públicos no mesmo outono, e apenas um deles era um produto. Lightning é o que você pode chamar hoje, com o comportamento de cache, a janela de contexto e o suporte de engine que um serviço pressupõe. Sigma-distill é o que você baixa se se importa em saber se a difusão contínua em 8B consegue manter 66.36 em seis tarefas com cinco passagens forward por 32 tokens — uma questão sobre decodificação, não sobre capacidade, e que nenhuma quantidade de comparação com um MoE de 30B responderá.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.