Vazamento do GDN-2-3B: um híbrido Nemotron-3 Nano com Gated DeltaNet-2 no lugar do Mamba-2

Uma única frase publicada no X em 26 de setembro de 2026 é todo o registro público de GDN-2-3B até agora. A conta @teortaxesTex escreveu que "um candidato a lançamento de curto prazo é o MoE latente híbrido GDN-2-3B, que segue a arquitetura Nemotron-3 Nano, mas substitui as camadas Mamba-2 por GDN-2." É isso — nenhum repositório no Hugging Face, nenhum arquivo de configuração, nenhuma tabela de parâmetros, nenhum criador nomeado, nenhuma data. O GDN-2-3B não foi lançado, e nada abaixo deve ser lido como se tivesse sido. O que torna a frase digna de análise, de qualquer forma, é que ambas as metades dela nomeiam algo real e verificável: Gated DeltaNet-2 é uma arquitetura de atenção linear publicada pela NVIDIA, com uma implementação pública em PyTorch e uma movimentada trilha de portabilidade por ferramentas de TPU, Triton e ONNX, e Nemotron-3 Nano é o híbrido Mamba-2 de pesos abertos já lançado pela NVIDIA no qual o modelo rumorado está sendo enxertado. Este é um texto do tipo "o que sabemos até agora": a arquitetura está documentada, o modelo é um rumor, e a diferença entre essas duas coisas é a história inteira.

A versão curta: o Gated DeltaNet-2 muda como um modelo de atenção linear edita sua memória comprimida, e seus ganhos medidos recaem com mais força exatamente sobre o trabalho de recuperação de contexto longo para o qual um híbrido pequeno é comprado. O Nemotron-3 Nano é o menor nível na atual família híbrida da NVIDIA e o mais provável de ser recortado com uma recorrência mais barata. Junte tudo isso e você tem um candidato a lançamento plausível — e precisamente uma pessoa dizendo isso.

O que o tweet diz e não diz

Leia a frase com atenção, porque ela é incomumente densa e incomumente rasa ao mesmo tempo. Ela diz que o candidato é híbrido (ou seja, mais de um tipo de camada), 3B (uma contagem de parâmetros pequena o suficiente para rodar em uma única GPU de consumidor) e um MoE latente (um design de roteamento de especialistas da NVIDIA no qual os tokens são projetados em uma dimensão latente menor antes de chegarem aos especialistas, que é o que os níveis Super 120B e Ultra 550B usam e o que o nível Nano entregue não usa). Ela diz que o padrão de camadas segue o Nemotron-3 Nano. E diz que as camadas Mamba-2 são substituídas por GDN-2.

O que ele não diz: quem está construindo isso. “Um candidato a lançamento de curto prazo” não tem sujeito. É tentador enxergar a NVIDIA nisso — o GDN-2 é pesquisa da NVIDIA e o Nemotron-3 Nano é um modelo da NVIDIA, então o pareamento parece um experimento interno —, mas o tweet não diz isso, e um terceiro pode legalmente combinar os dois hoje, porque os pesos do Nemotron-3 Nano são abertos e o código de referência do Gated DeltaNet-2 é público. Trate o construtor como desconhecido.

Também não diz quando. “Near-term” é o único sinal temporal, e não é uma data. Não há checkpoint para baixar, nenhum motor de inferência que afirme servi-lo, e nenhum benchmark do próprio modelo em lugar algum. Todos os números deste artigo pertencem ao Gated DeltaNet-2 ou ao Nemotron-3 Nano, conforme publicados separadamente. Nenhum deles pertence ao GDN-2-3B.

As duas metades do nome, e por que elas se encaixam

Gated DeltaNet-2 em um minuto

A atenção linear substitui o cache KV ilimitado da atenção softmax por um estado recorrente de tamanho fixo. A parte difícil não é decidir o que esquecer — é editar esse estado sem embaralhar as associações que já estão armazenadas nele. Modelos de regra delta subtraem a leitura atual antes de escrever um novo valor; o Kimi Delta Attention aprimorou o esquecimento com decaimento por canal. Ambos, porém, ainda derivam duas decisões diferentes de um único gate escalar: quanto conteúdo antigo apagar no lado da chave e quanto conteúdo novo gravar no lado do valor.

O Gated DeltaNet-2, publicado pelos pesquisadores da NVIDIA Ali Hatamizadeh, Yejin Choi e Jan Kautz (arXiv 2605.22791, código de referência no repositório NVlabs), divide esse escalar em dois portões por canal — um portão de apagamento sobre as coordenadas do lado da chave e um portão de escrita sobre as coordenadas do lado do valor — e mantém o decaimento por canal. A formulação do artigo é que o design generaliza estritamente o que veio antes: colapse ambos os portões no mesmo escalar e você recupera o Kimi Delta Attention; colapse também o decaimento e você recupera o Gated DeltaNet anterior. Nos testes de ablação, a NVIDIA relata que o portão de apagamento responde pela maior parte do ganho, o que condiz com seu papel de proteger as associações do lado da chave de serem sobrescritas.

As evidências vêm de um estudo com parâmetros equiparados, não de um produto: todo modelo foi treinado com 1,3B de parâmetros em 100B tokens do FineWeb-Edu, com o tamanho do estado recorrente mantido igual entre Mamba-2, Gated DeltaNet, KDA e Mamba-3. No cenário recorrente, o Gated DeltaNet-2 registra a melhor perplexidade no WikiText do grupo, com 15,90, contra 16,79 do Mamba-2, e a melhor acurácia média em senso comum, com 53,11, contra 52,39 do Mamba-3. No cenário híbrido — aquele que de fato se assemelha ao padrão intercalado do Nemotron-3 Nano — é 15,62 de perplexidade no WikiText e 53,97 de acurácia média, à frente do Mamba-3 (15,81 / 52,72) e bem à frente de uma linha de base Transformer simples (19,22 / 50,86).

Onde a vantagem se concentra é a parte que importa para um modelo pequeno de contexto longo. No teste recorrente de agulha no palheiro com múltiplas chaves do RULER em 4K, o Gated DeltaNet-2 marca 37,8 contra 27,8 do Gated DeltaNet mais antigo e 28,0 do KDA; no teste de agulha única em 2K, marca 89,8 contra 54,2. Em média nos seis conjuntos reais de recuperação (SWDE, SQuAD, FDA, TriviaQA, NQ, DROP), ele lidera a fronteira recorrente com 29,88 contra 26,84 do Mamba-2, e a fronteira híbrida com 42,28 contra 40,14 do KDA. A NVIDIA também relata escalonamento de throughput quase plano com o comprimento da sequência em uma única H100, com apenas um pequeno overhead constante em relação ao KDA para os gates extras. Esses são números do fornecedor, das próprias tabelas do artigo, não reproduzidos por nós.

O plano do Nemotron-3 Nano

Nemotron-3 Nano é um Mixture-of-Experts híbrido Mamba-Transformer, e é a arquitetura que está sendo emprestada, não o modelo. O lançamento 30B-A3B tem 52 camadas: 23 camadas Mamba-2, 23 camadas MoE e seis camadas de atenção com consultas agrupadas, com 128 especialistas roteados mais um especialista compartilhado por bloco MoE e seis especialistas ativos por token. Ele possui 3,5 bilhões de parâmetros ativos contra 30 bilhões no total, foi pré-treinado com 25 trilhões de tokens e suporta janelas de contexto de até 1M tokens; o próprio relatório técnico da NVIDIA afirma até 3,3x mais throughput de inferência do que modelos abertos de tamanho semelhante, como GPT-OSS-20B e Qwen3-30B-A3B-Thinking-2507. Ele é lançado sob a NVIDIA Nemotron Open Model License e é explicitamente liberado para uso comercial.

Há um irmão menor que vale a pena conhecer, porque o "3B" no nome especulado fica próximo dele: o Nemotron-3 Nano 4B, comprimido a partir do NVIDIA-Nemotron-Nano-9B-v2 usando o framework Elastic da NVIDIA, é "principalmente camadas Mamba-2 e MLP combinadas com apenas quatro camadas de atenção". Então o nível Nano já é a parte da família que é comprimida e recortada. Essa é a razão mais plausível para que uma variante experimental de 3B sequer exista.

Vale a pena sinalizar duas discrepâncias em vez de amenizá-las. Primeiro, na família comercializada, são os tiers grandes — Nemotron-3 Super 120B-A12B e Nemotron-3 Ultra 550B-A55B — que usam MoE latente; o tier Nano não usa. Um "MoE latente em formato Nano" não é, portanto, uma portabilidade direta de uma configuração existente da NVIDIA, mas uma recombinação das ideias de dois tiers, que é exatamente o tipo de coisa que aparece em checkpoints de pesquisa antes de aparecer em um produto. Segundo, os blocos MoE da família Nano são roteados por especialistas densos; passar para roteamento latente altera o perfil de FLOP de cada camada de especialistas, então um rótulo 3B diria muito pouco sobre quanto custa de fato servir o modelo até que um arquivo de configuração apareça.

A trilha de portação é real — o modelo não é.

O que se pode verificar é que o Gated DeltaNet-2 está sendo integrado a runtimes de produção em ritmo acelerado. Em 23 de setembro de 2026, um pull request para o repositório Tokamax do OpenXLA adicionou um kernel Pallas e operador Gated Delta Net 2 para TPU, incluindo uma passagem backward do autograd em seis entradas e números de benchmark no Cloud TPU v7x. O Flash Linear Attention mantém kernels de prefill GDN-2 fundidos desde o final de junho — o pull request de lá relata um ganho de velocidade médio de 2,48x no prefill e um melhor caso de 5,13x em uma H100 — com atualizações subsequentes em setembro corrigindo um bug de ordenação de gates e otimizando o caminho de treinamento por chunks. O ONNX tem uma lacuna de especificação em aberto registrada contra ele, porque o operador LinearAttention do opset 27 não consegue expressar o gate de apagamento por canal do GDN-2. E o Megatron-Bridge da própria NVIDIA adicionou contabilização de FLOPs tanto para camadas híbridas GDN quanto para compressão latent-MoE em março.

Nada disso é um lançamento de modelo, e seria um erro lê-lo como tal. O trabalho de kernel é infraestrutura; ele indica que uma arquitetura está sendo levada a sério, não que exista um checkpoint. O que isso lhe dá é algo concreto para monitorar: se um híbrido GDN-2 chegar ao mundo, ele chegará primeiro como suporte sendo integrado a um engine de serving e só depois como anúncio, e o suporte no engine já está parcialmente implementado. O trabalho do Tokamax e do Flash Linear Attention também é o argumento mais forte de que o pareamento no tweet é tecnicamente coerente e não inventado — as peças necessárias para servir um híbrido GDN-2 estão sendo construídas por pessoas que não são a pessoa que escreveu o tweet.

Por que um híbrido GDN-2 de 3B importaria se for lançado

A justificativa para a combinação é econômica, e não orientada por benchmarks. Um híbrido da classe 3B com um estado recorrente de tamanho fixo é um modelo que você pode executar em uma única GPU de consumidor sem um cache KV que cresce com o seu prompt, que é a mesma troca que o Nemotron-3 Nano 4B já faz. Trocar as camadas Mamba-2 por GDN-2 proporciona, segundo os números do artigo, melhor recuperação de múltiplas chaves e melhores médias de recuperação no mundo real com tamanho de estado equivalente — os dois pontos em que a família mais antiga de regra delta era mais fraca. Essa é uma atualização direcionada, não geracional, e é o tipo de mudança que valeria 3B de parâmetros.

Também é um lembrete de que a competição interessante em modelos pequenos passou da contagem de parâmetros para o design de memória. Um modelo de 3B cujo estado recorrente é um tensor fixo se comporta de maneira diferente sob prompts longos do que um transformer de 3B com um cache KV quantizado: a memória é plana, mas o modelo tem um orçamento fixo para o que consegue lembrar, e quão graciosamente ele esquece agora é a especificação. Toda a contribuição do Gated DeltaNet-2 é uma regra de esquecimento melhor. Isso o torna um design que vale a pena acompanhar por seus próprios méritos, mesmo que o GDN-2-3B nunca apareça com esse nome.

Como você realmente testaria algo assim

Quando uma arquitetura não comprovada chega a um runtime de serving, o bloqueio para a maioria das equipes não é a tabela de benchmarks — é que adotá-la significa uma nova integração, um novo contrato e um novo modo de falha, tudo contra um modelo sem histórico em produção. Isso é um problema de roteamento antes de ser um problema de modelo. Um agregador que coloca um novo endpoint atrás da mesma chave que você já usa significa que você pode enviar uma fração do tráfego real para ele, manter seu modelo existente como fallback e deixar o failover automático capturar os erros enquanto a nova rota ainda está instável — uma única API para 200+ modelos pelo preço de tabela do provedor com 0% de markup, então o preço que lhe foi cotado é o preço que você paga e um corte de preço do fornecedor aparece no mesmo dia, em vez de na próxima fatura. O próprio GDN-2-3B não está hospedado em lugar nenhum, nem por nós nem por ninguém; é isso que "não lançado" significa. O ponto é o padrão que você usaria no dia em que isso acontecer.

Se você quer ver quais modelos híbridos e de contexto longo podem ser roteados hoje, o catálogo de modelos ao vivo é a lista honesta — ele indica o que realmente pode ser servido, e não o que foi anunciado.

O que observar, e o que refutaria isto

O vazamento se resolve de uma de três maneiras, e cada uma tem um indício:

• Um arquivo de configuração — a confirmação mais forte possível seria uma configuração no estilo Nemotron-H listando tipos de camada GDN-2 em um padrão de substituição híbrido. Até que exista um config.json como esse, tudo é inferência a partir de uma frase.

• Suporte do mecanismo para um checkpoint específico — os kernels GDN-2 já existem; o que não existe é qualquer mecanismo que alegue atender um híbrido GDN-2 nomeado. O fechamento dessa lacuna é o sinal real.

• Mudança de licença — esta é fácil de passar despercebida. O código de referência do Gated DeltaNet-2 é disponibilizado ao abrigo da NVIDIA Source Code License-NC, que é não comercial, enquanto os pesos do modelo Nemotron são distribuídos ao abrigo da NVIDIA Nemotron Open Model License, que não o é. Um modelo híbrido que combinasse os dois teria de resolver essa tensão, e a forma como a resolve diz-lhe se o resultado é um artefacto de investigação ou algo que poderia implementar.

Duas coisas falseariam o enquadramento aqui. Se o "3B" no nome acabar significando algo diferente de parâmetros totais — parâmetros ativos, ou uma contagem de camadas, ou simplesmente um codinome — a economia muda por completo. E se a expressão "latent MoE" acabar descrevendo um bloco MoE comum, então esta é uma ideia muito menor do que parece: um recorte do Nano com uma camada linear diferente, não um novo formato.

Perguntas que isso levanta

Como o Gated DeltaNet-2 é diferente do Gated DeltaNet que já está dentro do Qwen3.8?

O Gated DeltaNet anterior usa um único gate escalar tanto para apagar quanto para escrever; o Gated DeltaNet-2 o divide em dois gates por canal e adiciona decaimento por canal emprestado do Kimi Delta Attention. Portanto, é uma generalização estrita, e não uma substituição, e a diferença prática aparece na recuperação, não na perplexidade — a lacuna na tarefa de agulha no palheiro com múltiplas chaves é muito maior do que a lacuna no WikiText.

Por que alguém substituiria o Mamba-2 pelo GDN-2 em vez de simplesmente lançar mais camadas de Mamba-2?

Como, com tamanho de estado recorrente equivalente, o artigo mede o Gated DeltaNet-2 à frente nas tarefas de recuperação que as cargas de trabalho agênticas de contexto longo realmente exercitam, ao custo de uma pequena sobrecarga constante na vazão. Se sua carga de trabalho for intensiva em recuperação, essa troca é favorável; se ela for limitada pela vazão em contexto curto, a linha de base Mamba-2 é a resposta mais barata. Um testbed de 3B é uma maneira sensata de descobrir com qual delas o seu tráfego se parece.

O fato de as peças serem de código aberto significa que o modelo também seria aberto?

Não. Os pesos do Nemotron-3 Nano são abertos e o código de referência do Gated DeltaNet-2 é público, mas nenhum desses fatos obriga ninguém a publicar um checkpoint construído a partir deles — e a licença não comercial do código do GDN-2 significa que um lançamento comercial precisaria de um acordo diferente. Os desfechos plausíveis vão de um lançamento de pesquisa da NVIDIA sob a Nemotron Open Model License a algo que nunca sai de um cluster interno.

Há algo para experimentar hoje?

Sim, mas não o GDN-2-3B. Os checkpoints do artigo Gated DeltaNet-2 são reproduzíveis a partir do repositório da NVlabs em 1,3B no FineWeb-Edu, e o Nemotron-3 Nano 30B-A3B e o 4B rodam hoje no vLLM, SGLang, TensorRT-LLM e llama.cpp. Testar qualquer uma das metades revela o que a outra provavelmente faria — o que é mais do que o tweet oferece.

Nada disso torna o GDN-2-3B real. Isso o torna falsificável, que é o máximo que uma única frase pode oferecer: a um arquivo de configuração, a uma alegação sobre o motor ou a um repositório de distância de ser um lançamento genuíno de curto prazo ou uma recombinação plausível que nunca chega a ser construída.