Os pesos do Inkling 2 Small foram liberados: 394 GB, Apache 2.0 e uma conta do tamanho de um nó

O primeiro commit de pesos no repositório Inkling 2 Small está datado de 19:53 UTC de 12 de novembro de 2026 — nove horas antes de isto ser escrito. Até então, o modelo era uma tabela de preços e uma tabela de benchmarks: o Thinking Machines Lab o lançou em 5 de novembro com pesos fechados, um endpoint Tinker e a intenção declarada de publicar os checkpoints sob Apache 2.0 "na próxima semana". O modelo em si, portanto, tem oito dias de idade. O que é novo é que você pode baixá-lo, e o download não é um arquivo pequeno.

Dois repositórios são públicos. O checkpoint principal tem 393,5 GB em 36 arquivos, 24 deles shards safetensors. A variante MXFP8 tem 622,8 GB. Ambos estão declarados como Apache 2.0 nos metadados do cartão do modelo. Isso é tudo do anúncio até agora — o cartão do modelo, os repositórios e uma atualização de um parágrafo anexada ao post de lançamento. Tudo abaixo foi extraído dessas fontes primárias mais os dois cookbooks de serving que vieram junto, e vale ser direto sobre o que ainda falta: os testes externos de segurança que eram a pré-condição declarada para abrir esses pesos não foram publicados.

O que está realmente no download?

Comece pelo tamanho, pois é a primeira coisa que decide se este modelo está sequer disponível para você. O layout de precisão mista explica o número quase exatamente, o que é um bom sinal de que os valores publicados são coerentes entre si, e não material de marketing.

• Divisão de checkpoint — especialistas NVFP4 nas camadas 0 a 39, especialistas MXFP8 nas camadas 40 a 47, conforme o cookbook do SGLang.

• Tamanho previsto — uma média de 5,33 bits por parâmetro nessa divisão de 40/48 e 8/48 resulta em 396 GB para 594B parâmetros.

• Tamanho medido — 393,5 GB para o repositório principal, incluindo tokenizador e arquivos de configuração.

• Repositório MXFP8 — 622,8 GB, e o índice safetensors contabiliza 612,4B de parâmetros armazenados contra 383,1B do repositório primário, pois empacotar os pesos dos especialistas em quatro bits reduz a contagem de elementos, e não o modelo.

A arquitetura subjacente é um transformer somente decodificador de 48 camadas com um bloco feed-forward de mistura de especialistas esparsa: 384 especialistas roteados, 8 ativos por token, largura oculta de 4.608, 48 cabeças de atenção sobre 8 cabeças de chave-valor com 128 dimensões cada, e um vocabulário de 201.024 tokens. A atenção é híbrida, e não uniforme — 40 das 48 camadas usam uma janela deslizante de 1.024 tokens e apenas 8 são globais, que é de onde vem o orçamento de contexto longo. A torre de visão é um transformer separado de 23 camadas com largura oculta de 1.024 e 16 cabeças, lendo patches de 20×20 pixels com uma fusão 2×2, de modo que cada token de imagem cobre uma região de 40×40 pixels; o cartão pede imagens entre 40 e 4.096 pixels de lado.

Há também uma cabeça de predição multi-token acoplada para decodificação especulativa — cinco camadas, um tamanho de bloco de 8, um rank de Markov de 256, e camadas-alvo em 5, 11, 17, 23, 29, 35, 41 e o bloco final. Essas são precisamente as oito camadas de atenção global, que é o detalhe que mostra que a cabeça de rascunho foi projetada em torno da pilha híbrida, em vez de adicionada depois do fato. A Thinking Machines chama o decodificador resultante de “DSpark”.

Um item de organização para quem tiver uma revisão jurídica que exija documentação: a licença está declarada nos metadados do cartão do modelo como Apache 2.0 e o cartão tem link para o texto padrão da licença, mas não há nenhum arquivo LICENSE, LICENSE.md, LICENSE.txt ou NOTICE na árvore do repositório. Nenhum dos quatro retorna nada. A declaração é real e inequívoca; o artefato que a maioria das equipes jurídicas espera encontrar não está lá.

A lista de hardware e onde o fornecedor e o cookbook discordam

A ficha do modelo fornece um piso de VRAM. As receitas de serving fornecem uma topologia. Não são o mesmo número, e a diferença entre eles é a coisa mais prática desta página.

• NVFP4 principal — pelo menos 500 GB de VRAM agregada; os exemplos para a placa são 2× B300 ou 4× H200.

• Variante MXFP8 — pelo menos 800 GB; exemplos são 4× B300 ou 8× H200.

• SGLang, topologia por GPU — GB200, GB300 e B300 em TP 4 / EP 4; B200 em TP 4 / EP 4, com TP 8 recomendado para folga de KV; H200 com NVFP4 em TP 8 / EP 8; MI350X e MI355X em TP 8 / EP 8; Vera Rubin em TP 4 / EP 4; TPU7x em 8 / 8 em um host de quatro chips.

• MXFP8 em B200 ou GB200 — TP 8 / EP 8, aproximadamente 151 GB de pesos por GPU.

• A restrição por trás de tudo isso — o paralelismo de especialistas deve ser igual ao paralelismo de tensores, porque as escalas de ativação dos especialistas NVFP4 abrangem toda a largura de entrada de cada especialista e não podem ser particionadas por paralelismo de tensores.

Então, o exemplo de 4× H200 do cartão atende ao piso de 500 GB, mas não é uma topologia que o cookbook valida; o H200 está listado em 8 vias. Os pisos de armazenamento e memória indicam se ele cabe. Eles não indicam se ele roda e, para este checkpoint, o segundo número é o dobro do primeiro no hardware que a maioria das pessoas tem. Se você está provisionando, planeje com base na receita, não no piso.

O caminho da AMD tem dois dias e não foi mesclado

O radar que trouxe esta matéria captou o pull request de suporte à AMD em vez do lançamento dos pesos, e o enquadramento honesto desse PR por si só é que se trata de trabalho no motor — o tipo de coisa que não é notícia. Ele importa aqui apenas porque chegou na mesma semana que os checkpoints, e porque é o segundo fornecedor de silício com uma imagem de contêiner.

O pull request adiciona suporte a gfx950 para MI350X e MI355X, sobreposto ao port base do Inkling 2 Small. O que ele altera: os kernels ROCm ficam em módulos *_hip.py separados, acessados apenas sob HIP; os caminhos CUDA e NPU permanecem intactos; o pool KV unificado e o prefill de grafo completo passam a ser padrões de lançamento; o MegaMoE é recusado em vez de tentado; e a quantização quick-reduce é ignorada, a menos que uma flag de ambiente a permita. O gfx950 é obrigatório, a menos que uma segunda variável de ambiente o substitua — o que significa que placas da classe MI300 são recusadas na inicialização, e o autor do PR afirma que o gfx942 "não foi executado".

As medições no PR, que são do próprio autor e não foram revisadas: 426 testes unitários passando em um MI350X, 98,0% no GSM8K-200 em esforço balanceado e 97,5% com DSpark a um comprimento de aceitação de 4,04, e tempo por token de saída com 2.048 de entrada e 512 de saída de 5,15 ms no modo balanceado contra 2,10 ms com DSpark. Isso se converte em aproximadamente 194 e 476 tokens de saída por segundo em um único fluxo em oito aceleradores. Com o AITer habilitado, os números de precisão passam para 97,5% e 96,5%.

O estado do PR é rascunho. A CI não foi executada nele — o job base está bloqueado por um rótulo ausente e não há nenhuma execução da AMD registrada para o commit em revisão — e todos os code owners listados ainda aguardam revisão. Trate o suporte ao MI350X como algo que você pode compilar a partir do código-fonte esta semana, não como algo que você pode comprar.

Servir isso significa uma imagem de desenvolvimento, não um lançamento

As duas principais stacks têm suporte day-zero e nenhuma delas o entregou ainda. A SGLang afirma claramente que o suporte ainda não está em nenhuma release e aponta para builds dev-inkling-2-small, com imagens separadas para Hopper e Blackwell, Vera Rubin, MI35x e TPU7x. A vLLM exige uma nightly ou mais recente, ou a imagem vllm/vllm-openai:inkling-2-small. Isso é normal para um modelo desse tamanho e tão novo, mas muda o que "suportado" significa: você está acompanhando um branch, e um rebase pode quebrar o seu deployment.

Os detalhes operacionais que realmente vão doer:

• Contexto — a receita TP 4 do vLLM tem limite de 262.144 tokens em uma bandeja; a janela completa de 1.048.576 tokens exige TP 8 em dois nós. Com TP 4, uma única solicitação de 1 milhão de tokens precisa de 64,47 GiB de cache KV, o que é mais do que resta em uma bandeja.

• Decodificação especulativa — o SGLang verifica 8 tokens por etapa com o cabeçalho DSpark incluído; o equivalente no vLLM define 7 tokens especulativos com rascunho probabilístico. A receita alerta que a aceitação cai de 15 a 25% na temperatura 1,0 se você rascunhar de forma gulosa.

• {{1}}Analisadores — o raciocínio usa inkling, as chamadas de ferramentas usam inkling2, e o SGLang seleciona ambos automaticamente quando não definidos. {{2}}O analisador de chamadas de ferramentas do vLLM é opt-in e a receita diz que a chamada de ferramentas não foi benchmarkada de ponta a ponta, apenas testada unitariamente.{{/2}}

• Desagregação de prefill/decode — validada apenas como 1P1D em uma bandeja GB300 de quatro GPUs, NVFP4, sem MegaMoE, com a fração de memória estática forçada para 0,86 porque o valor automático de 0,963 esgotou a memória. A divisão não se ajusta ao checkpoint MXFP8.

• Desagregação de encoders — ainda não está nas imagens, e o servidor de linguagem é encerrado se nenhum encoder íntegro estiver acessível.

• Folga de memória — em unidades B200 ou GB200 de 192 GB com TP 4, a capacidade de KV é cerca de um terço do que uma bandeja GB300 oferece, o que é o limite real para a concorrência de contexto longo, e não o tamanho da janela impresso na placa.

Há também um relato da comunidade no próprio cartão do modelo, das primeiras horas após o upload, intitulado "Placas Hopper atualmente incompatíveis com a imagem vllm". Nenhuma resposta de mantenedor está visível e não consegui reproduzi-lo, então trate-o como um alerta em vez de uma constatação, e verifique antes de comprometer um nó Hopper. O lado do SGLang lista o H200 em 8 vias, então o caminho Hopper não está fechado — apenas não é o caminho descrito pela receita do vLLM.

Quais são os custos da auto-hospedagem e por que a resposta raramente é o preço

A razão para baixar 394 GB é o controle, não a economia unitária, e a aritmética deixa isso claro rapidamente.

No Tinker, o modelo é listado a US$ 0,30 por milhão de tokens de entrada, US$ 0,03 por milhão de entrada em cache e US$ 1,00 por milhão de saída, com contexto de 256K. O Artificial Analysis mede 84 tokens de saída por segundo e 67,71 segundos até o primeiro token da resposta, a US$ 1,18 por tarefa de índice e 29,6 minutos por tarefa, contra 154M de tokens de saída em toda a suíte e uma mediana dos pares de 89,8M. Esse número de tokens é a pista: este é um modelo que pensa longamente antes de responder e, com o preço de tabela da saída, um único fluxo operando a plena capacidade por uma hora produz cerca de 302.000 tokens, ou aproximadamente trinta centavos de saída. Para superar um nó que custa um dólar por hora, é preciso manter cerca de quatro fluxos ocupados; para superar um nó de vinte dólares por hora, são necessários sessenta e seis. Muito poucas cargas de trabalho de avaliação, e ainda menos cargas agênticas, sustentam essa concorrência contra um modelo com tempo até o primeiro token de 67 segundos.

O que você compra ao possuir os pesos em vez disso: a janela completa de 1M nos seus próprios termos, em vez da camada de serviço de 256K do Tinker, nenhuma lista de espera beta antes da produção, ajuste fino na sua própria stack, dados que nunca saem da sua rede e varreduras de avaliação que não são cobradas por token. O que você abre mão: uma build de release funcional, a topologia de oito vias que você precisa comprar em vez de alugar, e uma stack de serviço que agora você mantém.

Essa é a forma honesta da decisão, e é também onde uma camada de roteamento se encaixa sem precisar fingir que hospeda algo que não hospeda. O Inkling 2 Small não está no catálogo do OrcaRouter — verificamos esta semana a lista de modelos ativa e não há nenhuma entrada do inkling entre 215 — então o caminho de API para este modelo continua sendo a própria plataforma Tinker da Thinking Machines e, conforme a atualização de lançamento, vários provedores de inferência de terceiros. O que mais de 200 modelos atrás de uma única chave oferece a você é um fallback: você pode executar o experimento de auto-hospedagem em um único nó e manter a produção nos modelos que roteamos, com failover automático se o experimento falhar, e nos modelos que roteamos o preço de tabela do provedor é repassado sem alterações. Quando um segundo e um terceiro host assumirem esses checkpoints, a perna de failover deixa de ser teórica — e o lock-in de fornecedor, que é o principal argumento para baixar 394 GB em primeiro lugar, fica mais fraco.

Onde fica agora que está aberto

A pontuação não mudou quando os pesos chegaram; o que mudou é que agora ela pertence a um ranking do qual antes estava excluída. No ranking de pesos abertos do Artificial Analysis, o Inkling 2 Small está em quarto lugar entre 28, com um Índice de Inteligência de 31, contra uma mediana de 24 do conjunto de comparação.

• Kimi K3.1 Pro — 46.

• DeepSeek V4.1 Flash 1017 com esforço máximo — 33.

• GLM-5.3 no esforço máximo — 32.

Inkling 2 Small — 31.

• MiMo-V2.6-Pro e Ling 3.1 Flash 1019 — 30 de cada.

• Mistral Large 4 com esforço elevado — 26.

• Qwen3.8 27B em xhigh — 20.

A coluna interessante nessa lista não é o topo. Todo modelo acima do Inkling 2 Small é de um laboratório chinês, e o melhor modelo de pesos abertos de um laboratório não chinês era o Mistral Large 4 com 26. Abrir esses pesos reduz essa lacuna específica de vinte pontos para quinze e move o topo da coluna não chinesa. Isso não toca a fronteira: o melhor modelo aberto está quinze pontos à frente, e os modelos fechados ficam ainda mais distantes.

A tabela de avaliação do próprio fornecedor é mais longa e mais lisonjeira, e cada número nela foi executado pela Thinking Machines em seu próprio harness, com esforço elevado — sem reprodução e, portanto, um teto, e não uma expectativa. As linhas que importam para o trabalho agêntico: SWE-bench Pro v2 Hard 86,3%, DeepSWE v1.1 72,1%, Vibe Code Bench v1.1 81,6%, BrowseComp 90,2% e DeepSearchQA 90,9%, ambos com compactação, MCP Atlas 85,4% completo e 85,0% público, HLE 44,1% somente texto, FrontierCode v2.0 25,4%. A linha que vai na direção contrária é Terminal Bench Science, com 5,7%, o que é baixo em termos absolutos e consistente com o perfil de horizonte longo e deliberação longa, e não com uma alegação ampla de capacidade. O fornecedor publica 30,6 para o Intelligence Index, enquanto o painel ao vivo mostra 31 — uma diferença de snapshot, não uma disputa.

O que mudaria esta avaliação?

Três coisas, em ordem de importância.

O processo de segurança que deveria condicionar este lançamento não foi publicado. A publicação da Thinking Machines de julho sobre um caminho seguro para pesos abertos descreve quatro organizações externas realizando testes de pré-implantação na Inkling de primeira geração, e a publicação de lançamento de 5 de novembro vinculou este lançamento a “testes externos de segurança e red-teaming”. A atualização de 12 de novembro que anuncia os pesos contém uma frase e um link — para o repositório no Hugging Face — e nenhum resultado de avaliação, nenhuma descoberta de red-team e nenhuma revisão das condições anteriores. Isso não significa que os testes não aconteceram. Significa que um leitor não pode verificar, e uma organização com uma política de aquisição que exige as evidências não as encontrará aqui.

Suporte em nível de release mudaria quem pode adotá-lo. No momento, a escolha é um branch de desenvolvimento no SGLang, um nightly no vLLM, ou compilar o caminho AMD a partir do código-fonte com base em um rascunho não mesclado. No instante em que o suporte chega a uma release com tag, o modelo se torna uma decisão de implantação em vez de um projeto de engenharia, e a topologia de oito vias deixa de ser uma configuração de pesquisa.

Uma reprodução independente com as configurações padrão lhe diria quanto o 31 vale na prática. As linhas agênticas são as que merecem atenção — SWE-bench Pro em 86,3 e DeepSWE em 72,1 são alegações fortes para um modelo com 17B parâmetros ativos, e foram produzidas com esforço máximo. Execuções de terceiros com esforço padrão ficam mais baixas, sempre. A questão é o quanto, e ninguém fora da Thinking Machines respondeu isso ainda.

Até que pelo menos um desses se concretize, a descrição correta do Inkling 2 Small é excepcionalmente precisa: um checkpoint Apache 2.0 que você pode baixar hoje, que nenhuma stack de serving lançada suporta, cujas alegações mais fortes vêm do laboratório que o criou e cujo portão de licenciamento abriu sem a documentação que deveria precedê-lo. Esse é um lançamento real e uma lacuna real, e a lacuna é a parte que vale a pena observar.