SubQ Snap 1.1 empata em primeiro lugar no Decision Index ao aprender a abster-se

O modelo mais recente no topo do Artificial Analysis Decision Index v1.0 não é o que acerta mais respostas. SubQ Snap 1.1, lançado pela Subquadratic em 22 de outubro de 2026, marcou 65 e empatou com d1-ultra e Elephant 9B em primeiro lugar. Jev 1.14 está em 57. Leia as letras miúdas abaixo do índice e o motivo do empate não é precisão bruta: o texto da Artificial Analysis coloca a precisão do Snap 1.1 em 20%, contra 32% do d1-ultra e 12% do Elephant 9B. O que o Snap 1.1 faz melhor que qualquer um dos dois é se recusar a responder.

Isso é um resultado real de engenharia, não um truque de benchmark, mas muda quem deveria se importar. Um modelo de decisão não é um modelo de chat. Ele recebe um documento e um conjunto fixo de respostas permitidas — encaminhar para esta fila ou aquela, chamar esta ferramenta ou recusar, sim ou não ou escalar — e retorna uma escolha com uma probabilidade calibrada associada. A proposta da Subquadratic, desde o lançamento da prévia dez dias antes, tem sido que essa carga de trabalho merece sua própria arquitetura, em vez de um LLM geral queimando tokens de saída para produzir a palavra "reembolso". A versão 1.1 é o primeiro lançamento em que a alegação de calibração é específica o suficiente para ser verificada.

O que realmente mudou entre o Snap 1.0 e o 1.1?

Esta é uma versão de pós-treinamento, não um novo modelo. O backbone Subquadratic Sparse Attention, a janela de 384K tokens e o caminho de entrada de texto e imagem permanecem inalterados em relação ao Snap 1.0, que entrou no ar em 12 de outubro a US$ 0,05 por milhão de tokens de entrada. O que mudou é como o modelo se comporta quando está incerto: o fornecedor diz que a 1.1 adiciona calibração explícita de incerteza e destila raciocínio de várias etapas em uma única passagem direta, em vez de gerar uma cadeia de pensamento e depois se comprometer com uma resposta.

Os números que a Subquadratic relata para essa mudança são incomumente específicos, o que é ao mesmo tempo bom e digno de escrutínio. O erro esperado de calibração em benchmarks de probabilidade held-out caiu de 0,108 para 0,014. Erros confiantes em perguntas sem resposta caíram de 294 em 600 para 57 em 600 — a redução de 81% que a cobertura do lançamento continua citando. Alucinações com excesso de confiança em entradas fora da distribuição caíram de 99,3% para 12,5%. A concordância com uma regra de decisão ótima de Bayes subiu de 83% para 90%. Na suíte empresarial de 16 benchmarks do fornecedor, o 1.1 fica em média 7,2 pontos acima do Jev 1.14, com um intervalo de confiança de 95% de 6,5 a 7,8, vencendo 12, empatando 3 e perdendo 1, e fica em média 5,5 pontos acima do Snap 1.0.

Tudo isso é relatado pelo fornecedor. Ninguém fora da Subquadratic publicou uma execução do 1.1 ainda; os repositórios independentes que existem testaram o modelo de prévia, e eles são discutidos mais adiante.

Como um modelo com 20% de precisão empata em primeiro lugar

O Decision Index não avalia a precisão isoladamente. Ele avalia o resultado de uma decisão sob incerteza, o que significa que uma abstenção em uma pergunta que o modelo não consegue responder vale mais do que um palpite confiante — e vale muito mais do que um palpite confiante e errado. O Artificial Analysis informa a taxa de não alucinação do Snap 1.1, ou seja, a frequência com que ele disse "não sei" em perguntas que não conseguia responder corretamente, em 86%. O Elephant 9B é maior, com 93%, e o d1-ultra é marginalmente menor, com 85%. A precisão de 20% do Snap 1.1 fica no meio desse trio, e sua pontuação no índice é idêntica à dos dois.

Se essa é a troca certa depende inteiramente do que uma resposta errada custa a jusante. Em um roteador de tickets de suporte, um encaminhamento incorreto com confiança envia uma reclamação de cobrança para a fila de engenharia e um cliente espera dois dias; uma abstenção o envia para uma etapa de triagem humana que custa trinta segundos. Em uma tarefa de classificação de conteúdo em massa sem humano no circuito, a abstenção é apenas uma linha não rotulada e o número de acurácia é o que importa. O índice está dizendo que o Snap 1.1 foi feito para o primeiro caso. Não está dizendo que é o classificador mais preciso que você pode comprar, porque não é.

O corte de preço, e o denominador que ninguém cita

A outra mudança na 1.1 é o preço: US$ 0,04 por milhão de tokens de entrada, 20% menos que os US$ 0,05 da prévia, com tokens de saída gratuitos. Essa segunda metade é a parte que remodela a conta. Um classificador construído sobre um modelo generativo paga pela resposta — geralmente curta, mas modelos de raciocínio podem gastar centenas de tokens decidindo o que emitir. O Snap não tem saída pela qual pagar, então uma chamada que lê 100 mil tokens custa cerca de quatro décimos de centavo e nada mais.

A Artificial Analysis apresenta o mesmo número por tarefa, e não por token: cerca de US$ 30 por milhão de tarefas para o Snap 1.1, contra US$ 32 para o d1-ultra e US$ 8,4 para o Elephant 9B. Esse número por tarefa é o útil, e também serve como lembrete de que o preço de tabela por token é uma péssima forma de comparar um modelo de decisão com qualquer outra coisa. A conta escala com o comprimento da entrada, então uma chamada de roteamento de 4K tokens e uma revisão de contrato de 300K tokens ficam em faixas de custo completamente diferentes, embora a tarifa seja idêntica.

O que os números do fornecedor não esclarecem

Duas coisas merecem ser mantidas separadas do post de lançamento. A primeira é o ceticismo. A cobertura da comunidade sobre os lançamentos da Subquadratic — incluindo a reportagem do BlockBeats que circulou como “faz-tudo de IA” — questionou quanto do conjunto de alegações é reproduzível de forma independente, e o modelo não tem pesos abertos, então não há checkpoint para alguém de fora executar. A segunda é que os testes independentes que existem foram executados contra a prévia, não contra a 1.1. Uma comparação reproduzível feita por jcarlosrodicio constatou que o Snap ficou ligeiramente atrás do Jev abaixo de 30 mil tokens (93,9% contra 94,7%) e bem atrás em logs de 360 mil tokens (58,8% contra 77,1% do Jev quando o Jev foi fragmentado). Um benchmark separado de engenharia de software, snap-vs-jev-swe, constatou que o Snap alcançou 87,5% no SWE-bench Verified de localização de arquivos contra uma linha de base aleatória de 10,6%, e mediu inversões de resposta em 5,0% dos itens quando a ordem das opções foi invertida.

Esses resultados não são contraditos pela 1.1 — o trabalho de calibração é exatamente o tipo de mudança que os moveria —, mas também não são evidência disso. Há também uma pequena inconsistência interna nos números publicados: a cobertura de lançamento cita uma pontuação When2Call de 96,2, enquanto a própria variante de múltipla escolha corrigida para o acaso da Subquadratic para o mesmo benchmark registra 91,0. Ambos podem ser válidos para formatos de tarefa diferentes; um comprador que compara o 96,2 com o número de um concorrente deveria saber qual variante tem em mãos.

Onde quebra.

A coluna de perdas da própria suíte de 16 benchmarks do fornecedor é instrutiva. O PhishNChips, um conjunto de detecção de phishing, fica 22 pontos atrás do Jev 1.14, e a Subquadratic atribui isso à calibração de limiar, e não à qualidade de ranking — o ROC-AUC está praticamente empatado, em 0,91 contra 0,92. Esse é um problema corrigível para uma equipe disposta a ajustar um limiar, e incorrigível para uma equipe que queria uma solução drop-in. A subárea de conhecimento e raciocínio é a única entre cinco em que o Jev lidera de forma absoluta, 55,1 a 50,9. O Snap 1.1 é mais forte onde o conjunto de respostas é explícito e a evidência está no documento: ferramentas e automação (85,3 contra 74,6), recuperação e classificação (67,0 contra 63,1), compreensão de linguagem (71,6 contra 63,3).

Quem deve se mover e quem deve esperar

Migre se sua decisão for uma escolha de roteamento, seleção de ferramenta, escalonamento ou relevância tomada sobre documentos longos, e uma resposta errada dada com confiança custar mais do que um escalonamento. A janela de 384K é a razão operacional: uma única passagem por um contrato inteiro, uma thread de tickets ou um pacote de logs, sem uma camada de chunking para criar e sem um pipeline de recuperação para manter em sincronia. As equipes que já estão executando a prévia têm o caso mais evidente, já que o preço caiu e a calibração melhorou sem uma mudança na API.

Espere se você precisar de texto gerado, se 20% de acurácia no mix de perguntas do benchmark estiver abaixo do seu limite mínimo, ou se precisar de latência abaixo de 100 ms em um caminho crítico — a Subquadratic não publica nenhum número de latência para a 1.1, e a medição de terceiros do preview colocou uma chamada de 8K tokens em cerca de 0,75 segundos. Espere também se precisar hospedar por conta própria: não há pesos.

Uma nota prática sobre onde isto se situa numa stack. O SubQ Snap 1.1 é servido através da API e da consola da própria Subquadratic; não faz parte do catálogo do OrcaRouter, e não vamos fingir o contrário. O que nós disponibilizamos é a camada por trás da decisão: quando o Snap resolve uma chamada para "usar um modelo", esse modelo é um de mais de 200 acessíveis através de uma única chave no OrcaRouter, ao preço de tabela do fornecedor, com 0% de margem e failover automático entre fornecedores. A camada de decisão e a camada de execução falham de forma independente, e vale a pena não ter ambas atrás do mesmo fornecedor.

A questão em aberto não é se os números de calibração do 1.1 são reais — eles são específicos o bastante para que sejam verificados —, mas se resistem a uma estrutura de avaliação diferente. A redação do prompt alterou a precisão em 11 a 14 pontos nos benchmarks públicos do Snap, mais do que a diferença entre quaisquer dois modelos no índice. Uma melhoria de calibração que só se sustenta sob o template de prompt do próprio fornecedor seria algo muito menor do que o lançamento sugere.