Um cartão de título gerado intitulado ‘Primeiro lugar, último lugar, mesmo ranking’, com o subtítulo ‘Liquid AI d1.2-ultra - Decision Index v2.1, 16 de novembro de 2026’. Dois cartões arredondados ficam lado a lado: o da esquerda mostra ‘#1 de 24’ acima de ‘Decision Index 75’, o da direita mostra ‘#24 de 24’ acima de ‘precisão HLE 2,36%’; abaixo deles, uma linha de legenda diz ‘um modelo, seis avaliações’, e três chips contornados dizem ‘medido pela Artificial Analysis’, ‘contexto de 66k’ e ‘US$ 0,042 por 1 milhão de tokens de entrada’. A marca OrcaRouter é composta no canto inferior direito.
Guides & Insights

Liquid AI d1.2-ultra lidera o Decision Index com 75 — e fica em último em um de seus seis testes

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

O Liquid AI d1.2-ultra é o primeiro modelo desta categoria a receber um primeiro lugar de alguém que não seja a empresa que o desenvolveu. O Artificial Analysis deu-lhe uma pontuação de 75 no Decision Index v2.1, imprimiu esse número na própria página do modelo no ranking e o classificou em primeiro lugar entre 24 modelos de decisão — 2,2 pontos à frente do Drex Max v1.1, da Nace.AI, com 73. O Liquid AI d1.2, a metade menor do mesmo lançamento, fica em nono lugar, com 69. Ambos foram lançados em 16 de novembro de 2026, o que faz deste o primeiro lançamento da Liquid AI em que a alegação de liderança no ranking chegou com um ranking independente que já incluía o modelo, em vez de um número do fornecedor apontando para um ranking que o antecedia.

O mesmo ranking também coloca o d1.2-ultra em último lugar entre esses 24 modelos no HLE-MultiChoice, com 2,36% de precisão bruta. Ambas as afirmações são verdadeiras ao mesmo tempo, são medidas pela mesma organização, no mesmo instrumento, no mesmo dia, e a distância entre elas é a coisa mais útil do lançamento.

Por que esta afirmação do ranking é um tipo diferente de afirmação

Em outubro, a Liquid AI anunciou o d1-ultra com uma alegação de primeiro lugar medida em relação ao Decision Index v1.0, um ranking publicado dois dias antes de esse modelo existir. Ninguém conseguia verificar, porque o modelo não estava no ranking. Não foi isso que aconteceu aqui. A Artificial Analysis executou o d1.2-ultra por conta própria, em seu próprio hardware, usando seu próprio harness, e o resultado é uma linha no ranking com seis pontuações de componentes e uma curva de calibração anexada. Quando a Liquid diz "a maior pontuação do índice e dois pontos à frente do melhor modelo de decisão anterior", tanto o índice quanto o melhor anterior são públicos e ambos concordam.

A versão 2.1 é uma média ponderada de seis avaliações, e os pesos não são distribuídos uniformemente. O AA-Paperclip responde por 30%: 1.500 documentos privados — currículos, recibos, faturas, artigos de pesquisa —, cada um com cinco decisões e dez fatos, avaliado como um único documento que só conta se todas as quinze respostas estiverem corretas. EvalSafe-O*NET-AA, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1 e AA-Symmetry v1.1 respondem por 15% cada. O When2Call, conjunto de chamada de ferramentas da NVIDIA, responde por 10%. Cada pergunta é pontuada como 50 × (1 + c − (p − c)²), em que c indica se a escolha estava certa e p é a probabilidade atribuída pelo modelo, o que se agrega em 50 × (1 + acurácia − pontuação de Brier). Um erro confiante custa mais do que um hesitante, e um modelo que diz 0,6 e está certo pontua melhor do que um que diz 0,99 e está certo.

De onde vem o 75

A generated single-column scoreboard titled ‘Liquid AI d1.2-ultra - the scoreboard’, with six rows: Decision Index 75, first of 24; AA-Paperclip 75.8 with 67.7% of documents all-correct; AA-Symmetry 86.3, second of 24; When2Call 96.5, first of 24; HLE-MultiChoice 2.36% accuracy, last of 24; and Cost $133 per 1M tasks at $0.042 per 1M input tokens. The footer reads ‘All figures measured independently by Artificial Analysis, Decision Index v2.1; Liquid AI's own task accuracies are vendor-reported.’

Analisando em detalhe, o primeiro lugar é sustentado por duas avaliações e defendido por uma terceira. Os demais são medíocres ou piores, o que vale a pena saber antes que alguém trate uma pontuação composta como descrição do modelo.

• AA-Paperclip, 30% do índice — d1.2-ultra marca 75,81 na pontuação de decisão, com 67,7% dos documentos totalmente corretos, ambos em primeiro lugar entre 24. Drex Max v1.1 é o segundo, com 72,82 e 63,0%, e SubQ Snap 1.2 é o terceiro, com 71,58. O modelo que ele substitui, Liquid AI d1-ultra, ficava em 64,69 e 51,3%.

• When2Call, 10% — d1.2-ultra está em primeiro com 96,49, à frente de SubQ Snap 1.2 com 96,10 e d1.2 com 96,09. A chamada de ferramentas já era o ponto mais forte do setor; a diferença aqui é de um ponto e meio entre os dez primeiros.

• AA-Symmetry, 15% — em segundo lugar, com 86,34, atrás dos 88,25 do Mammoth 27B. Na medida mais rigorosa de aprovação total, o quadro muda: Mammoth mantém a mesma resposta entre paráfrases em 68,3% das perguntas, Elephant 9B em 65,8%, e d1.2-ultra em 56,7%. Segundo lugar na pontuação não é segundo lugar na consistência.

• EvalSafe-O*NET-AA, 15% — terceiro em 89,53, atrás de Jev 1.14 em 91,14. Este é o único componente em que o modelo de um concorrente ainda lidera, e não está próximo o suficiente para ser considerado ruído.

• AA-Omniscience-Decision v1.1, 15% — 60,80, o que fica no meio da tabela e abaixo dos 64,39 que o d1-ultra pontuou.

• HLE-MultiChoice v1.1, 15% — 46,36 na pontuação de decisão, mas 2,36% de acurácia bruta, a mais baixa entre todas as 24. Essa diferença não é uma contradição; é o que um modelo bem calibrado parece quando recusa quase tudo. Sua taxa de não alucinação no mesmo conjunto é de 76,1%, o que significa que, em três de cada quatro vezes, ele disse corretamente que não sabia, em vez de adivinhar.

A métrica de destaque por trás de todas as seis, a pontuação separada do índice de precisão da AA, coloca o d1.2-ultra em primeiro lugar com 61,6, à frente do GLiDE v1.2 com 59,4 e do Drex Max v1.1 com 58,2. Sua pontuação Brier de 0,150 é a melhor entre as 24. O modelo não está vencendo por ser calibrado e nada mais; está vencendo em documentos e calibração juntos, que é a combinação que o índice foi criado para recompensar.

A pontuação que vai no sentido oposto

Há uma versão deste lançamento que soa como uma vitória limpa, e a linha HLE-MultiChoice é o que a refuta. Uma precisão bruta de dois inteiros e um terço por cento no Humanity's Last Exam de múltipla escolha não é um erro de arredondamento, e não é explicada pela opção de declínio: o modelo tem a opção de se abster, e ele a usa, e a abstenção é pontuada como honestidade, não como conhecimento. Decider v1.3 responde corretamente a 15,32% das mesmas perguntas. Drex Max v1.1 responde a 8,25%. Liquid AI d1.2, o modelo barato do mesmo lançamento, responde a 5,30%.

A última comparação é a mais estranha. Nas avaliações com forte peso de conhecimento, o modelo menor e mais barato não é o mais fraco. O d1.2 acerta 30,0% das perguntas do AA-Omniscience-Decision, contra 23,6% do d1.2-ultra, e 5,30% no HLE, contra 2,36%. O que o d1.2-ultra compra com seus dois centavos extras por milhão de tokens não é conhecimento; é manipulação de documentos, simetria e calibração — a metade operacional do trabalho. Se sua carga de trabalho é extração de uma fatura digitalizada, essa troca é obviamente correta. Se é responder a perguntas difíceis sobre o mundo, o modelo mais barato da mesma família é mensuravelmente melhor, e nada no post de lançamento diz isso.

A mudança no faturamento que não está na manchete

A frase de maior impacto na publicação da Liquid é uma regra de cobrança, não um benchmark. No d1-ultra, cada pergunta era cobrada como um prompt próprio, incluindo todas as imagens anexadas, de modo que fazer dez perguntas sobre uma única fotografia significava pagar pela fotografia dez vezes. No d1.2 e no d1.2-ultra, a solicitação cobra seu texto e suas imagens uma única vez, e cada pergunta adicional acrescenta apenas o próprio texto.

Considere um documento de 2.000 tokens com uma imagem de 1024×1024, que custa 1.536 tokens à taxa declarada de 1,5 token por patch de 32×32 pixels, e dez perguntas curtas de aproximadamente 30 tokens cada. Pela regra antiga, essa solicitação representa cerca de 35.700 tokens. Pela nova, representa cerca de 3.840. A US$ 0,042 por milhão de tokens de entrada, isso é aproximadamente US$ 0,0015 por solicitação contra US$ 0,00016 — um pouco mais de nove vezes mais barato para trabalho idêntico a um preço de tabela idêntico. Em 100.000 solicitações por mês, a diferença é de cerca de US$ 150 contra US$ 16. Ambos os valores são aritmética sobre a própria descrição de cobrança do fornecedor, não medições.

A segunda especificação que mudou é a janela de contexto. O Artificial Analysis lista 66k tokens para ambos os modelos d1.2, contra 33k para o d1-ultra. O post da Liquid não informa janela alguma, então o número de 66k é a leitura do board, e não uma especificação do fornecedor, e ainda assim é o dobro do que a geração anterior trazia. Para um modelo cujo trabalho inteiro é receber estado, essa é uma mudança prática maior do que quatro pontos de índice.

Cinco novos tipos de resposta e áudio

As adições de capacidade são aditivas, e não uma reformulação: o mesmo endpoint, o mesmo formato de requisição, cinco novos tipos de resposta e uma nova modalidade de entrada. Uma pergunta agora pode pedir um valor lido da página — um número, uma data, um nome — retornado com os caracteres dos quais foi lido, ou "não encontrado" se estiver ausente. Pode pedir cada trecho de um determinado tipo com posições, que é o caso de PII. Pode pedir uma caixa ao redor de um objeto ou uma caixa ao redor de cada instância mais uma contagem. Pode pedir uma estimativa com um intervalo anexado. E pode pedir cada opção aplicável, cada uma com sua própria probabilidade.

Áudio é a outra adição, funcionando em ambas as direções: a gravação pode ser aquilo sobre o que é a pergunta, ou pode ser a própria pergunta. A Liquid relata que, em gravações mantidas à parte, ambos os modelos respondem a 95% a 97% das perguntas sobre qual som ouvem, do ESC-50, ou qual idioma é falado, do FLEURS em 43 idiomas, com três a seis opções cada e confusões próximas, como espanhol e português, na mistura.

Os números de acurácia das cinco novas tarefas vêm de conjuntos de teste internos criados a partir de divisões reservadas de conjuntos de dados públicos, e o fornecedor diz isso claramente, porque nenhum benchmark público cobre essas tarefas ainda. Leia-os como uma avaliação do próprio fornecedor: 98% e 96% para leitura de um valor de um recibo no CORD e no SROIE, 94%/93% de precisão e recall contra 92%/88% para trechos de PII no Nemotron PII, 94% para ambos na localização de objetos em toda a família RefCOCO, 93% e 92% na contagem com tolerância de um no COCO, e 87% contra 90% na seleção de todos os objetos presentes — a única linha em que o modelo barato vence.

Verificando a reclamação de dinheiro

A headless-browser screenshot of the Artificial Analysis Decision Index v2.1 page, captured 17 November 2026 in English, headed ‘Artificial Analysis Decision Index v2.1’ and described as a composite index testing decision models across document decisions and extraction, tool calling, knowledge, reasoning and invariance, with a note that version 2.1 combines six evaluations starting with AA-Paperclip's 1,500 resumes, receipts, invoices and research papers.

A frase de preços da Liquid é incomumente verificável: "nenhum modelo pontua mais que d1.2 por menos dinheiro, e nenhum modelo pontua mais que d1.2-ultra a qualquer preço." As duas metades se sustentam diante do ranking. Nada no índice de 24 modelos pontua acima de 74.85, então a segunda metade é trivialmente verdadeira. Para a primeira, d1.2 está em 68.69 e US$ 63 por milhão de tarefas; todo modelo que pontua acima dele custa mais, e o concorrente barato mais próximo é o Decider v1.3, com 70.41 e US$ 68. A afirmação se sustenta, e se sustenta com os números de outra pessoa, não da Liquid, o que é mais raro do que deveria ser.

Os próprios valores de custo vêm da Artificial Analysis, que executa cada avaliação pelos preços de tabela atuais e calcula médias: US$ 133 por milhão de tarefas para o d1.2-ultra, décimo primeiro entre 24 contra uma mediana da classe de US$ 135, e US$ 63 para o d1.2, terceiro mais barato. O tempo por tarefa é de 218 ms para o modelo grande e 150 ms para o pequeno, contra uma mediana da classe de 209 ms — o carro-chefe é ligeiramente mais lento que a média, o modelo barato consideravelmente mais rápido, e ambos são uma ordem de grandeza mais rápidos que os modelos generativos que aparecem no mesmo ranking a onze e trinta e dois segundos por tarefa.

Onde você pode chamá-lo e contra o que executá-lo

Ambos os modelos estão disponíveis hoje na própria API da Liquid em api.liquid.ai/decisions/v1/systemone, chamados de d1.2-ultra e d1.2, com chaves do console da Liquid, e ambos estão no playground da Liquid. A publicação da Liquid diz que plataformas de terceiros adicionais estão chegando; até o momento desta redação, a própria API do fornecedor é a rota existente. Nenhum dos modelos está no nosso catálogo, e este artigo não é uma alegação de disponibilidade para nenhum deles.

O que está no nosso catálogo é Jev 1.14, o modelo que lidera um componente que o d1.2-ultra não lidera — EvalSafe-O*NET-AA, com 91,14 contra 89,53 — servido sobre o mesmo systemone formato de endpoint, texto na entrada e JSON estruturado na saída, a US$ 0,042 por milhão de tokens de entrada. Essa coincidência é útil: uma equipe que avalia esta versão pode colocar o novo modelo e o modelo atual nos mesmos estados sem um segundo contrato ou uma segunda biblioteca cliente, porque uma API para mais de 200 modelos já fala os dois formatos. Os preços de tabela são repassados com 0% de markup, então, se a Liquid alterar o US$ 0,042, o número aqui muda junto com ele, e não depois, e failover automático significa que um modelo com um dia de existência pode assumir uma fatia de uma carga de trabalho real sem que se confie nele para tudo.

A headless-browser screenshot of the OrcaRouter model page for typesafe/jev-1.14, captured 17 November 2026 in English, showing the /v1/systemone endpoint, Zero Data Retention availability, an input and output list price of $0.04, and measured latencies of 182 ms and 372 ms.

A recomendação que decorre dos dados, e não da página de preços: execute-o em modo shadow. O d1.2-ultra é primeiro em documentos e primeiro em calibração, o que é um par genuinamente forte para pipelines de extração, e é último em perguntas difíceis de conhecimento, o que é uma limitação real e não uma nota de rodapé. Envie a ele os estados que seu pipeline realmente vê, compare as probabilidades em vez das escolhas top-1 e observe os casos em que ele responde 0,8 e está errado, porque é nessa cauda que o predecessor de outubro do modelo teve desempenho ruim e onde a melhoria ou aparece ou não.

A questão em aberto não é se 75 é real — a Artificial Analysis mediu-o e publicou os componentes. É se uma avaliação documental com peso de 30%, sobre 1.500 documentos privados, se generaliza para os seus documentos. Essa é uma pergunta que só a sua própria amostra rotulada pode responder, e vale a pena respondê-la antes que a mudança na cobrança o tente a fazer dez perguntas por documento em vez de uma.