Une carte de titre générée intitulée « Première place, dernière place, même classement », avec le sous-titre « Liquid AI d1.2-ultra - Decision Index v2.1, 16 novembre 2026 ». Deux cartes arrondies sont côte à côte : celle de gauche affiche « n° 1 sur 24 » au-dessus de « Decision Index 75 », celle de droite affiche « n° 24 sur 24 » au-dessus de « précision HLE 2,36 % » ; en dessous, une ligne de légende indique « un modèle, six évaluations », et trois puces contourées indiquent « mesuré par Artificial Analysis », « contexte 66k » et « 0,042 $ pour 1 M de tokens d'entrée ». Le logo OrcaRouter est intégré en bas à droite.
Guides & Insights

Liquid AI d1.2-ultra arrive en tête du Decision Index avec 75 — et termine dernier à l’un de ses six tests.

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Liquid AI d1.2-ultra est le premier modèle de cette catégorie à recevoir une première place de quelqu’un d’autre que l’entreprise qui l’a conçu. Artificial Analysis lui a attribué 75 sur Decision Index v2.1, a affiché ce chiffre sur la page de classement propre au modèle et l’a classé premier parmi 24 modèles de décision — avec 2,2 points d’avance sur Drex Max v1.1 de Nace.AI, à 73. Liquid AI d1.2, la moitié la plus petite de la même publication, arrive neuvième à 69. Les deux sont sortis le 16 novembre 2026, ce qui en fait le premier lancement de Liquid AI où la revendication de classement est arrivée alors qu’un classement indépendant portait déjà le modèle, plutôt qu’un chiffre de fournisseur pointant vers un classement antérieur au modèle.

Le même classement place également d1.2-ultra à la dernière position de ces 24 modèles sur HLE-MultiChoice, avec une précision brute de 2,36 %. Les deux affirmations sont simultanément vraies, elles sont mesurées par la même organisation, sur le même instrument, le même jour, et l’écart entre elles est la chose la plus utile dans cette publication.

Pourquoi cette affirmation concernant le classement est une affirmation d’un autre genre

En octobre, Liquid AI a annoncé d1-ultra avec une revendication de première place mesurée par rapport à Decision Index v1.0, un classement publié deux jours avant que ce modèle n’existe. Personne ne pouvait le vérifier, car le modèle ne figurait pas dans le classement. Ce n’est pas ce qui s’est passé ici. Artificial Analysis a exécuté d1.2-ultra elle-même, sur son propre matériel, via son propre harnais, et le résultat est une ligne classée avec six scores de composantes et une courbe de calibration jointe. Quand Liquid dit « le plus haut sur l’indice et deux points devant le meilleur modèle de décision précédent », l’indice et le meilleur précédent sont tous deux publics et tous deux concordent.

La version 2.1 est une moyenne pondérée de six évaluations, et les pondérations ne sont pas réparties uniformément. AA-Paperclip pèse 30 % : 1 500 documents privés — CV, reçus, factures, articles de recherche — chacun contenant cinq décisions et dix faits, noté comme un document qui ne compte que si les quinze réponses sont toutes correctes. EvalSafe-O*NET-AA, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1 et AA-Symmetry v1.1 pèsent chacun 15 %. When2Call, le jeu d’appel d’outils de NVIDIA, pèse 10 %. Chaque question est notée selon 50 × (1 + c − (p − c)²), où c indique si le choix était correct et p la probabilité que le modèle lui a attribuée, ce qui donne au total 50 × (1 + exactitude − score de Brier). Une erreur confiante coûte plus cher qu’une erreur hésitante, et un modèle qui annonce 0,6 et a raison obtient un meilleur score qu’un modèle qui annonce 0,99 et a raison.

D'où vient le 75

A generated single-column scoreboard titled ‘Liquid AI d1.2-ultra - the scoreboard’, with six rows: Decision Index 75, first of 24; AA-Paperclip 75.8 with 67.7% of documents all-correct; AA-Symmetry 86.3, second of 24; When2Call 96.5, first of 24; HLE-MultiChoice 2.36% accuracy, last of 24; and Cost $133 per 1M tasks at $0.042 per 1M input tokens. The footer reads ‘All figures measured independently by Artificial Analysis, Decision Index v2.1; Liquid AI's own task accuracies are vendor-reported.’

Décomposé, la première place est portée par deux évaluations et défendue par une troisième. Les autres sont sans intérêt particulier, voire pires, ce qu’il vaut la peine de savoir avant que quiconque ne considère un score composite comme une description du modèle.

• AA-Paperclip, 30 % de l’indice — d1.2-ultra obtient 75,81 au score de décision, avec 67,7 % de documents entièrement corrects, les deux premiers sur 24. Drex Max v1.1 est deuxième à 72,82 avec 63,0 %, SubQ Snap 1.2 troisième à 71,58. Le modèle qu’il remplace, Liquid AI d1-ultra, se situait à 64,69 et 51,3 %.

• When2Call, 10 % — d1.2-ultra est premier à 96,49, devant SubQ Snap 1.2 à 96,10 et d1.2 à 96,09. L'appel d'outils était déjà le point fort du domaine ; l'écart ici est d'un point et demi sur les dix premiers.

• AA-Symmetry, 15 % — deuxième à 86,34, derrière les 88,25 de Mammoth 27B. Sur la mesure plus stricte « all-pass », le tableau change : Mammoth conserve la même réponse d’une paraphrase à l’autre pour 68,3 % des questions, Elephant 9B pour 65,8 %, et d1.2-ultra pour 56,7 %. La deuxième place au score n’est pas la deuxième place en termes de constance.

• EvalSafe-O*NET-AA, 15 % — troisième à 89,53, derrière Jev 1.14 à 91,14. C'est le seul composant où le modèle d'un concurrent mène encore, et l'écart n'est pas assez faible pour être qualifié de bruit.

• AA-Omniscience-Decision v1.1, 15 % — 60,80, ce qui le place en milieu de peloton, et en dessous du 64,39 obtenu par d1-ultra.

• HLE-MultiChoice v1.1, 15 % — 46,36 au score de décision, mais 2,36 % de précision brute, la plus faible des 24. Cet écart n’est pas une contradiction ; c’est à quoi ressemble un modèle bien calibré lorsqu’il refuse presque tout. Son taux de non-hallucination sur le même ensemble est de 76,1 %, ce qui signifie que trois fois sur quatre, il a correctement déclaré ne pas savoir plutôt que de deviner.

La métrique phare qui sous-tend les six, le score distinct de l’indice de précision d’AA, place d1.2-ultra en tête avec 61,6, devant GLiDE v1.2 à 59,4 et Drex Max v1.1 à 58,2. Son score de Brier de 0,150 est le meilleur des 24. Le modèle ne gagne pas parce qu’il est calibré et rien d’autre ; il gagne sur les documents et la calibration ensemble, ce qui est la combinaison que l’indice a été conçu pour récompenser.

La partition qui va dans l’autre sens

Il existe une version de cette sortie qui se lit comme un sans-faute, et c’est la ligne HLE-MultiChoice qui la réfute. Une précision brute de deux et un tiers pour cent sur les questions à choix multiples de Humanity’s Last Exam n’est pas une erreur d’arrondi, et elle ne s’explique pas par l’option de refus : le modèle a la possibilité de s’abstenir, et il le fait, et l’abstention est comptée comme de l’honnêteté plutôt que comme du savoir. Decider v1.3 répond correctement à 15,32 % des mêmes questions. Drex Max v1.1 répond correctement à 8,25 %. Liquid AI d1.2, le modèle bon marché de la même sortie, répond correctement à 5,30 %.

Cette dernière comparaison est l’étrange. Dans les évaluations à forte composante de connaissances, le modèle plus petit et moins cher n’est pas le plus faible. d1.2 obtient 30,0 % de réponses correctes aux questions d’AA-Omniscience-Decision, contre 23,6 % pour d1.2-ultra, et 5,30 % sur HLE contre 2,36 %. Ce que d1.2-ultra achète avec ses deux cents supplémentaires par million de tokens, ce ne sont pas des connaissances ; c’est le traitement de documents, la symétrie et la calibration — la moitié opérationnelle du travail. Si votre charge de travail consiste à extraire des données d’une facture scannée, cet arbitrage est évidemment correct. S’il s’agit de répondre à des questions difficiles sur le monde, le modèle moins cher de la même famille est mesurablement meilleur, et rien dans l’article de lancement ne le dit.

Le changement de facturation qui ne fait pas les gros titres

La phrase la plus lourde de conséquences dans le post de Liquid est une règle de facturation, pas un benchmark. Avec d1-ultra, chaque question était facturée comme un prompt à part entière, incluant toutes les images jointes, de sorte que poser dix questions sur une seule photographie revenait à payer la photographie dix fois. Avec d1.2 et d1.2-ultra, la requête ne facture son texte et ses images qu’une seule fois, et chaque question supplémentaire n’ajoute que son propre texte.

Prenez un document de 2 000 tokens avec une image de 1024×1024, qui coûte 1 536 tokens au tarif indiqué de 1,5 token par patch de 32×32 pixels, et dix questions courtes d’environ 30 tokens chacune. Selon l’ancienne règle, cette requête représente environ 35 700 tokens. Selon la nouvelle, elle en représente environ 3 840. À 0,042 $ par million de tokens d’entrée, cela fait environ 0,0015 $ par requête contre 0,00016 $ — un peu plus de neuf fois moins cher pour un travail identique à un prix affiché identique. À 100 000 requêtes par mois, la différence est d’environ 150 $ contre 16 $. Les deux chiffres sont des calculs fondés sur la propre description de facturation du fournisseur, pas des mesures.

La deuxième spécification qui a évolué est la fenêtre de contexte. Artificial Analysis indique 66k tokens pour les deux modèles d1.2, contre 33k pour d1-ultra. Le billet de Liquid ne mentionne aucune fenêtre, donc le chiffre de 66k correspond à la lecture du classement plutôt qu’à une spécification du fournisseur, et il reste le double de ce que portait la génération précédente. Pour un modèle dont toute la tâche consiste à se voir transmettre un état, il s’agit d’un changement pratique plus important que quatre points d’indice.

Cinq nouveaux types de réponses, et l’audio

Les ajouts de capacités sont additifs plutôt qu’une refonte : le même point de terminaison, la même structure de requête, cinq nouveaux types de réponse et une nouvelle modalité d’entrée. Une question peut désormais demander une valeur lue sur la page — un nombre, une date, un nom — renvoyée avec les caractères à partir desquels elle a été lue, ou « introuvable » si elle est absente. Elle peut demander chaque segment d’un type donné avec ses positions, ce qui correspond au cas des PII. Elle peut demander une boîte englobante autour d’un objet ou une boîte englobante autour de chaque instance, plus un décompte. Elle peut demander une estimation assortie d’une plage. Et elle peut demander chaque option applicable, chacune avec sa propre probabilité.

L’audio est l’autre ajout, et il fonctionne dans les deux sens : l’enregistrement peut être le sujet de la question, ou être la question elle-même. Liquid rapporte que, sur des enregistrements non vus, les deux modèles répondent à 95 % à 97 % des questions portant sur le son qu’ils entendent, issues d’ESC-50, ou sur la langue parlée, issues de FLEURS sur 43 langues, avec trois à six options chacune et des confusions proches comme l’espagnol et le portugais dans le lot.

Les chiffres d'exactitude des cinq nouvelles tâches proviennent de jeux de test internes construits à partir de sous-ensembles réservés de jeux de données publics, et le fournisseur le dit clairement, car aucun benchmark public ne couvre encore ces tâches. À lire comme l'évaluation du fournisseur lui-même : 98 % et 96 % pour la lecture d'une valeur sur un reçu avec CORD et SROIE, 94 %/93 % de précision et de rappel contre 92 %/88 % pour les spans PII sur Nemotron PII, 94 % pour les deux sur la localisation d'objets dans la famille RefCOCO, 93 % et 92 % sur le comptage à un près avec COCO, et 87 % contre 90 % pour sélectionner chaque objet présent — la seule ligne où le modèle bon marché l'emporte.

Vérification de la demande en paiement

A headless-browser screenshot of the Artificial Analysis Decision Index v2.1 page, captured 17 November 2026 in English, headed ‘Artificial Analysis Decision Index v2.1’ and described as a composite index testing decision models across document decisions and extraction, tool calling, knowledge, reasoning and invariance, with a note that version 2.1 combines six evaluations starting with AA-Paperclip's 1,500 resumes, receipts, invoices and research papers.

La phrase de Liquid sur les prix est inhabituellement vérifiable : « aucun modèle n’obtient un score supérieur à d1.2 pour moins cher, et aucun modèle n’obtient un score supérieur à d1.2-ultra à aucun prix. » Les deux moitiés résistent à l’épreuve du classement. Rien dans l’indice des 24 modèles ne dépasse 74,85, donc la seconde moitié est trivialement vraie. Pour la première, d1.2 se situe à 68,69 et à 63 $ le million de tâches ; chaque modèle qui obtient un score supérieur coûte plus cher, le concurrent bon marché le plus proche étant Decider v1.3 à 70,41 et 68 $. L’affirmation tient, et elle tient sur les chiffres de quelqu’un d’autre que ceux de Liquid, ce qui est plus rare que cela ne devrait l’être.

Les chiffres de coût eux-mêmes proviennent d’Artificial Analysis, qui exécute chaque évaluation aux prix catalogue actuels et en fait la moyenne : 133 $ par million de tâches pour d1.2-ultra, onzième sur 24 face à une médiane de catégorie de 135 $, et 63 $ pour d1.2, troisième modèle le moins cher. Le temps par tâche est de 218 ms pour le grand modèle et de 150 ms pour le petit, contre une médiane de catégorie de 209 ms — le modèle phare est légèrement plus lent que la moyenne, le modèle bon marché nettement plus rapide, et les deux sont d’un ordre de grandeur plus rapides que les modèles génératifs qui figurent sur le même tableau, à onze et trente-deux secondes par tâche.

Où vous pouvez l'appeler, et sur quoi l'exécuter

Les deux modèles sont disponibles dès aujourd'hui sur l'API propre à Liquid à api.liquid.ai/decisions/v1/systemone, appelés d1.2-ultra et d1.2, avec des clés depuis la console Liquid, et les deux sont sur le playground Liquid. Le billet de Liquid indique que d'autres plateformes tierces arrivent ; à l'heure où nous écrivons, l'API propre du fournisseur est la seule voie qui existe. Aucun des deux modèles ne figure dans notre catalogue, et cet article ne constitue pas une affirmation de disponibilité pour l'un ou l'autre.

Ce qui figure dans notre catalogue, c’est Jev 1.14, le modèle qui est en tête sur le composant où d1.2-ultra ne l’est pas — EvalSafe-O*NET-AA, à 91,14 contre 89,53 — servi via la même systemone forme de point de terminaison, texte en entrée et JSON structuré en sortie, à 0,042 $ par million de jetons d’entrée. Cette coïncidence est utile : une équipe qui évalue cette version peut placer le nouveau modèle et le modèle en place sur les mêmes états sans second contrat ni seconde bibliothèque cliente, parce qu’une API pour plus de 200 modèles parle déjà les deux formes. Les prix catalogue sont répercutés avec 0 % de marge, donc si Liquid modifie le 0,042 $, le chiffre ici évolue avec lui plutôt qu’après, et le basculement automatique signifie qu’un modèle vieux d’un jour peut prendre une partie d’une charge de travail réelle sans qu’on lui confie la totalité.

A headless-browser screenshot of the OrcaRouter model page for typesafe/jev-1.14, captured 17 November 2026 in English, showing the /v1/systemone endpoint, Zero Data Retention availability, an input and output list price of $0.04, and measured latencies of 182 ms and 372 ms.

La recommandation qui découle des données plutôt que de la page tarifaire : faites-le tourner en mode fantôme. d1.2-ultra arrive premier sur les documents et premier sur la calibration, une combinaison véritablement solide pour les pipelines d’extraction, et il est dernier sur les questions de connaissances difficiles, une véritable limite plutôt qu’une note de bas de page. Envoyez-lui les états que votre pipeline voit réellement, comparez les probabilités plutôt que les choix top-1, et surveillez les cas où il répond 0,8 et se trompe, car c’est dans cette queue que le prédécesseur d’octobre obtenait de mauvais scores et que l’amélioration se manifeste ou non.

La question ouverte n’est pas de savoir si 75 est réel — Artificial Analysis l’a mesuré et a publié les composantes. Elle est de savoir si une évaluation de documents pondérée à 30 %, portant sur 1 500 documents privés, se généralise à vos documents. C’est une question à laquelle seul votre propre échantillon étiqueté peut répondre, et il vaut la peine d’y répondre avant que le changement de facturation ne vous incite à poser dix questions par document au lieu d’une.