Eine generierte Titelkarte mit der Überschrift „Erster Platz, letzter Platz, dasselbe Board“, untertitelt mit „Liquid AI d1.2-ultra - Decision Index v2.1, 16. November 2026“. Zwei abgerundete Karten liegen nebeneinander: Links steht „#1 von 24“ über „Decision Index 75“, rechts steht „#24 von 24“ über „HLE-Genauigkeit 2,36 %“; darunter steht in einer Bildunterschrift „ein Modell, sechs Bewertungen“, und drei umrandete Chips zeigen „gemessen von Artificial Analysis“, „66k Kontext“ und „0,042 $ pro 1 Mio. Eingabetoken“. Das OrcaRouter-Logo ist unten rechts eingeblendet.
Guides & Insights

Liquid AI d1.2-ultra führt den Decision Index mit 75 an — und belegt bei einem seiner sechs Tests den letzten Platz

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Liquid AI d1.2-ultra ist das erste Modell dieser Kategorie, dem jemand anderes als das Unternehmen, das es entwickelt hat, den ersten Platz zuerkennt. Artificial Analysis bewertete es mit 75 im Decision Index v2.1, druckte diese Zahl auf die eigene Board-Seite des Modells und setzte es auf Platz eins von 24 Entscheidungsmodellen – mit 2,2 Punkten Vorsprung vor Nace.AI's Drex Max v1.1 mit 73. Liquid AI d1.2, die kleinere Hälfte derselben Veröffentlichung, landet mit 69 auf Platz neun. Beide wurden am 16. November 2026 veröffentlicht, womit dies der erste Liquid-AI-Launch ist, bei dem die Leaderboard-Behauptung mit einem unabhängigen Board einherkam, das das Modell bereits führte, statt mit einer Anbieterzahl, die auf ein Board verwies, das es bereits vorher gab.

Dasselbe Board führt d1.2-ultra außerdem als letztes jener 24 Modelle auf HLE-MultiChoice, bei 2,36 % roher Genauigkeit. Beide Aussagen sind zugleich wahr, sie werden von derselben Organisation mit demselben Instrument am selben Tag gemessen, und der Abstand zwischen ihnen ist das Nützlichste an der Veröffentlichung.

Warum diese Bestenlisten-Behauptung eine andere Art von Behauptung ist

Im Oktober kündigte Liquid AI d1-ultra mit der Behauptung an, gemessen am Decision Index v1.0 den ersten Platz zu belegen – einer Rangliste, die zwei Tage vor der Existenz dieses Modells veröffentlicht wurde. Niemand konnte das überprüfen, weil das Modell nicht in der Rangliste stand. So war es hier nicht. Artificial Analysis hat d1.2-ultra selbst ausgeführt, auf eigener Hardware, durch die eigene Testumgebung, und das Ergebnis ist eine Ranglistenzeile mit sechs Teilwerten und einer beigefügten Kalibrierungskurve. Wenn Liquid sagt: „der höchste im Index und zwei Punkte vor dem bisher besten Entscheidungsmodell“, dann sind der Index und der bisherige Bestwert beide öffentlich, und beide stimmen überein.

Version 2.1 ist ein gewichteter Durchschnitt aus sechs Evaluierungen, und die Gewichtungen sind nicht gleichmäßig verteilt. AA-Paperclip trägt 30 %: 1.500 private Dokumente – Lebensläufe, Belege, Rechnungen, Forschungsarbeiten – jeweils mit fünf Entscheidungen und zehn Fakten, bewertet als ein Dokument, das nur zählt, wenn alle fünfzehn Antworten richtig sind. EvalSafe-O*NET-AA, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1 und AA-Symmetry v1.1 tragen jeweils 15 %. When2Call, NVIDIAs Tool-Calling-Set, trägt 10 %. Jede Frage wird als 50 × (1 + c − (p − c)²) bewertet, wobei c angibt, ob die Auswahl richtig war, und p die Wahrscheinlichkeit ist, die das Modell darauf gelegt hat; dies aggregiert zu 50 × (1 + Genauigkeit − Brier-Score). Ein sicherer Fehler kostet mehr als ein zögerlicher, und ein Modell, das 0,6 angibt und richtig liegt, erzielt eine bessere Punktzahl als eines, das 0,99 angibt und richtig liegt.

Woher die 75 kommt

A generated single-column scoreboard titled ‘Liquid AI d1.2-ultra - the scoreboard’, with six rows: Decision Index 75, first of 24; AA-Paperclip 75.8 with 67.7% of documents all-correct; AA-Symmetry 86.3, second of 24; When2Call 96.5, first of 24; HLE-MultiChoice 2.36% accuracy, last of 24; and Cost $133 per 1M tasks at $0.042 per 1M input tokens. The footer reads ‘All figures measured independently by Artificial Analysis, Decision Index v2.1; Liquid AI's own task accuracies are vendor-reported.’

Aufgeschlüsselt wird der erste Platz von zwei Bewertungen getragen und von einer dritten verteidigt. Der Rest ist unspektakulär oder schlechter, was man wissen sollte, bevor jemand einen zusammengesetzten Score als Beschreibung des Modells behandelt.

• AA-Paperclip, 30 % des Index — d1.2-ultra erzielt 75,81 beim Decision Score und 67,7 % vollständig korrekte Dokumente – beides Platz 1 von 24. Drex Max v1.1 ist Zweiter mit 72,82 und 63,0 %, SubQ Snap 1.2 Dritter mit 71,58. Das Modell, das es ersetzt, Liquid AI d1-ultra, lag bei 64,69 und 51,3 %.

• When2Call, 10 % — d1.2-ultra liegt mit 96,49 auf Platz eins, vor SubQ Snap 1.2 mit 96,10 und d1.2 mit 96,09. Tool-Calling war ohnehin die stärkste Disziplin des Feldes; die Spanne über die Top zehn beträgt hier anderthalb Punkte.

• AA-Symmetry, 15 % — Zweiter mit 86,34, hinter Mammoth 27B mit 88,25. Beim strengeren All-Pass-Maß ändert sich das Bild: Mammoth hält bei 68,3 % der Fragen über Paraphrasierungen hinweg dieselbe Antwort, Elephant 9B bei 65,8 % und d1.2-ultra bei 56,7 %. Zweiter Platz beim Score ist nicht gleich zweiter Platz bei der Konsistenz.

• EvalSafe-O*NET-AA, 15 % — Dritter mit 89,53, hinter Jev 1.14 mit 91,14. Dies ist die einzige Komponente, in der das Modell eines Wettbewerbers noch führt, und der Abstand ist nicht klein genug, um ihn als Rauschen abzutun.

AA-Omniscience-Decision v1.1, 15 % — 60,80, was im Mittelfeld liegt und unter den 64,39 bleibt, die d1-ultra erzielt hat.

• HLE-MultiChoice v1.1, 15 % — 46,36 beim Entscheidungswert, aber 2,36 % Rohtrefferquote, die niedrigste aller 24. Diese Lücke ist kein Widerspruch; so sieht ein gut kalibriertes Modell aus, wenn es fast alles ablehnt. Seine Nicht-Halluzinationsrate auf derselben Menge beträgt 76,1 %, das heißt, in drei von vier Fällen sagte es korrekt, dass es etwas nicht wusste, statt zu raten.

Die wichtigste Kennzahl unter allen sechs, AAs separater Genauigkeitsindexwert, setzt d1.2-ultra mit 61,6 auf Platz eins, vor GLiDE v1.2 mit 59,4 und Drex Max v1.1 mit 58,2. Sein Brier-Score von 0,150 ist der beste der 24. Das Modell gewinnt nicht, weil es kalibriert ist und sonst nichts; es gewinnt bei Dokumenten und Kalibrierung zusammen, was die Kombination ist, die der Index belohnen soll.

Die Partitur, die in die andere Richtung geht

Es gibt eine Version dieser Veröffentlichung, die sich wie ein sauberer Durchmarsch liest, und die HLE-MultiChoice-Zeile ist es, die dem widerspricht. Zwei und ein Drittel Prozent Rohtrefferquote bei Humanity's Last Exam im Multiple-Choice-Verfahren sind kein Rundungsfehler, und sie lassen sich nicht mit der Ablehnungsoption weg erklären: Das Modell hat die Möglichkeit, sich zu enthalten, und es nutzt sie, und die Enthaltung wird als Ehrlichkeit statt als Wissen gewertet. Decider v1.3 beantwortet 15,32 % derselben Fragen korrekt. Drex Max v1.1 beantwortet 8,25 %. Liquid AI d1.2, das günstige Modell in derselben Veröffentlichung, beantwortet 5,30 %.

Der letzte Vergleich ist der seltsame. Bei den wissenslastigen Evaluierungen ist das kleinere, günstigere Modell nicht das schwächere. d1.2 beantwortet 30,0 % der Fragen von AA-Omniscience-Decision richtig, gegenüber 23,6 % bei d1.2-ultra, und erreicht 5,30 % bei HLE gegenüber 2,36 %. Was d1.2-ultra mit seinen zusätzlichen zwei Cent pro Million Tokens erkauft, ist nicht Wissen; es sind Dokumentenverarbeitung, Symmetrie und Kalibrierung – die operative Hälfte der Aufgabe. Wenn Ihre Arbeitslast darin besteht, aus einer gescannten Rechnung Daten zu extrahieren, ist dieser Tausch offensichtlich richtig. Wenn es darum geht, schwierige Fragen über die Welt zu beantworten, ist das günstigere Modell derselben Familie messbar das bessere, und nichts im Launch-Post sagt das.

Die Abrechnungsänderung, die nicht in der Schlagzeile steht

Der folgenreichste Satz in Liquids Beitrag ist eine Abrechnungsregel, kein Benchmark. Unter d1-ultra wurde jede Frage als eigener Prompt abgerechnet, einschließlich aller angehängten Bilder, sodass man beim Stellen von zehn Fragen zu einem Foto zehnmal für das Foto bezahlte. Unter d1.2 und d1.2-ultra werden Text und Bilder einer Anfrage einmal abgerechnet, und jede zusätzliche Frage fügt nur ihren eigenen Text hinzu.

Nehmen Sie ein 2.000-Token-Dokument mit einem 1024×1024-Bild, das bei der angegebenen Rate von 1,5 Tokens pro 32×32-Pixel-Patch 1.536 Tokens kostet, und zehn kurze Fragen mit jeweils etwa 30 Tokens. Nach der alten Regel umfasst diese Anfrage etwa 35.700 Tokens. Nach der neuen sind es etwa 3.840. Bei 0,042 US-Dollar pro Million Eingabe-Tokens sind das etwa 0,0015 US-Dollar pro Anfrage gegenüber 0,00016 US-Dollar – etwas mehr als neunmal günstiger für identische Arbeit bei identischem Listenpreis. Bei 100.000 Anfragen pro Monat beträgt der Unterschied etwa 150 US-Dollar gegenüber 16 US-Dollar. Beide Zahlen sind Arithmetik auf Grundlage der eigenen Abrechnungsbeschreibung des Anbieters, keine Messungen.

Die zweite Spezifikation, die sich verändert hat, ist das Kontextfenster. Artificial Analysis gibt für beide d1.2-Modelle 66k Token an, gegenüber 33k beim d1-ultra. Liquids Beitrag nennt überhaupt kein Fenster, daher ist die Zahl von 66k die Lesart des Boards und keine Herstellerspezifikation, und sie ist immer noch doppelt so hoch wie das, was die vorherige Generation mitbrachte. Für ein Modell, dessen ganze Aufgabe darin besteht, Zustand übergeben zu bekommen, ist das eine größere praktische Veränderung als vier Indexpunkte.

Fünf neue Antworttypen und Audio

Die Erweiterungen der Fähigkeiten sind additiv statt einer Überarbeitung: derselbe Endpunkt, dieselbe Anfrageform, fünf neue Arten von Antworten und eine neue Eingabemodalität. Eine Frage kann nun nach einem von der Seite abgelesenen Wert verlangen – einer Zahl, einem Datum, einem Namen –, zurückgegeben zusammen mit den Zeichen, von denen er abgelesen wurde, oder „nicht gefunden“, wenn er fehlt. Sie kann nach jeder Textspanne einer bestimmten Art mit Positionen verlangen, was der PII-Fall ist. Sie kann nach einer Box um ein Objekt oder einer Box um jedes Vorkommen plus einer Anzahl verlangen. Sie kann nach einer Schätzung mit angehängtem Bereich verlangen. Und sie kann nach jeder zutreffenden Option verlangen, jede mit ihrer eigenen Wahrscheinlichkeit.

Audio ist die andere Ergänzung und funktioniert in beide Richtungen: Die Aufnahme kann das sein, worum es in der Frage geht, oder sie kann die Frage selbst sein. Liquid berichtet, dass bei zurückgehaltenen Aufnahmen beide Modelle 95 % bis 97 % der Fragen dazu beantworten, welchen Klang sie hören – aus ESC-50 – oder welche Sprache gesprochen wird – aus FLEURS über 43 Sprachen –, mit jeweils drei bis sechs Optionen und kniffligen Verwechslungen wie Spanisch und Portugiesisch im Mix.

Die Genauigkeitswerte für die fünf neuen Aufgaben stammen aus internen Testsets, die aus zurückgehaltenen Splits öffentlicher Datensätze erstellt wurden, und der Anbieter sagt das offen, weil noch kein öffentlicher Benchmark diese Aufgaben abdeckt. Lesen Sie sie als eine eigene Bewertung des Anbieters: 98 % und 96 % beim Auslesen eines Werts aus einem Beleg auf CORD und SROIE, 94 %/93 % Präzision und Recall gegenüber 92 %/88 % für PII-Spans auf Nemotron PII, 94 % für beides bei der Objektlokalisierung über die RefCOCO-Familie, 93 % und 92 % beim Zählen mit einer Toleranz von eins über COCO hinweg und 87 % gegenüber 90 % beim Auswählen jedes vorhandenen Objekts — die einzige Zeile, in der das günstige Modell gewinnt.

Geldanspruch prüfen

A headless-browser screenshot of the Artificial Analysis Decision Index v2.1 page, captured 17 November 2026 in English, headed ‘Artificial Analysis Decision Index v2.1’ and described as a composite index testing decision models across document decisions and extraction, tool calling, knowledge, reasoning and invariance, with a note that version 2.1 combines six evaluations starting with AA-Paperclip's 1,500 resumes, receipts, invoices and research papers.

Liquids Preisaussage ist ungewöhnlich überprüfbar: „Kein Modell erzielt für weniger Geld eine höhere Punktzahl als d1.2, und kein Modell erzielt zu irgendeinem Preis eine höhere Punktzahl als d1.2-ultra.“ Beide Hälften überstehen den Abgleich mit der Bestenliste. Nichts im Index mit 24 Modellen erzielt überhaupt mehr als 74.85, daher ist die zweite Hälfte trivialerweise wahr. Für die erste liegt d1.2 bei 68.69 und 63 $ pro Million Aufgaben; jedes Modell, das darüber liegt, kostet mehr, wobei der nächste günstige Herausforderer Decider v1.3 mit 70.41 und 68 $ ist. Die Behauptung stimmt, und sie stimmt auf den Zahlen von jemand anderem statt auf denen von Liquid, was seltener ist, als es sein sollte.

Die Kostenangaben selbst stammen von Artificial Analysis, das jede Bewertung zu aktuellen Listenpreisen durchführt und Mittelwerte bildet: 133 US-Dollar pro Million Aufgaben für d1.2-ultra, Platz elf von 24 gegenüber einem Klassenmedian von 135 US-Dollar, und 63 US-Dollar für d1.2, das drittgünstigste. Die Zeit pro Aufgabe beträgt 218 ms für das große Modell und 150 ms für das kleine, gegenüber einem Klassenmedian von 209 ms — das Flaggschiff ist etwas langsamer als der Durchschnitt, das günstige Modell deutlich schneller, und beide sind um eine Größenordnung schneller als die generativen Modelle, die in derselben Rangliste mit elf bzw. zweiunddreißig Sekunden pro Aufgabe auftauchen.

Wo Sie es aufrufen können und worauf Sie es anwenden können

Beide Modelle sind heute live auf der eigenen API von Liquid unter api.liquid.ai/decisions/v1/systemone, aufrufbar als d1.2-ultra und d1.2, mit Schlüsseln aus der Liquid-Konsole, und beide sind im Liquid-Playground verfügbar. In Liquids Beitrag heißt es, dass zusätzliche Drittanbieterplattformen kommen; zum Zeitpunkt dieses Artikels ist die eigene API des Anbieters der Weg, der existiert. Keines der Modelle ist in unserem Katalog, und dieser Artikel ist keine Verfügbarkeitsaussage für eines der beiden.

Was in unserem Katalog steht, ist Jev 1.14, das Modell, das bei der einen Komponente vorn liegt, bei der d1.2-ultra es nicht tut — EvalSafe-O*NET-AA, mit 91,14 gegenüber 89,53 — bereitgestellt über dieselbe systemone-Endpunktform, Text als Eingabe und strukturiertes JSON als Ausgabe, zu $0,042 pro Million Eingabe-Tokens. Diese Koinzidenz ist nützlich: Ein Team, das dieses Release evaluiert, kann das neue Modell und das etablierte Modell mit denselben Zuständen laufen lassen, ohne einen zweiten Vertrag oder eine zweite Client-Bibliothek, weil eine API für 200+ Modelle bereits beide Formen spricht. Listenpreise werden mit 0 % Aufschlag durchgereicht, sodass sich der Wert hier, wenn Liquid den Preis von $0,042 ändert, mit ihm bewegt und nicht erst danach, und automatisches Failover bedeutet, dass ein erst einen Tag altes Modell einen Teil einer echten Arbeitslast übernehmen kann, ohne dass ihm die gesamte Arbeitslast anvertraut wird.

A headless-browser screenshot of the OrcaRouter model page for typesafe/jev-1.14, captured 17 November 2026 in English, showing the /v1/systemone endpoint, Zero Data Retention availability, an input and output list price of $0.04, and measured latencies of 182 ms and 372 ms.

Die Empfehlung, die sich aus den Daten statt aus der Preisseite ergibt: Lassen Sie es im Shadow-Betrieb laufen. d1.2-ultra ist bei Dokumenten Erster und bei der Kalibrierung Erster, was für Extraktions-Pipelines eine wirklich starke Kombination ist, und bei schwierigen Wissensfragen ist es Letzter, was eine echte Einschränkung und keine Fußnote ist. Geben Sie ihm die Zustände, die Ihre Pipeline tatsächlich sieht, vergleichen Sie die Wahrscheinlichkeiten statt der Top-1-Auswahlen, und achten Sie auf die Fälle, in denen es 0,8 antwortet und falsch liegt, denn dieser Tail ist der Bereich, in dem das Oktober-Vorgängermodell schlecht abschnitt und in dem sich die Verbesserung entweder zeigt oder nicht.

Die offene Frage ist nicht, ob 75 echt ist – Artificial Analysis hat den Wert gemessen und die Komponenten veröffentlicht. Sie lautet, ob sich eine zu 30 % gewichtete Dokumentenbewertung anhand von 1.500 privaten Dokumenten auf Ihre Dokumente verallgemeinern lässt. Diese Frage kann nur Ihre eigene gelabelte Stichprobe beantworten, und es lohnt sich, sie zu beantworten, bevor die Abrechnungsänderung Sie dazu verleitet, pro Dokument zehn Fragen statt einer zu stellen.