Ett genererat titelkort med rubriken ”Första plats, sista plats, samma resultattavla” och underrubriken ”Liquid AI d1.2-ultra – Decision Index v2.1, 16 november 2026”. Två rundade kort ligger sida vid sida: det vänstra visar ”#1 av 24” ovanför ”Decision Index 75”, det högra visar ”#24 av 24” ovanför ”HLE-noggrannhet 2,36 %”; under dem står en bildtextrad: ”en modell, sex utvärderingar”, och tre chips med kontur visar ”mätt av Artificial Analysis”, ”66k kontext” och ”$0,042 per 1 miljon indatatokens”. OrcaRouter-märket är komponerat längst ner till höger.
Guides & Insights

Liquid AI d1.2-ultra toppar Decision Index med 75 – och kommer sist i ett av sina sex tester

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Liquid AI d1.2-ultra är den första modellen i den här kategorin som har fått en förstaplats av någon annan än företaget som byggde den. Artificial Analysis gav den 75 i Decision Index v2.1, tryckte det numret på modellens egen sida i resultattavlan och rankade den som etta bland 24 beslutsmodeller – 2,2 poäng före Nace.AI:s Drex Max v1.1 på 73. Liquid AI d1.2, den mindre hälften av samma lansering, landar på nionde plats med 69. Båda släpptes den 16 november 2026, vilket gör detta till den första Liquid AI-lanseringen där påståendet om en topplacering kom med en oberoende resultattavla som redan innehöll modellen, i stället för en leverantörssiffra som pekade på en resultattavla som fanns före den.

Samma resultattavla placerar också d1.2-ultra sist bland dessa 24 modeller på HLE-MultiChoice, med 2,36 % rå noggrannhet. Båda påståendena är sanna samtidigt, de är uppmätta av samma organisation med samma instrument samma dag, och avståndet mellan dem är det mest användbara i släppet.

Varför detta topplistepåstående är en annan sorts påstående

I oktober tillkännagav Liquid AI d1-ultra med ett förstaplatsanspråk uppmätt mot Decision Index v1.0, en resultattavla som publicerades två dagar innan modellen fanns. Ingen kunde kontrollera det, eftersom modellen inte fanns på tavlan. Det är inte vad som hände här. Artificial Analysis körde d1.2-ultra själva, på sin egen hårdvara, genom sin egen testram, och resultatet är en rankad rad med sex delpoäng och en kalibreringskurva bifogad. När Liquid säger "högst på indexet och två poäng före den tidigare bästa beslutsmodellen", är både indexet och den tidigare bästa offentliga och båda stämmer överens.

Version 2.1 är ett viktat medelvärde av sex utvärderingar, och vikterna är inte jämnt fördelade. AA-Paperclip står för 30 %: 1 500 privata dokument – meritförteckningar, kvitton, fakturor, forskningsartiklar – som var och en innehåller fem beslut och tio fakta, poängsätts som ett dokument som bara räknas om alla femton svar är rätt. EvalSafe-O*NET-AA, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1 och AA-Symmetry v1.1 står för 15 % vardera. When2Call, NVIDIA:s verktygsanropande uppsättning, står för 10 %. Varje fråga poängsätts som 50 × (1 + c − (p − c)²), där c anger om valet var rätt och p är sannolikheten som modellen lade på det, vilket aggregeras till 50 × (1 + accuracy − Brier score). Ett självsäkert fel kostar mer än ett tveksamt, och en modell som anger 0,6 och har rätt får bättre poäng än en som anger 0,99 och har rätt.

Varifrån 75:an kommer

A generated single-column scoreboard titled ‘Liquid AI d1.2-ultra - the scoreboard’, with six rows: Decision Index 75, first of 24; AA-Paperclip 75.8 with 67.7% of documents all-correct; AA-Symmetry 86.3, second of 24; When2Call 96.5, first of 24; HLE-MultiChoice 2.36% accuracy, last of 24; and Cost $133 per 1M tasks at $0.042 per 1M input tokens. The footer reads ‘All figures measured independently by Artificial Analysis, Decision Index v2.1; Liquid AI's own task accuracies are vendor-reported.’

Om man bryter ner det bärs förstaplatsen upp av två utvärderingar och försvaras av en tredje. Resten är oanmärkningsvärd eller sämre, vilket är värt att veta innan någon behandlar en sammansatt poäng som en beskrivning av modellen.

AA-Paperclip, 30 % av indexet — d1.2-ultra får 75,81 i beslutspoäng med 67,7 % av dokumenten helt korrekta, båda bäst av 24. Drex Max v1.1 är tvåa på 72,82 med 63,0 %, SubQ Snap 1.2 trea på 71,58. Modellen den ersätter, Liquid AI d1-ultra, låg på 64,69 och 51,3 %.

• When2Call, 10 % — d1.2-ultra ligger först på 96,49, före SubQ Snap 1.2 på 96,10 och d1.2 på 96,09. Verktygsanrop var redan fältets starkaste sida; spridningen här är en och en halv poäng inom topp tio.

• AA-Symmetry, 15 % – tvåa på 86,34, efter Mammoth 27B:s 88,25. Med det strikare all-pass-måttet förändras bilden: Mammoth håller samma svar över omformuleringar i 68,3 % av frågorna, Elephant 9B i 65,8 % och d1.2-ultra i 56,7 %. Andraplats på poängen är inte andraplats i konsekvens.

• EvalSafe-O*NET-AA, 15 % – trea på 89,53, bakom Jev 1.14 på 91,14. Detta är den enda komponenten där en konkurrents modell fortfarande leder, och det är inte tillräckligt nära för att kallas brus.

• AA-Omniscience-Decision v1.1, 15 % – 60,80, vilket är i mitten av fältet och under de 64,39 som d1-ultra uppnådde.

• HLE-MultiChoice v1.1, 15 % – 46,36 på beslutspoängen, men 2,36 % rå träffsäkerhet, den lägsta av alla 24. Det gapet är ingen motsägelse; det är så en välkalibrerad modell ser ut när den avböjer nästan allt. Dess icke-hallucineringsgrad på samma uppsättning är 76,1 %, vilket innebär att den tre gånger av fyra korrekt sa att den inte visste i stället för att gissa.

Huvudmåttet under alla sex, AA:s separata noggrannhetsindexpoäng, placerar d1.2-ultra först på 61,6, före GLiDE v1.2 på 59,4 och Drex Max v1.1 på 58,2. Dess Brier-poäng på 0,150 är bäst av de 24. Modellen vinner inte för att den är kalibrerad och inget annat; den vinner på dokument och kalibrering tillsammans, vilket är kombinationen som indexet byggdes för att belöna.

Poängen som går åt andra hållet

Det finns en version av den här lanseringen som framstår som en totalsuccé, och det är HLE-MultiChoice-raden som motbevisar det. Två och en tredjedels procent i rå träffsäkerhet på flervalsdelen av Humanity's Last Exam är inte ett avrundningsfel, och det förklaras inte bort av avstå-alternativet: modellen har möjlighet att avstå, och den gör det, och avståendet räknas som ärlighet snarare än som kunskap. Decider v1.3 svarar korrekt på 15,32 % av samma frågor. Drex Max v1.1 svarar korrekt på 8,25 %. Liquid AI d1.2, den billiga modellen i samma lansering, svarar korrekt på 5,30 %.

Den sista jämförelsen är den märkliga. På kunskapsintensiva utvärderingar är den mindre, billigare modellen inte den svagare. d1.2 får 30,0 % rätt på AA-Omniscience-Decision-frågor mot d1.2-ultras 23,6 %, och 5,30 % på HLE mot 2,36 %. Det d1.2-ultra köper med sina extra två cent per miljon tokens är inte kunskap; det är dokumenthantering, symmetri och kalibrering – den operativa halvan av jobbet. Om din arbetsbelastning är utvinning från en skannad faktura är den avvägningen uppenbart korrekt. Om den handlar om att svara på svåra frågor om världen är den billigare modellen i samma familj mätbart bättre, och inget i lanseringsinlägget säger det.

Faktureringsändringen som inte står i rubriken

Den mest avgörande meningen i Liquids inlägg är en faktureringsregel, inte ett riktmärke. Under d1-ultra fakturerades varje fråga som en egen prompt, inklusive alla bifogade bilder, så att ställa tio frågor om ett fotografi innebar att man betalade för fotografiet tio gånger. Under d1.2 och d1.2-ultra faktureras begärans text och bilder en gång, och varje ytterligare fråga tillför endast sin egen text.

Ta ett dokument på 2 000 tokens med en 1024×1024-bild, som kostar 1 536 tokens vid den angivna taxan på 1,5 tokens per 32×32-pixelruta, och tio korta frågor på ungefär 30 tokens vardera. Enligt den gamla regeln omfattar den förfrågan cirka 35 700 tokens. Enligt den nya omfattar den cirka 3 840. Med $0,042 per miljon indatatokens blir det ungefär $0,0015 per förfrågan mot $0,00016 — drygt nio gånger billigare för identiskt arbete till ett identiskt listpris. Vid 100 000 förfrågningar i månaden är skillnaden ungefär $150 mot $16. Båda siffrorna är beräkningar utifrån leverantörens egen faktureringsbeskrivning, inte mätningar.

Den andra specifikationen som förändrades är kontextfönstret. Artificial Analysis listar 66k tokens för båda d1.2-modellerna, mot 33k för d1-ultra. Liquids inlägg anger inte något fönster alls, så siffran 66k är listans tolkning snarare än en leverantörsspecifikation, och den är fortfarande dubbelt så stor som föregående generation hade. För en modell vars hela uppgift är att få state överlämnat är det en större praktisk förändring än fyra indexpoäng.

Fem nya svarstyper och ljud

Funktionstilläggen är additiva snarare än en omarbetning: samma endpoint, samma förfrågningsstruktur, fem nya typer av svar och en ny inmatningsmodalitet. En fråga kan nu begära ett värde som lästs av från sidan – ett nummer, ett datum, ett namn – returnerat tillsammans med tecknen det lästes från, eller "hittades inte" om det saknas. Den kan begära varje spann av en given typ med positioner, vilket är PII-fallet. Den kan begära en ruta runt ett objekt eller en ruta runt varje instans plus ett antal. Den kan begära en uppskattning med ett intervall kopplat till sig. Och den kan begära varje tillämpligt alternativ, vart och ett med sin egen sannolikhet.

Ljud är det andra tillskottet och fungerar åt båda hållen: inspelningen kan vara det som frågan handlar om, eller så kan den vara frågan i sig. Liquid rapporterar att båda modellerna på utvärderingsinspelningar svarar på 95 % till 97 % av frågorna om vilket ljud de hör, från ESC-50, eller vilket språk som talas, från FLEURS över 43 språk, med tre till sex alternativ vardera och nära förväxlingar som spanska och portugisiska bland alternativen.

Noggrannhetssiffrorna för de fem nya uppgifterna kommer från interna testset som byggts från utelämnade delar av offentliga datamängder, och leverantören säger det rakt ut, eftersom inget offentligt riktmärke täcker dessa uppgifter ännu. Läs dem som leverantörens egen utvärdering: 98 % och 96 % för att läsa ett värde från ett kvitto på CORD och SROIE, 94 %/93 % precision och recall mot 92 %/88 % för PII-span på Nemotron PII, 94 % för båda vid objektlokalisering i RefCOCO-familjen, 93 % och 92 % för räkning inom ett över COCO, och 87 % mot 90 % för att plocka ut varje objekt som finns — den enda raden där den billiga modellen vinner.

Kontrollerar penningkravet

A headless-browser screenshot of the Artificial Analysis Decision Index v2.1 page, captured 17 November 2026 in English, headed ‘Artificial Analysis Decision Index v2.1’ and described as a composite index testing decision models across document decisions and extraction, tool calling, knowledge, reasoning and invariance, with a note that version 2.1 combines six evaluations starting with AA-Paperclip's 1,500 resumes, receipts, invoices and research papers.

Liquids prisformulering är ovanligt kontrollerbar: ”ingen modell får högre poäng än d1.2 för mindre pengar, och ingen modell får högre poäng än d1.2-ultra oavsett pris.” Båda halvorna håller när de ställs mot resultattavlan. Inget på 24-modellsindexet har överhuvudtaget en poäng över 74,85, så den andra halvan är trivialt sann. När det gäller den första ligger d1.2 på 68,69 och 63 dollar per miljon uppgifter; varje modell som får högre poäng än den kostar mer, och den närmaste billiga utmanaren är Decider v1.3 på 70,41 och 68 dollar. Påståendet håller, och det håller utifrån någon annans siffror i stället för Liquids, vilket är mer sällsynt än det borde vara.

Kostnadssiffrorna kommer i sig från Artificial Analysis, som kör varje utvärdering till gällande listpriser och beräknar medelvärden: $133 per miljon uppgifter för d1.2-ultra, elfte av 24 mot en klassmedian på $135, och $63 för d1.2, tredje billigast. Tiden per uppgift är 218 ms för den stora modellen och 150 ms för den lilla, mot en klassmedian på 209 ms – flaggskeppet är något långsammare än genomsnittet, den billiga modellen klart snabbare, och båda är en storleksordning snabbare än de generativa modeller som finns på samma resultattavla på elva respektive trettiotvå sekunder per uppgift.

Var du kan anropa det, och vad du kan köra det mot

Båda modellerna är live idag på Liquids eget API på api.liquid.ai/decisions/v1/systemone, anropas som d1.2-ultra och d1.2, med nycklar från Liquid-konsolen, och båda finns i Liquid-playgrounden. Liquids inlägg säger att ytterligare tredjepartsplattformar kommer; i skrivande stund är leverantörens eget API den väg som finns. Ingen av modellerna finns i vår katalog, och den här artikeln är inte ett tillgänglighetsanspråk för någon av dem.

Det som finns i vår katalog är Jev 1.14, modellen som leder den komponent där d1.2-ultra inte gör det — EvalSafe-O*NET-AA, med 91,14 mot 89,53 — tillhandahållen via samma systemoneendpoint-form, text in och strukturerad JSON ut, till $0,042 per miljon input-tokens. Det sammanträffandet är användbart: ett team som utvärderar den här releasen kan sätta den nya modellen och den befintliga på samma tillstånd utan ett andra avtal eller ett andra klientbibliotek, eftersom ett API för 200+ modeller redan talar båda formerna. Listpriser förs vidare med 0 % påslag, så om Liquid flyttar $0,042 flyttar siffran här med den snarare än efter den, och automatisk failover innebär att en modell som är en dag gammal kan ta en del av en verklig arbetsbelastning utan att den anförtros hela.

A headless-browser screenshot of the OrcaRouter model page for typesafe/jev-1.14, captured 17 November 2026 in English, showing the /v1/systemone endpoint, Zero Data Retention availability, an input and output list price of $0.04, and measured latencies of 182 ms and 372 ms.

Rekommendationen som följer av data snarare än av prissättningssidan: kör den i skuggläge. d1.2-ultra är först på dokument och först på kalibrering, vilket är ett genuint starkt par för extraktionspipelines, och den är sist på svåra kunskapsfrågor, vilket är en verklig begränsning snarare än en fotnot. Skicka den de tillstånd som din pipeline faktiskt ser, jämför sannolikheterna snarare än top-1-valen, och håll koll på fallen där den svarar 0,8 och har fel, eftersom det är i den svansen som modellens oktoberföregångare presterade dåligt och där förbättringen antingen syns eller inte.

Den öppna frågan är inte huruvida 75 är verkligt — Artificial Analysis mätte det och publicerade komponenterna. Den är huruvida en dokumentutvärdering med 30 % viktning, på 1 500 privata dokument, generaliserar till dina dokument. Det är en fråga som bara ditt eget märkta urval kan besvara, och den är värd att besvara innan faktureringsändringen frestar dig att ställa tio frågor per dokument i stället för en.