SubQ Snap 1.1 delar förstaplatsen i Decision Index genom att lära sig att avstå

Den nyaste modellen högst upp på Artificial Analysis Decision Index v1.0 är inte den som får flest rätta svar. SubQ Snap 1.1, som släpptes av Subquadratic den 22 oktober 2026, fick 65 poäng och delade förstaplatsen med d1-ultra och Elephant 9B. Jev 1.14 ligger på 57. Läs det finstilta under indexet, och anledningen till att de delar förstaplatsen är inte rå träffsäkerhet alls: I texten från Artificial Analysis anges Snap 1.1:s träffsäkerhet till 20 %, mot 32 % för d1-ultra och 12 % för Elephant 9B. Det Snap 1.1 gör bättre än någon av dem är att vägra svara.

Det är ett verkligt ingenjörsresultat, inte ett benchmarktrick, men det förändrar vem som borde bry sig. En beslutsmodell är inte en chattmodell. Den tar ett dokument och en fast uppsättning tillåtna svar – dirigera till den här kön eller den där, anropa det här verktyget eller avstå, ja eller nej eller eskalera – och returnerar ett val med en kalibrerad sannolikhet kopplad till. Subquadratics pitch sedan förhandsversionen släpptes tio dagar tidigare har varit att den här arbetsbelastningen förtjänar sin egen arkitektur i stället för en allmän LLM som bränner utdatatokens för att producera ordet "refund". Version 1.1 är den första utgåvan där kalibreringspåståendet är tillräckligt specifikt för att kunna kontrolleras.

Vad förändrades egentligen mellan Snap 1.0 och 1.1

Detta är en efterträningsrelease, inte en ny modell. Stommen Subquadratic Sparse Attention, fönstret på 384K token och inmatningsvägen för text plus bild är alla oförändrade sedan Snap 1.0, som lanserades den 12 oktober till priset $0,05 per miljon indatatokens. Det som har ändrats är hur modellen beter sig när den är osäker: leverantören säger att 1.1 lägger till explicit osäkerhetskalibrering och destillerar flerstegsresonemang till en enda framåtpassning, i stället för att generera en tankekedja och sedan bestämma sig för ett svar.

Siffrorna som Subquadratic rapporterar för den förändringen är ovanligt specifika, vilket både är bra och värt att granska noga. Det förväntade kalibreringsfelet på fristående sannolikhetsbenchmark sjönk från 0,108 till 0,014. Självsäkra fel på frågor som inte går att besvara minskade från 294 av 600 till 57 av 600 – den minskning på 81 % som lanseringsbevakningen fortsätter att citera. Överdrivet självsäkra hallucinationer på indata utanför fördelningen sjönk från 99,3 % till 12,5 %. Överensstämmelsen med en Bayes-optimal beslutsregel ökade från 83 % till 90 %. På leverantörens företagssvit med 16 benchmarkar ligger 1.1 i genomsnitt 7,2 poäng över Jev 1.14 med ett 95-procentigt konfidensintervall på 6,5 till 7,8, med 12 vinster, 3 oavgjorda och 1 förlust, och ligger i genomsnitt 5,5 poäng över Snap 1.0.

Allt det där är leverantörsrapporterat. Ingen utanför Subquadratic har publicerat en körning av 1.1 ännu; de oberoende repon som finns testade förhandsmodellen, och de diskuteras längre ner.

Hur en modell med 20 % noggrannhet delar förstaplatsen

Decision Index bedömer inte träffsäkerhet isolerat. Det bedömer utfallet av ett beslut under osäkerhet, vilket innebär att ett avstående från att svara på en fråga som modellen inte kan besvara är värt mer än en självsäker gissning – och mycket mer än en självsäker felaktig gissning. Artificial Analysis rapporterar Snap 1.1:s icke-hallucinationsfrekvens, det vill säga hur ofta den sade "jag vet inte" på frågor som den inte kunde besvara korrekt, till 86 %. Elephant 9B ligger högre på 93 % och d1-ultra något lägre på 85 %. Snap 1.1:s träffsäkerhet på 20 % ligger i mitten av trion, och dess indexpoäng är identisk med båda andras.

Om det är rätt avvägning beror helt och hållet på vad ett felaktigt svar kostar dig nedströms. I en router för supportärenden skickar en självsäker felroutning ett faktureringsklagomål till teknikteamets kö och en kund får vänta i två dagar; ett avstående skickar det till ett mänskligt triagesteg som kostar trettio sekunder. I ett massjobb för innehållsklassificering utan människa i loopen är ett avstående bara en omärkt rad och det är noggrannhetssiffran som spelar roll. Indexet säger att Snap 1.1 är byggd för det första fallet. Det säger inte att den är den noggrannaste klassificeraren du kan köpa, för det är den inte.

Prissänkningen – och nämnaren som ingen citerar

Den andra ändringen i 1.1 är priset: $0.04 per miljon indatatoken, 20 % lägre än förhandsversionens $0.05, med gratis utdatatoken. Den andra halvan är den del som förändrar fakturan. En klassificerare byggd på en generativ modell betalar för svaret – vanligtvis ett kort sådant, men resonemangsmodeller kan göra av med hundratals tokens på att avgöra vad de ska skicka ut. Snap har ingen utdata att betala för, så ett anrop som läser 100K tokens kostar ungefär fyra tiondels cent och inget annat.

Artificial Analysis presenterar samma siffra per uppgift snarare än per token: ungefär $30 per miljon uppgifter för Snap 1.1, mot $32 för d1-ultra och $8,4 för Elephant 9B. Den siffran per uppgift är den användbara, och den är också en påminnelse om att listpriset per token är ett dåligt sätt att jämföra en beslutsmodell med något annat. Kostnaden skalar med indatalängden, så ett routinganrop på 4K token och en kontraktsgranskning på 300K token hamnar i helt olika kostnadsklasser även om taxan är identisk.

Vad leverantörens siffror inte avgör

Två saker är värda att hålla isär från lanseringsinlägget. Den första är skepsis. Communityns rapportering om Subquadratics lanseringar – inklusive BlockBeats rapportering som cirkulerade som "AI-allt-i-allo" – har ifrågasatt hur mycket av påståendena som är oberoende reproducerbara, och modellen har inga öppna vikter, så det finns ingen checkpoint för en utomstående att köra. Den andra är att de oberoende tester som faktiskt finns kördes mot förhandsversionen, inte 1.1. En reproducerbar jämförelse av jcarlosrodicio fann att Snap låg något efter Jev under 30K tokens (93,9 % mot 94,7 %) och klart efter på loggar med 360K tokens (58,8 % mot Jevs 77,1 % när Jev delades upp i chunkar). Ett separat mjukvaruutvecklingsbenchmark, snap-vs-jev-swe, fann att Snap låg på 87,5 % på SWE-bench Verified fillokalisering mot en slumpmässig baslinje på 10,6 %, och mätte att svar ändrades i 5,0 % av fallen när ordningen på alternativen vändes.

Dessa resultat motsägs inte av 1.1 – kalibreringsarbetet är precis den sorts förändring som skulle förändra dem – men de är inte heller några bevis för det. Det finns också en liten intern inkonsekvens i de publicerade siffrorna: lanseringsmaterialet anger en When2Call-poäng på 96.2, medan Subquadratics egen slumpkorrigerade flervalsvariant av samma benchmark visar 91.0. Båda kan vara sanna för olika uppgiftsformat; en köpare som jämför 96.2 med en konkurrents siffra bör veta vilken variant de har framför sig.

Där det går sönder

Förlustkolumnen i leverantörens egen svit med 16 benchmarktester är lärorik. PhishNChips, en uppsättning för nätfiskedetektering, ligger 22 poäng efter Jev 1.14, och Subquadratic tillskriver det tröskelkalibrering snarare än rankningskvalitet – ROC-AUC är ungefär jämn på 0,91 mot 0,92. Det är ett problem som går att åtgärda för ett team som är villigt att finjustera en tröskel, och ett som inte går att åtgärda för ett team som ville ha en drop-in. Delområdet kunskap och resonemang är det enda av fem där Jev leder klart, 55,1 mot 50,9. Snap 1.1 är starkast där svarsuppsättningen är explicit och bevisningen finns i dokumentet: verktyg och automatisering (85,3 mot 74,6), sökning och klassificering (67,0 mot 63,1), språkförståelse (71,6 mot 63,3).

Vem ska flytta på sig, och vem ska vänta?

Byt om ditt beslut är ett routing-, verktygsvals-, eskalerings- eller relevansbeslut som fattas över långa dokument, och ett självsäkert felaktigt svar kostar mer än en eskalering. Fönstret på 384K är den operativa anledningen: en enda genomgång av ett helt avtal, en ärendetråd eller ett loggpaket, utan att bygga något chunkninglager och utan att hålla en retrieval-pipeline i synk. Team som redan kör förhandsversionen har det tydligaste argumentet, eftersom priset sjönk och kalibreringen förbättrades utan någon API-ändring.

Avvakta om du behöver genererad text, om 20 % träffsäkerhet på benchmarkens frågemix ligger under din miniminivå, eller om du behöver latens under 100 ms i en hot path — Subquadratic publicerar ingen latenssiffra för 1.1, och tredjepartsmätningen av förhandsversionen satte ett anrop med 8K token till cirka 0,75 sekunder. Avvakta också om du behöver självhosta: det finns inga vikter.

En praktisk notering om var detta ligger i en stack. SubQ Snap 1.1 tillhandahålls via Subquadratics eget API och egen konsol; det finns inte i OrcaRouters katalog, och vi tänker inte låtsas något annat. Det vi däremot erbjuder är lagret bakom beslutet: när Snap avgör att ett anrop ska "använda en modell", är den modellen en av 200+ som kan nås via en enda nyckel hos OrcaRouter, till leverantörens listpris med 0 % påslag och automatiskt failover mellan leverantörer. Besluts- och exekveringslagret fallerar oberoende av varandra, och det är värt att inte ha båda bakom samma leverantör.

Den öppna frågan är inte huruvida 1.1:s kalibreringssiffror är verkliga – de är tillräckligt specifika för att de kommer att kontrolleras – utan huruvida de överlever ett annat testramverk. Formuleringen av prompten flyttade noggrannheten med 11 till 14 punkter i de offentliga Snap-benchmarkarna, mer än gapet mellan två valfria modeller på indexet. En kalibreringsförbättring som bara håller under leverantörens egen promptmall skulle vara en mycket mindre sak än lanseringen antyder.