SubQ Snap 1.1 deelt de eerste plaats op de Decision Index door te leren zich te onthouden

Het nieuwste model bovenaan de Artificial Analysis Decision Index v1.0 is niet het model dat de meeste antwoorden correct heeft. SubQ Snap 1.1, uitgebracht door Subquadratic op 22 oktober 2026, scoorde 65 en evenaarde d1-ultra en Elephant 9B op de eerste plaats. Jev 1.14 staat op 57. Lees de kleine lettertjes onder de index: de reden voor de gelijke stand is helemaal niet ruwe nauwkeurigheid. In het verslag van Artificial Analysis wordt de nauwkeurigheid van Snap 1.1 op 20% gesteld, tegenover 32% voor d1-ultra en 12% voor Elephant 9B. Wat Snap 1.1 beter doet dan beide andere modellen, is weigeren te antwoorden.

Dat is een echt engineeringresultaat, geen benchmarktruc, maar het verandert wel wie er aandacht aan zou moeten besteden. Een beslissingsmodel is geen chatmodel. Het neemt een document en een vaste set toegestane antwoorden — routeren naar deze wachtrij of die, deze tool aanroepen of weigeren, ja of nee of escaleren — en retourneert een keuze met een gekalibreerde waarschijnlijkheid eraan gekoppeld. Het verkoopargument van Subquadratic sinds de preview tien dagen eerder verscheen, is dat deze workload een eigen architectuur verdient in plaats van een generiek LLM dat outputtokens verbrandt om het woord "refund" te produceren. Versie 1.1 is de eerste release waarin de kalibratieclaim specifiek genoeg is om te controleren.

Wat is er eigenlijk veranderd tussen Snap 1.0 en 1.1?

Dit is een post-trainingrelease, geen nieuw model. De Subquadratic Sparse Attention-backbone, het venster van 384K tokens en het invoerpad voor tekst plus beeld zijn allemaal ongewijzigd ten opzichte van Snap 1.0, dat op 12 oktober live ging voor $0,05 per miljoen invoertokens. Wat is veranderd, is hoe het model zich gedraagt wanneer het onzeker is: volgens de leverancier voegt versie 1.1 expliciete onzekerheidscalibratie toe en destilleert het meerstapsredenering in één forward pass, in plaats van een chain of thought te genereren en zich vervolgens aan een antwoord te committeren.

De getallen die Subquadratic voor die verandering rapporteert, zijn ongewoon specifiek, wat zowel goed is als het onderzoeken waard. De verwachte kalibratiefout op achtergehouden waarschijnlijkheidsbenchmarks daalde van 0,108 naar 0,014. Zelfverzekerde fouten bij onbeantwoordbare vragen daalden van 294 van de 600 naar 57 van de 600 — de reductie van 81% die de berichtgeving over de lancering steeds aanhaalt. Overmatig zelfverzekerde hallucinaties bij inputs buiten de distributie daalden van 99,3% naar 12,5%. De overeenstemming met een Bayesiaans optimale beslissingsregel steeg van 83% naar 90%. Op de 16-benchmarksuite voor bedrijven van de leverancier scoort 1.1 gemiddeld 7,2 punten hoger dan Jev 1.14, met een 95%-betrouwbaarheidsinterval van 6,5 tot 7,8, met 12 overwinningen, 3 gelijkspelen en 1 nederlaag, en gemiddeld 5,5 punten hoger dan Snap 1.0.

Alles daarvan is door de leverancier gerapporteerd. Niemand buiten Subquadratic heeft nog een run van 1.1 gepubliceerd; de onafhankelijke repo's die bestaan, hebben het preview-model getest, en die worden verderop besproken.

Hoe een model met 20% nauwkeurigheid de eerste plaats deelt

De Decision Index beoordeelt nauwkeurigheid niet op zichzelf. Hij beoordeelt de uitkomst van een beslissing onder onzekerheid, wat betekent dat een onthouding bij een vraag die het model niet kan beantwoorden meer waard is dan een zelfverzekerde gok — en veel meer waard dan een zelfverzekerde foute gok. Artificial Analysis meldt dat de non-hallucinatiegraad van Snap 1.1 — dus hoe vaak hij "Ik weet het niet" zei bij vragen die hij niet correct kon beantwoorden — 86% bedraagt. Elephant 9B ligt hoger op 93% en d1-ultra ligt iets lager op 85%. De nauwkeurigheid van 20% van Snap 1.1 zit in het midden van dat drietal, en zijn indexscore is identiek aan die van beide.

Of die afweging juist is, hangt volledig af van wat een fout antwoord je downstream kost. In een supportticketrouter stuurt een zelfverzekerde verkeerde routering een factuurklacht naar de engineeringwachtrij en wacht een klant twee dagen; een onthouding stuurt het naar een menselijke triagestap die dertig seconden kost. In een bulkclassificatietaak voor content zonder mens in de lus is een onthouding gewoon een rij zonder label, en is het accuratessecijfer wat telt. De index vertelt je dat Snap 1.1 voor het eerste geval is gebouwd. Hij vertelt je niet dat het de meest nauwkeurige classifier is die je kunt kopen, want dat is het niet.

De prijsverlaging, en de noemer die niemand noemt

De andere wijziging in 1.1 is de prijs: $0,04 per miljoen invoertokens, 20% lager dan de $0,05 van de preview, waarbij uitvoertokens gratis zijn. Dat tweede deel is wat de rekening verandert. Een classifier die op een generatief model is gebouwd, betaalt voor het antwoord — meestal een kort antwoord, maar reasoning-modellen kunnen honderden tokens besteden aan het beslissen wat ze moeten uitvoeren. Snap heeft geen uitvoer om voor te betalen, dus een aanroep die 100K tokens leest, kost ongeveer vier tienden van een cent en verder niets.

Artificial Analysis presenteert hetzelfde cijfer per taak in plaats van per token: ongeveer $30 per miljoen taken voor Snap 1.1, tegenover $32 voor d1-ultra en $8,4 voor Elephant 9B. Dat aantal per taak is het nuttige getal, en het is ook een herinnering eraan dat de lijstprijs per token een slechte manier is om een beslissingsmodel met iets anders te vergelijken. De rekening schaalt met de invoerlengte, dus een routeringsaanroep van 4K tokens en een contractbeoordeling van 300K tokens vallen in volledig verschillende kostenklassen, ook al is het tarief identiek.

Wat de cijfers van de leverancier niet beslechten

Twee dingen moeten apart worden gehouden van het lanceringsbericht. Het eerste is scepsis. De berichtgeving in de community over de releases van Subquadratic — inclusief het BlockBeats-artikel dat circuleerde als "AI jack-of-all-trades" — heeft vraagtekens gezet bij hoeveel van de claimset onafhankelijk reproduceerbaar is, en het model heeft geen open gewichten, dus er is geen checkpoint dat een buitenstaander kan uitvoeren. Het tweede is dat de onafhankelijke tests die er wel zijn, tegen de preview zijn uitgevoerd, niet tegen 1.1. Een reproduceerbare vergelijking door jcarlosrodicio vond dat Snap iets achterliep op Jev onder 30K tokens (93,9% tegen 94,7%) en duidelijk achterliep bij logs van 360K tokens (58,8% tegen de 77,1% van Jev toen Jev in chunks werd verdeeld). Een aparte software-engineeringbenchmark, snap-vs-jev-swe, vond Snap op 87,5% bij SWE-bench Verified-bestandslokalisatie tegen een willekeurige baseline van 10,6%, en mat antwoordflips bij 5,0% van de items wanneer de optievolgorde werd omgekeerd.

Die resultaten worden niet weersproken door 1.1 — het kalibratiewerk is precies het soort verandering dat ze zou doen verschuiven — maar ze zijn er ook geen bewijs voor. Er zit ook een kleine interne inconsistentie in de gepubliceerde cijfers: de lanceerberichtgeving vermeldt een When2Call-score van 96,2, terwijl Subquadratic's eigen kansgecorrigeerde meerkeuzevariant van dezelfde benchmark uitkomt op 91,0. Beide kunnen waar zijn voor verschillende taakformaten; een koper die de 96,2 vergelijkt met het cijfer van een concurrent, moet weten welke variant deze voor zich heeft.

Waar het breekt

De verlieskolom van de eigen 16-benchmarksuite van de leverancier is leerzaam. PhishNChips, een phishingdetectieset, komt 22 punten achter Jev 1.14, en Subquadratic schrijft dat toe aan drempelkalibratie in plaats van rangschikkingskwaliteit — ROC-AUC ligt ongeveer gelijk op 0,91 tegen 0,92. Dat is een oplosbaar probleem voor een team dat een drempel wil afstellen, en een onoplosbaar probleem voor een team dat een drop-inoplossing wilde. Het subdomein kennis en redeneren is het enige van de vijf waar Jev onbetwist vooroploopt, 55,1 tegen 50,9. Snap 1.1 is het sterkst waar de antwoordset expliciet is en het bewijs in het document staat: tools en automatisering (85,3 tegen 74,6), retrieval en classificatie (67,0 tegen 63,1), taalbegrip (71,6 tegen 63,3).

Wie moet zich verplaatsen, en wie moet wachten

Stap over als je beslissing een routing-, toolselectie-, escalatie- of relevantiebeslissing is die over lange documenten wordt genomen, en een zelfverzekerd fout antwoord meer kost dan een escalatie. Het venster van 384K is de operationele reden: één enkele pass over een volledig contract, ticketthread of logbundel, zonder chunkinglaag om te bouwen en zonder retrievalpipeline om synchroon te houden. Teams die de preview al draaien, hebben de duidelijkste case, omdat de prijs daalde en de kalibratie verbeterde zonder API-wijziging.

Wacht als je gegenereerde tekst nodig hebt, als 20% nauwkeurigheid op de vragenmix van de benchmark onder je ondergrens ligt, of als je sub-100ms-latentie in een hot path nodig hebt — Subquadratic publiceert geen latentiecijfer voor 1.1, en een meting door een derde partij van de preview schatte een aanroep van 8K tokens op ongeveer 0,75 seconden. Wacht ook als je zelf wilt hosten: er zijn geen gewichten.

Een praktische opmerking over waar dit in een stack thuishoort. SubQ Snap 1.1 wordt aangeboden via Subquadratic's eigen API en console; het staat niet in de catalogus van OrcaRouter, en we zullen niet doen alsof dat wel zo is. Wat wij wel leveren, is de laag achter de beslissing: wanneer Snap een aanroep omzet naar "gebruik een model", dan is dat model een van de 200+ modellen die bereikbaar zijn via één sleutel bij OrcaRouter, tegen de lijstprijs van de provider met 0% opslag en automatische failover tussen providers. De beslissingslaag en de uitvoeringslaag falen onafhankelijk van elkaar, en het is de moeite waard om niet beide bij dezelfde leverancier onder te brengen.

De open vraag is niet of de kalibratiecijfers van 1.1 echt zijn — ze zijn specifiek genoeg om te worden gecontroleerd — maar of ze een andere testopstelling overleven. De formulering van de prompt verschoof de nauwkeurigheid met 11 tot 14 punten in de openbare Snap-benchmarks, meer dan het verschil tussen twee willekeurige modellen op de index. Een kalibratieverbetering die alleen standhoudt bij het eigen promptsjabloon van de leverancier zou veel kleinschaliger zijn dan de lancering doet vermoeden.