SubQ Snap 1.1 teilt sich den ersten Platz im Decision Index, indem es lernt, sich zu enthalten

Das neueste Modell an der Spitze des Artificial Analysis Decision Index v1.0 ist nicht dasjenige mit den meisten richtigen Antworten. SubQ Snap 1.1, veröffentlicht von Subquadratic am 22. Oktober 2026, erzielte 65 Punkte und lag gleichauf mit d1-ultra und Elephant 9B auf dem ersten Platz. Jev 1.14 liegt bei 57. Liest man das Kleingedruckte unter dem Index, zeigt sich: Der Grund für das Unentschieden ist keineswegs die reine Genauigkeit. In der Auswertung von Artificial Analysis wird die Genauigkeit von Snap 1.1 mit 20 % angegeben, gegenüber 32 % für d1-ultra und 12 % für Elephant 9B. Was Snap 1.1 besser kann als beide anderen, ist es, die Antwort zu verweigern.

Das ist ein echtes Ingenieursergebnis, kein Benchmark-Trick, aber es ändert, für wen es relevant ist. Ein Entscheidungsmodell ist kein Chat-Modell. Es nimmt ein Dokument und eine feste Menge zulässiger Antworten entgegen – Weiterleitung an diese oder jene Warteschlange, dieses Tool aufrufen oder ablehnen, Ja oder Nein oder eskalieren – und gibt eine Auswahl mit einer zugeordneten kalibrierten Wahrscheinlichkeit zurück. Subquadratics Pitch seit der zehn Tage zuvor ausgelieferten Preview lautet, dass diese Workload eine eigene Architektur verdient, statt dass ein allgemeines LLM Ausgabetokens verbrennt, um das Wort „refund“ zu erzeugen. Version 1.1 ist die erste Version, in der die Kalibrierungsbehauptung konkret genug ist, um überprüft zu werden.

Was hat sich zwischen Snap 1.0 und 1.1 tatsächlich geändert?

Dies ist ein Post-Training-Release, kein neues Modell. Der Subquadratic Sparse Attention Backbone, das 384K-Token-Fenster und der Text-plus-Bild-Eingabepfad sind alle unverändert gegenüber Snap 1.0, das am 12. Oktober mit 0,05 US-Dollar pro Million Eingabe-Tokens live ging. Geändert hat sich, wie sich das Modell bei Unsicherheit verhält: Der Anbieter sagt, 1.1 füge explizite Unsicherheitskalibrierung hinzu und destilliere mehrstufiges Reasoning in einen einzelnen Forward-Pass, statt eine Gedankenkette zu generieren und sich dann auf eine Antwort festzulegen.

Die Zahlen, die Subquadratic für diese Veränderung meldet, sind ungewöhnlich spezifisch, was sowohl gut ist als auch eine genaue Prüfung verdient. Der erwartete Kalibrierungsfehler auf zurückgehaltenen Wahrscheinlichkeits-Benchmarks sank von 0,108 auf 0,014. Selbstsichere Fehler bei nicht beantwortbaren Fragen fielen von 294 von 600 auf 57 von 600 — die 81-%-Reduktion, die in der Launch-Berichterstattung immer wieder zitiert wird. Übermäßig selbstsichere Halluzinationen bei Out-of-Distribution-Eingaben fielen von 99,3 % auf 12,5 %. Die Übereinstimmung mit einer Bayes-optimalen Entscheidungsregel stieg von 83 % auf 90 %. In der 16-Benchmark-Unternehmenssuite des Anbieters liegt 1.1 im Durchschnitt 7,2 Punkte über Jev 1.14, mit einem 95-%-Konfidenzintervall von 6,5 bis 7,8, erzielt 12 Siege, 3 Unentschieden und 1 Niederlage und liegt im Durchschnitt 5,5 Punkte über Snap 1.0.

All das sind Angaben des Anbieters. Niemand außerhalb von Subquadratic hat bisher einen Durchlauf von 1.1 veröffentlicht; die unabhängigen Repositories, die es gibt, haben das Preview-Modell getestet, und sie werden weiter unten besprochen.

Wie ein Modell mit 20 % Genauigkeit den ersten Platz teilt

Der Decision Index bewertet Genauigkeit nicht isoliert. Er bewertet das Ergebnis einer Entscheidung unter Unsicherheit, was bedeutet, dass eine Enthaltung bei einer Frage, die das Modell nicht beantworten kann, mehr wert ist als eine selbstsichere Vermutung – und viel mehr wert als eine selbstsichere falsche Vermutung. Artificial Analysis gibt die Non-Halluzinationsrate von Snap 1.1 – also wie oft es „Ich weiß nicht“ auf Fragen sagte, die es nicht korrekt beantworten konnte – mit 86 % an. Elephant 9B liegt mit 93 % höher und d1-ultra mit 85 % geringfügig niedriger. Die 20 % Genauigkeit von Snap 1.1 sind die Mitte dieses Trios, und sein Indexwert ist mit beiden identisch.

Ob dieser Kompromiss der richtige ist, hängt ganz davon ab, was eine falsche Antwort Sie nachgelagert kostet. In einem Support-Ticket-Router schickt eine selbstsichere Fehlleitung eine Rechnungsbeschwerde an die Engineering-Warteschlange, und ein Kunde wartet zwei Tage; eine Enthaltung leitet sie an einen manuellen Triage-Schritt weiter, der dreißig Sekunden kostet. Bei einem Massen-Klassifizierungsjob für Inhalte ohne Menschen im Prozess ist eine Enthaltung einfach eine ungelabelte Zeile, und die Genauigkeitszahl ist das, worauf es ankommt. Der Index sagt Ihnen, dass Snap 1.1 für den ersten Fall gebaut ist. Er sagt Ihnen nicht, dass es der genaueste Klassifikator ist, den Sie kaufen können, denn das ist er nicht.

Die Preissenkung und der Nenner, den niemand angibt

Die andere Änderung in 1.1 ist der Preis: 0,04 $ pro Million Eingabe-Tokens, 20 % weniger als die 0,05 $ der Vorschauversion, wobei Ausgabe-Tokens kostenlos sind. Diese zweite Hälfte ist der Teil, der die Rechnung verändert. Ein Klassifikator, der auf einem generativen Modell basiert, zahlt für die Antwort – normalerweise eine kurze, aber Reasoning-Modelle können Hunderte von Tokens damit verbringen, zu entscheiden, was sie ausgeben. Bei Snap gibt es keine Ausgabe, für die man zahlen müsste, sodass ein Aufruf, der 100K Tokens liest, etwa vier Zehntel Cent kostet und sonst nichts.

Artificial Analysis gibt dieselbe Kennzahl pro Aufgabe statt pro Token an: rund 30 US-Dollar pro Million Aufgaben für Snap 1.1, gegenüber 32 US-Dollar für d1-ultra und 8,4 US-Dollar für Elephant 9B. Die Zahl pro Aufgabe ist die nützliche, und sie erinnert auch daran, dass der Listenpreis pro Token eine schlechte Möglichkeit ist, ein Entscheidungsmodell mit irgendetwas anderem zu vergleichen. Die Rechnung skaliert mit der Eingabelänge, sodass ein Routing-Aufruf mit 4K-Token und eine Vertragsprüfung mit 300K-Token in völlig unterschiedlichen Kostenklassen landen, obwohl der Tarif identisch ist.

Was die Zahlen des Anbieters nicht klären

Zwei Dinge sollte man getrennt vom Launch-Post betrachten. Das erste ist Skepsis. Die Community-Berichterstattung über Subquadratics Veröffentlichungen – einschließlich der BlockBeats-Berichterstattung, die als „KI-Alleskönner“ kursierte – hat infrage gestellt, wie viel von den Behauptungen unabhängig reproduzierbar ist, und das Modell hat keine offenen Gewichte, sodass es keinen Checkpoint gibt, den ein Außenstehender ausführen könnte. Das zweite ist, dass die unabhängigen Tests, die es tatsächlich gibt, mit der Preview und nicht mit 1.1 durchgeführt wurden. Ein reproduzierbarer Vergleich von jcarlosrodicio ergab, dass Snap bei unter 30K Tokens leicht hinter Jev lag (93,9 % gegenüber 94,7 %) und bei 360K-Token-Logs deutlich zurücklag (58,8 % gegenüber Jevs 77,1 %, als Jev gechunked wurde). Ein separater Software-Engineering-Benchmark, snap-vs-jev-swe, ergab für Snap 87,5 % bei der Dateilokalisierung in SWE-bench Verified gegenüber einer Zufallsbasislinie von 10,6 % und maß Antwortumkehrungen bei 5,0 % der Items, wenn die Optionsreihenfolge umgekehrt wurde.

Diese Ergebnisse werden von 1.1 nicht widerlegt – die Kalibrierungsarbeit ist genau die Art von Änderung, die sie verschieben würde –, aber sie sind auch kein Beleg dafür. Zudem gibt es eine kleine interne Unstimmigkeit in den veröffentlichten Zahlen: Die Launch-Berichterstattung nennt einen When2Call-Score von 96.2, während Subquadratics eigene zufallskorrigierte Multiple-Choice-Variante desselben Benchmarks 91.0 ausweist. Beides kann für unterschiedliche Aufgabenformate zutreffen; wer die 96.2 mit der Zahl eines Wettbewerbers vergleicht, sollte wissen, welche Variante er vor sich hat.

Wo es bricht

Die Verlustspalte der eigenen 16-Benchmark-Suite des Anbieters ist aufschlussreich. PhishNChips, ein Phishing-Erkennungsdatensatz, liegt 22 Punkte hinter Jev 1.14, und Subquadratic führt das auf die Schwellenwertkalibrierung und nicht auf die Ranking-Qualität zurück – ROC-AUC liegt mit 0,91 gegenüber 0,92 etwa gleichauf. Das ist ein behebbares Problem für ein Team, das bereit ist, einen Schwellenwert abzustimmen, und ein nicht behebbares für ein Team, das eine Drop-in-Lösung wollte. Der Teilbereich Wissen und Schlussfolgern ist der einzige von fünf, in dem Jev klar führt, mit 55,1 zu 50,9. Snap 1.1 ist am stärksten, wo die Antwortmenge explizit und die Evidenz im Dokument enthalten ist: Tools und Automatisierung (85,3 gegenüber 74,6), Retrieval und Klassifikation (67,0 gegenüber 63,1), Sprachverständnis (71,6 gegenüber 63,3).

Wer sollte umziehen, und wer sollte warten

Wechseln Sie, wenn es bei Ihrer Entscheidung um Routing, Tool-Auswahl, Eskalation oder Relevanz über lange Dokumente geht und eine selbstsichere falsche Antwort mehr kostet als eine Eskalation. Das 384K-Fenster ist der operative Grund: ein einziger Durchlauf über einen vollständigen Vertrag, Ticket-Thread oder Log-Bundle, ohne eine Chunking-Schicht aufzubauen und ohne eine Retrieval-Pipeline synchron halten zu müssen. Teams, die die Preview bereits nutzen, haben den klarsten Fall, da der Preis gefallen und die Kalibrierung besser geworden ist, ohne dass sich die API geändert hat.

Warten Sie, wenn Sie generierten Text benötigen, wenn 20 % Genauigkeit im Fragenmix des Benchmarks unter Ihrer Untergrenze liegt oder wenn Sie eine Latenz unter 100 ms in einem Hot Path benötigen — Subquadratic veröffentlicht für 1.1 keine Latenzzahl, und die Messung der Vorschau durch Dritte ergab für einen Aufruf mit 8K Token etwa 0,75 Sekunden. Warten Sie auch, wenn Sie selbst hosten müssen: Es gibt keine Gewichte.

Eine praktische Anmerkung dazu, wo das im Stack einzuordnen ist. SubQ Snap 1.1 wird über Subquadratics eigene API und Konsole bereitgestellt; es ist nicht im Katalog von OrcaRouter, und wir tun nicht so, als wäre es anders. Was wir anbieten, ist die Ebene hinter der Entscheidung: Wenn Snap einen Aufruf zu „ein Modell verwenden“ auflöst, ist dieses Modell eines von über 200, die über einen einzigen Schlüssel bei OrcaRouter erreichbar sind, zum Listenpreis des Anbieters mit 0 % Aufschlag und automatischem Failover zwischen Anbietern. Die Entscheidungsebene und die Ausführungsebene fallen unabhängig voneinander aus, und es lohnt sich, nicht beides beim selben Anbieter zu haben.

Die offene Frage ist nicht, ob die Kalibrierungswerte von 1.1 echt sind – sie sind spezifisch genug, dass sie überprüft werden –, sondern ob sie einen anderen Testaufbau überstehen. Die Formulierung der Prompts verschob die Genauigkeit in den öffentlichen Snap-Benchmarks um 11 bis 14 Punkte, mehr als der Abstand zwischen zwei beliebigen Modellen im Index. Eine Kalibrierungsverbesserung, die nur unter der eigenen Prompt-Vorlage des Anbieters gilt, wäre ein viel kleineres Ding, als der Launch nahelegt.