SubQ Snap 1.1 zajmuje ex aequo pierwsze miejsce w Decision Index, ucząc się powstrzymywania od odpowiedzi

Najnowszy model w Artificial Analysis Decision Index v1.0 nie jest tym, który udziela najwięcej poprawnych odpowiedzi. SubQ Snap 1.1, wydany przez Subquadratic 22 października 2026 r., zdobył 65 punktów i zremisował z d1-ultra oraz Elephant 9B o pierwsze miejsce. Jev 1.14plasuje się na poziomie 57. Wystarczy przeczytać drobny druk pod indeksem, a powód remisu wcale nie tkwi w surowej dokładności: w opracowaniu Artificial Analysis dokładność Snap 1.1 wynosi 20%, wobec 32% dla d1-ultra i 12% dla Elephant 9B. Snap 1.1 radzi sobie lepiej niż oba te modele w czymś innym — w odmowie udzielenia odpowiedzi.

To prawdziwy wynik inżynieryjny, a nie sztuczka benchmarkowa, ale zmienia to, kto powinien się tym zainteresować. Model decyzyjny to nie model czatu. Przyjmuje dokument i stały zestaw dozwolonych odpowiedzi — skieruj do tej kolejki lub tamtej, wywołaj to narzędzie lub odmów, tak lub nie lub eskaluj — i zwraca wybór z przypisanym skalibrowanym prawdopodobieństwem. Argumentacja Subquadratic od wydania dziesięć dni wcześniej wersji zapoznawczej była taka, że to obciążenie zasługuje na własną architekturę, a nie ogólny LLM spalający tokeny wyjściowe, by wyprodukować słowo „zwrot”. Wersja 1.1 to pierwsze wydanie, w którym twierdzenie o kalibracji jest wystarczająco konkretne, by je sprawdzić.

Co faktycznie zmieniło się między Snap 1.0 a 1.1

To wydanie po treningu, a nie nowy model. Szkielet Subquadratic Sparse Attention, okno 384K tokenów oraz ścieżka wejściowa tekstu i obrazów pozostają bez zmian względem Snap 1.0, który zadebiutował 12 października w cenie 0,05 USD za milion tokenów wejściowych. Zmieniło się to, jak model zachowuje się, gdy nie jest pewny: dostawca twierdzi, że 1.1 dodaje jawną kalibrację niepewności i destyluje wieloetapowe rozumowanie do pojedynczego przejścia w przód, zamiast generować łańcuch myśli i dopiero potem udzielać odpowiedzi.

Liczby, które Subquadratic podaje dla tej zmiany, są nietypowo konkretne, co jest zarazem dobre, jak i warte wnikliwej analizy. Oczekiwany błąd kalibracji na wyodrębnionych benchmarkach prawdopodobieństwa spadł z 0,108 do 0,014. Pewne błędy na pytaniach bez odpowiedzi spadły z 294 na 600 do 57 na 600 — to redukcja o 81%, którą relacje z premiery wciąż cytują. Nadmiernie pewne halucynacje na danych spoza rozkładu spadły z 99,3% do 12,5%. Zgodność z optymalną bayesowską regułą decyzyjną wzrosła z 83% do 90%. W firmowym zestawie 16 benchmarków przedsiębiorczych 1.1 średnio przewyższa Jev 1.14 o 7,2 punktu przy 95-procentowym przedziale ufności od 6,5 do 7,8, wygrywając 12, remisując 3 i przegrywając 1, oraz średnio przewyższa Snap 1.0 o 5,5 punktu.

Wszystko to jest zgłaszane przez dostawcę. Nikt spoza Subquadratic nie opublikował jeszcze uruchomienia 1.1; istniejące niezależne repozytoria testowały model w wersji zapoznawczej i są omówione dalej.

Jak model z dokładnością 20% zajmuje ex aequo pierwsze miejsce

Decision Index nie ocenia dokładności w izolacji. Ocenia wynik decyzji w warunkach niepewności, co oznacza, że wstrzymanie się od odpowiedzi na pytanie, na które model nie potrafi odpowiedzieć, jest warte więcej niż pewny siebie domysł — i znacznie więcej niż pewny siebie błędny domysł. Artificial Analysis podaje wskaźnik braku halucynacji Snap 1.1, czyli jak często mówił „nie wiem” na pytania, na które nie mógł odpowiedzieć poprawnie, na poziomie 86%. Elephant 9B ma wyższy wynik — 93%, a d1-ultra nieco niższy — 85%. Dokładność Snap 1.1 na poziomie 20% to środek tej trójki, a jego wynik w indeksie jest identyczny jak w przypadku obu pozostałych.

To, czy to właściwy kompromis, zależy wyłącznie od tego, ile kosztuje cię błędna odpowiedź w dalszym procesie. W routerze zgłoszeń do pomocy technicznej pewne siebie błędne skierowanie wysyła skargę dotyczącą rozliczeń do kolejki inżynierskiej i klient czeka dwa dni; wstrzymanie się od odpowiedzi wysyła ją do ręcznego etapu triażu, który kosztuje trzydzieści sekund. W zadaniu masowej klasyfikacji treści bez człowieka w pętli wstrzymanie się od odpowiedzi to po prostu nieoznaczony wiersz, a liczy się wskaźnik dokładności. Indeks mówi ci, że Snap 1.1 jest stworzony do pierwszego przypadku. Nie mówi ci, że to najdokładniejszy klasyfikator, jaki możesz kupić, bo nim nie jest.

Obniżka ceny i mianownik, którego nikt nie przytacza

Inną zmianą w wersji 1.1 jest cena: 0,04 USD za milion tokenów wejściowych, o 20% mniej niż 0,05 USD w wersji preview, a tokeny wyjściowe są bezpłatne. Ta druga część jest tym, co zmienia kształt rachunku. Klasyfikator zbudowany na modelu generatywnym płaci za odpowiedź — zwykle krótką, ale modele rozumujące mogą zużyć setki tokenów na decyzję, co wygenerować. Snap nie ma wyjścia, za które trzeba płacić, więc wywołanie, które odczytuje 100 tys. tokenów, kosztuje około 0,4 centa i nic więcej.

Artificial Analysis podaje ten sam wskaźnik w przeliczeniu na zadanie, a nie na token: około 30 USD za milion zadań w przypadku Snap 1.1, wobec 32 USD dla d1-ultra i 8,4 USD dla Elephant 9B. To właśnie liczba na zadanie jest użyteczna, a jednocześnie przypomina, że cena katalogowa za token to słaby sposób porównywania modelu decyzyjnego z czymkolwiek innym. Rachunek skaluje się wraz z długością danych wejściowych, więc wywołanie routingu o długości 4 tys. tokenów i przegląd umowy o długości 300 tys. tokenów trafiają do zupełnie różnych przedziałów kosztowych, mimo że stawka jest identyczna.

Czego nie rozstrzygają liczby podane przez dostawcę

Dwie rzeczy warto oddzielić od wpisu premierowego. Pierwsza to sceptycyzm. Relacje społeczności na temat wydań Subquadratic — w tym reportaż BlockBeats, który krążył pod hasłem „AI do wszystkiego” — poddawały w wątpliwość, jak duża część zestawu twierdzeń jest niezależnie odtwarzalna, a model nie ma otwartych wag, więc osoba z zewnątrz nie ma checkpointu do uruchomienia. Druga to fakt, że istniejące niezależne testy przeprowadzono na wersji preview, a nie 1.1. Odtwarzalne porównanie autorstwa jcarlosrodicio wykazało, że Snap wypadał nieco gorzej niż Jev poniżej 30 tys. tokenów (93,9% wobec 94,7%) i znacznie gorzej na logach o długości 360 tys. tokenów (58,8% wobec 77,1% Jev, gdy Jev był dzielony na fragmenty). Osobny benchmark inżynierii oprogramowania, snap-vs-jev-swe, wykazał, że Snap osiągnął 87,5% w lokalizacji plików w SWE-bench Verified wobec 10,6% losowej linii bazowej, i zmierzył zmiany odpowiedzi w 5,0% przypadków po odwróceniu kolejności opcji.

Wyniki te nie są sprzeczne z 1.1 — prace kalibracyjne to dokładnie ten rodzaj zmiany, który by je przesunął — ale nie są też dowodem na to. W opublikowanych danych jest też drobna wewnętrzna niespójność: w materiałach premierowych podaje się wynik When2Call na poziomie 96.2, podczas gdy własny wariant tego samego benchmarku Subquadratic oparty na wielokrotnym wyborze z korektą na przypadkowe trafienia wynosi 91.0. Oba mogą być prawdziwe dla różnych formatów zadań; kupujący, który porównuje 96.2 z wynikiem konkurenta, powinien wiedzieć, który wariant ma przed sobą.

Gdzie to się psuje

Kolumna strat we własnym zestawie 16 benchmarków dostawcy jest pouczająca. PhishNChips, zestaw do wykrywania phishingu, wypada 22 punkty za Jev 1.14, a Subquadratic przypisuje to kalibracji progu, a nie jakości rankingu — ROC-AUC jest w przybliżeniu na tym samym poziomie: 0,91 wobec 0,92. To problem do naprawienia dla zespołu gotowego dostroić próg i nienaprawialny dla zespołu, który chciał rozwiązania typu drop-in. Podobszar wiedzy i rozumowania jest jedynym z pięciu, w którym Jev prowadzi jednoznacznie, 55,1 do 50,9. Snap 1.1 jest najsilniejszy tam, gdzie zbiór odpowiedzi jest jawny, a dowody są w dokumencie: narzędzia i automatyzacja (85,3 wobec 74,6), wyszukiwanie i klasyfikacja (67,0 wobec 63,1), rozumienie języka (71,6 wobec 63,3).

Kto powinien się ruszyć, a kto powinien czekać

Przenieś, jeśli Twoja decyzja jest decyzją o routingu, wyborze narzędzia, eskalacji lub istotności podejmowaną na długich dokumentach, a pewna błędna odpowiedź kosztuje więcej niż eskalacja. Okno 384K to operacyjny powód: jedno przejście przez całą umowę, wątek zgłoszeń lub pakiet logów, bez warstwy dzielenia na fragmenty do zbudowania i bez potoku wyszukiwania do utrzymywania w synchronizacji. Zespoły, które już korzystają z wersji zapoznawczej, mają najjaśniejszy przypadek, ponieważ cena spadła, a kalibracja się poprawiła bez zmiany API.

Poczekaj, jeśli potrzebujesz wygenerowanego tekstu, jeśli dokładność 20% na mieszance pytań w benchmarku jest poniżej Twojego progu albo jeśli potrzebujesz opóźnienia poniżej 100 ms w gorącej ścieżce — Subquadratic nie publikuje żadnej wartości opóźnienia dla 1.1, a zewnętrzny pomiar wersji zapoznawczej oszacował wywołanie 8K tokenów na około 0,75 sekundy. Poczekaj też, jeśli potrzebujesz self-hostingu: nie ma wag.

Jedna praktyczna uwaga o tym, gdzie to znajduje się w stosie. SubQ Snap 1.1 jest udostępniany przez własne API i konsolę Subquadratic; nie ma go w katalogu OrcaRouter i nie będziemy udawać, że jest inaczej. To, co oferujemy, to warstwa odpowiedzialna za decyzję: gdy Snap rozstrzyga wywołanie jako „użyj modelu”, ten model to jeden z ponad 200 dostępnych przez pojedynczy klucz w OrcaRouter, w cenie katalogowej dostawcy, z 0% marży i automatycznym przełączaniem awaryjnym między dostawcami. Warstwa decyzyjna i warstwa wykonawcza zawodzą niezależnie, dlatego warto nie mieć obu u tego samego dostawcy.

Otwartą kwestią nie jest to, czy liczby kalibracyjne 1.1 są prawdziwe — są wystarczająco konkretne, że zostaną sprawdzone — lecz to, czy przetrwają inne środowisko testowe. Sformułowanie promptu zmieniło dokładność o 11 do 14 punktów w publicznych benchmarkach Snap, więcej niż różnica między dowolnymi dwoma modelami w indeksie. Poprawa kalibracji, która utrzymuje się tylko w własnym szablonie promptu dostawcy, byłaby znacznie mniejszą rzeczą, niż sugeruje premiera.