SubQ Snap 1.1 si classifica primo a pari merito nel Decision Index imparando ad astenersi

Il modello più recente in cima all'Artificial Analysis Decision Index v1.0 non è quello che ottiene il maggior numero di risposte corrette. SubQ Snap 1.1, rilasciato da Subquadratic il 22 ottobre 2026, ha ottenuto 65 punti e si è classificato a pari merito con d1-ultra e Elephant 9B per il primo posto. Jev 1.14 si trova a 57. Leggi le note in piccolo sotto l'indice e il motivo del pareggio non è affatto l'accuratezza grezza: la scheda di Artificial Analysis indica l'accuratezza di Snap 1.1 al 20%, contro il 32% di d1-ultra e il 12% di Elephant 9B. Ciò che Snap 1.1 fa meglio di entrambi è rifiutarsi di rispondere.

Questo è un vero risultato ingegneristico, non un trucco da benchmark, ma cambia chi dovrebbe interessarsene. Un modello decisionale non è un modello conversazionale. Prende un documento e un insieme fisso di risposte consentite — instrada a questa coda o a quella, chiama questo strumento o rifiuta, sì o no o escala — e restituisce una scelta con una probabilità calibrata associata. La proposta di Subquadratic, da quando la preview è stata rilasciata dieci giorni prima, è che questo carico di lavoro meriti un'architettura propria anziché un LLM generico che brucia token di output per produrre la parola "rimborso". La versione 1.1 è la prima release in cui l'affermazione sulla calibrazione è abbastanza specifica da poter essere verificata.

Cosa è effettivamente cambiato tra Snap 1.0 e 1.1

Questa è una release post-addestramento, non un nuovo modello. L'architettura Subquadratic Sparse Attention, la finestra da 384K token e il percorso di input testo più immagine sono invariati rispetto a Snap 1.0, che è entrato in funzione il 12 ottobre a 0,05 $ per milione di token di input. Ciò che è cambiato è il comportamento del modello quando è incerto: il fornitore afferma che la versione 1.1 aggiunge una calibrazione esplicita dell'incertezza e condensa il ragionamento a più passaggi in un'unica passata forward, invece di generare una catena di pensiero per poi impegnarsi in una risposta.

I numeri che Subquadratic riporta per quel cambiamento sono insolitamente specifici, il che è sia positivo sia meritevole di attenta analisi. L'errore di calibrazione atteso sui benchmark di probabilità held-out è sceso da 0,108 a 0,014. Gli errori ad alta sicurezza sulle domande senza risposta sono diminuiti da 294 su 600 a 57 su 600 — la riduzione dell'81% che i resoconti del lancio continuano a citare. Le allucinazioni con eccessiva sicurezza sugli input fuori distribuzione sono scese dal 99,3% al 12,5%. La concordanza con una regola decisionale bayes-ottimale è salita dall'83% al 90%. Nella suite aziendale da 16 benchmark del fornitore, 1.1 supera in media Jev 1.14 di 7,2 punti con un intervallo di confidenza al 95% da 6,5 a 7,8, vincendo 12, pareggiando 3 e perdendo 1, e supera in media Snap 1.0 di 5,5 punti.

Tutto questo è dichiarato dal fornitore. Nessuno al di fuori di Subquadratic ha ancora pubblicato un'esecuzione di 1.1; i repository indipendenti esistenti hanno testato il modello preview, e se ne parla più avanti.

Come un modello con un'accuratezza del 20% arriva primo a pari merito

Il Decision Index non valuta l'accuratezza in modo isolato. Valuta l'esito di una decisione in condizioni di incertezza, il che significa che un'astensione su una domanda a cui il modello non sa rispondere vale più di una supposizione sicura — e vale molto più di una supposizione sbagliata ma sicura. Artificial Analysis riporta il tasso di non-allucinazione di Snap 1.1, ovvero la frequenza con cui ha detto "Non lo so" a domande a cui non poteva rispondere correttamente, all'86%. Elephant 9B è più alto al 93% e d1-ultra è leggermente inferiore all'85%. L'accuratezza del 20% di Snap 1.1 è quella intermedia del trio, e il suo punteggio nell'indice è identico a entrambi.

Che questo sia il compromesso giusto dipende interamente da quanto ti costa a valle una risposta sbagliata. In un sistema di instradamento dei ticket di supporto, un instradamento errato ma sicuro di sé invia un reclamo di fatturazione alla coda dell'ingegneria e un cliente aspetta due giorni; un'astensione lo invia a una fase di triage umano che costa trenta secondi. In un lavoro di classificazione di contenuti in blocco senza alcun intervento umano, l'astensione è solo una riga senza etichetta e il numero di accuratezza è quello che conta. L'indice ti sta dicendo che Snap 1.1 è costruito per il primo caso. Non ti sta dicendo che è il classificatore più accurato che puoi acquistare, perché non lo è.

Il taglio dei prezzi e il denominatore che nessuno cita

L'altro cambiamento nella 1.1 è il prezzo: $0,04 per milione di token di input, in calo del 20% rispetto ai $0,05 dell'anteprima, con i token di output gratuiti. Questa seconda metà è la parte che rimodella il conto. Un classificatore basato su un modello generativo paga per la risposta — di solito breve, ma i modelli di ragionamento possono spendere centinaia di token per decidere cosa emettere. Snap non ha output da pagare, quindi una chiamata che legge 100K token costa circa quattro decimi di centesimo e nient'altro.

Artificial Analysis esprime la stessa cifra per attività anziché per token: circa $30 per milione di attività per Snap 1.1, contro $32 per d1-ultra e $8,4 per Elephant 9B. Quel numero per attività è quello utile, ed è anche un promemoria del fatto che il prezzo di listino per token è un modo scarso di confrontare un modello decisionale con qualsiasi altra cosa. La fattura scala con la lunghezza dell'input, quindi una chiamata di routing da 4K token e una revisione contrattuale da 300K token finiscono in fasce di costo completamente diverse anche se la tariffa è identica.

Ciò che i numeri del fornitore non chiariscono

Due cose vanno tenute distinte dal post di lancio. La prima è lo scetticismo. La copertura della comunità dei rilasci di Subquadratic — inclusi i resoconti di BlockBeats diffusi come "AI jack-of-all-trades" — ha messo in dubbio quanto dell'insieme di affermazioni sia riproducibile in modo indipendente, e il modello non ha pesi aperti, quindi non esiste un checkpoint che un esterno possa eseguire. La seconda è che i test indipendenti esistenti sono stati eseguiti sulla preview, non sulla 1.1. Un confronto riproducibile di jcarlosrodicio ha rilevato che Snap era leggermente dietro a Jev sotto i 30K token (93,9% contro 94,7%) e ben dietro sui log da 360K token (58,8% contro il 77,1% di Jev quando Jev veniva suddiviso in chunk). Un altro benchmark di ingegneria del software, snap-vs-jev-swe, ha rilevato Snap all'87,5% sulla localizzazione dei file di SWE-bench Verified rispetto a una baseline casuale del 10,6%, e ha misurato inversioni di risposta sul 5,0% degli elementi quando l'ordine delle opzioni veniva invertito.

Quei risultati non sono contraddetti dalla 1.1 — il lavoro di calibrazione è esattamente il tipo di modifica che li sposterebbe — ma non costituiscono nemmeno una prova a favore della 1.1. C'è anche una piccola incoerenza interna nelle cifre pubblicate: la copertura del lancio cita un punteggio When2Call di 96,2, mentre la variante a scelta multipla corretta per la casualità dello stesso benchmark, sviluppata da Subquadratic, riporta 91,0. Entrambi i valori possono essere veri per formati di attività diversi; un acquirente che confronta il 96,2 con il numero di un concorrente dovrebbe sapere quale variante sta considerando.

Dove si rompe

La colonna delle perdite della suite di 16 benchmark del fornitore stesso è istruttiva. PhishNChips, un set di rilevamento del phishing, arriva 22 punti dietro Jev 1.14, e Subquadratic lo attribuisce alla calibrazione della soglia più che alla qualità del ranking — ROC-AUC è più o meno allo stesso livello, 0,91 contro 0,92. È un problema risolvibile per un team disposto a mettere a punto una soglia, e irrisolvibile per un team che voleva una soluzione drop-in. La sottoarea conoscenza e ragionamento è l'unica delle cinque in cui Jev è in testa nettamente, 55,1 contro 50,9. Snap 1.1 è più forte dove l'insieme delle risposte è esplicito e le prove sono nel documento: strumenti e automazione (85,3 contro 74,6), recupero e classificazione (67,0 contro 63,1), comprensione del linguaggio (71,6 contro 63,3).

Chi dovrebbe muoversi, e chi dovrebbe aspettare

Usalo se la tua decisione è una scelta di instradamento, selezione degli strumenti, escalazione o pertinenza presa su documenti lunghi, e una risposta sbagliata ma sicura costa più di un'escalation. La finestra da 384K è la ragione operativa: un'unica passata su un contratto intero, un thread di ticket o un bundle di log, senza alcun livello di chunking da costruire e senza alcuna pipeline di retrieval da mantenere sincronizzata. I team che stanno già usando la preview hanno il caso più evidente, dato che il prezzo è sceso e la calibrazione è migliorata senza modifiche all'API.

Aspetta se ti serve testo generato, se una precisione del 20% sul mix di domande del benchmark è sotto la tua soglia minima, o se ti serve una latenza inferiore a 100 ms in un hot path — Subquadratic non pubblica alcun dato di latenza per 1.1, e la misurazione di terze parti dell'anteprima ha rilevato circa 0,75 secondi per una chiamata da 8K token. Aspetta anche se devi eseguirlo in self-hosting: non ci sono pesi.

Una nota pratica su dove si colloca in uno stack. SubQ Snap 1.1 viene servito tramite l'API e la console proprietarie di Subquadratic; non è nel catalogo di OrcaRouter, e non fingeremo il contrario. Ciò che offriamo è lo strato dietro la decisione: quando Snap risolve una chiamata a "usare un modello", quel modello è uno dei 200+ raggiungibili tramite un'unica chiave su OrcaRouter, al prezzo di listino del provider con 0% di ricarico e failover automatico tra provider. Lo strato decisionale e lo strato di esecuzione falliscono in modo indipendente, e vale la pena non avere entrambi dietro lo stesso fornitore.

La questione aperta non è se i numeri di calibrazione della 1.1 siano reali — sono abbastanza specifici da poter essere verificati — ma se sopravvivano a un harness diverso. La formulazione dei prompt ha spostato l'accuratezza di 11-14 punti nei benchmark pubblici Snap, più del divario tra due modelli qualsiasi nell'indice. Un miglioramento della calibrazione che regga solo con il template di prompt del fornitore stesso sarebbe un risultato molto più modesto di quanto il lancio lasci intendere.