SWE-2 Flash vs SWE-2: quanto vale davvero una vittoria di 0,2 punti

La tabella comparativa di Cognition stessa assegna a SWE-2 Flash esattamente una vittoria su SWE-2: 24,0 contro 23,8 su FrontierCode 2.0. Due decimi di punto, sul benchmark di Cognition stessa, in una tabella che Cognition ha costruito per mostrare il modello più piccolo al suo meglio. È anche il numero più utile dell'uscita, per via di ciò che fanno le righe sottostanti — e di ciò che la riga sopra la piega omette silenziosamente.

La versione breve per chi deve decidere alla scrivania invece di leggere fino in fondo: Flash non è un SWE-2 più piccolo. È un modello diverso, basato su una base diversa, ottimizzato per l'estremo circoscritto del lavoro e prezzato a un quinto all'interno dello stesso prodotto. La vittoria di 0,2 punti è reale e conta meno di quanto sembri.

Due edizioni dello stesso benchmark non concordano, e questo è il primo risultato.

Metti le due righe FrontierCode una accanto all'altra e la tabella smette di raccontare la storia di un modello piccolo che sta recuperando.

• FrontierCode 2.0 — SWE-2 Flash 24.0 vs SWE-2 23.8

• FrontierCode 1.1 Main — 45,5 vs 50,0

Stesso strumento, due edizioni, verdetti opposti. Sull'edizione più recente il Flash è leggermente avanti; su quella più vecchia è indietro di 4,5 punti. Una di quelle righe finirà in una slide di lancio e l'altra no, e quale venga scelta dice più sul presentatore che sul modello.

Esiste una lettura difendibile secondo cui entrambe le righe sono vere e nessuna contraddice l'altra: l'edizione 2.0 è più difficile, i punteggi assoluti si comprimono e un set di task più recente può premiare ciò per cui Flash è stato sottoposto a post-addestramento. C'è anche una lettura meno lusinghiera: una variazione di 4,5 punti tra due edizioni di un unico benchmark misura quanto è sensibile lo strumento, e un margine di 0,2 punti rientra in quella sensibilità. Cognition non pubblica intervalli di confidenza né esecuzioni ripetute, quindi con le informazioni fornite la differenza tra 24,0 e 23,8 non può essere distinta dal rumore. Ciò che si può dire è più ristretto e comunque utile: sul benchmark più recente di Cognition i due modelli sono allo stesso livello, non separati.

Dove vanno i tredici punti

Il resto della tabella non è ravvicinato, e la forma del divario è la parte informativa.

• DeepSWE 1.1 — SWE-2 Flash 60.1 vs SWE-2 73.0

• Terminal-Bench 4.0 — 20.0 vs 27.3

• SWE-Atlas QA — 50,0 vs 56,3

• Terminal-Bench 2.1 — 89,2 vs 92,8

• SWE-Bench Pro v2 Hard — 89,9 contro 90,6

• ExploitBench — 34,8 vs 36,1

Ordinali in base a quanta libertà il compito concede all'agente e compare uno schema. Su SWE-Bench Pro v2 Hard — un problema ben specificato con una correzione definita — Flash è indietro di 0,7 punti. Su Terminal-Bench 2.1 è indietro di 3,6. Su Terminal-Bench 4.0 il divario è 7,3, e su DeepSWE 1.1, la riga a lungo orizzonte, è 12,9. Più il compito richiede al modello di decidere cosa fare dopo, più ampio è il divario.

È un meccanismo plausibile, non dimostrato. Un modello con un decimo dei parametri attivi ha meno capacità di tenere insieme un piano lungo, e i benchmark a lungo orizzonte sono dove questo emerge per primo. Ma Cognition non pubblica il numero di turni, il numero di token o le ripartizioni per attività per Flash come ha fatto per SWE-2 — dove ha riportato che il numero medio di passi scendeva da 127 a 53 con sforzo medio — quindi il meccanismo è dedotto dalla forma della tabella anziché dimostrato. Consideralo un'ipotesi che corrisponde alla tua esperienza, oppure no.

Prezzo e velocità, nell'unica valuta in cui Cognition formula i suoi preventivi.

Nessuno dei due modelli ha un prezzo per token, perché nessuno dei due ha un endpoint. Ciò che Cognition pubblica è un rapporto: SWE-2 Flash costa un quinto di SWE-2 e va tre volte più veloce, 200 tok/s contro 60. Entrambi i valori provengono dalla stessa metodologia di replay — l'esecuzione di ciascun modello sul task gsea-proteomics di Terminal-Bench 4.0, riprodotta a velocità simulate con trascrizioni accorciate a lunghezza uguale — quindi entrambi descrivono un profilo di servizio previsto anziché misurato.

Il rapporto resta il numero più rilevante per le decisioni nel rilascio, a condizione che si faccia il passo successivo. Il prezzo per unità di lavoro non equivale al costo per attività risolta, e il secondo è ciò che un team paga effettivamente. Se il quinto è un quinto del costo di un’attività — l’unica lettura che rende l’affermazione significativa all’interno di un prodotto in abbonamento — allora l’aritmetica è semplice.

• Su DeepSWE 1.1 — Flash risolve l'82% delle attività a un quinto del costo, il che è circa 4,1 volte più economico per attività risolta anche sulla riga in cui perde peggio.

• Su FrontierCode 2.0 — risolve leggermente più attività a un quinto del costo, il che è circa 5 volte più economico per attività risolta.

• Su Terminal-Bench 4.0 — ne risolve il 73% con un quinto del costo, circa 3,7 volte più economico per attività risolta.

Ognuna di quelle cifre presuppone che il quinto si applichi al costo di un’attività e non a un token, e che i tassi di risoluzione si trasferiscano alla tua coda. Cognition non specifica quale delle due cose, e questa ipotesi ha un peso enorme. Se il quinto è un prezzo per token su un modello che emette più token per attività, il vantaggio si riduce e potrebbe invertirsi sulle righe a lungo orizzonte. L’aritmetica è una verifica di sensibilità, non una misurazione, e andrebbe rieseguita sui tuoi log.

Ciò che non è in dubbio è la finestra promozionale. SWE-2 Flash è gratuito in Devin Desktop e CLI fino al 30 novembre 2026. La finestra gratuita di SWE-2 si è conclusa il 10 ottobre. Per le prossime settimane, il confronto dei prezzi all'interno di Devin è di un quinto contro zero, il che non è affatto un confronto — è un periodo di valutazione con una scadenza.

Non appartengono allo stesso lignaggio, e il divario nei parametri è l'aspetto meno interessante che li riguarda.

SWE-2 è stato post-addestrato da Kimi K3: 2,8 trilioni di parametri, 104B attivi per token, una base che era già stata sottoposta a un ampio RL per il coding agentico. SWE-2 Flash è stato post-addestrato da Inkling-Small: 276B in totale, 12B attivi, Apache 2.0, di Thinking Machines. Il grafico delle dimensioni di Cognition stesso pone Flash a 1x e SWE-2 a 10,1x. Nei parametri attivi il rapporto è più vicino a nove a uno.

Ora confrontalo con i punteggi. Una differenza di otto volte e mezzo nei parametri attivi vale 4,5 punti su FrontierCode 1.1 Main e assolutamente nulla su FrontierCode 2.0. Nel frattempo, la fase di post-training in sé vale molto più della differenza nei parametri: la tabella di Cognition mostra Inkling-Small a 21,5 su FrontierCode 1.1 Main e il Flash a 45,5, un guadagno di 24 punti da mid-training e RL sulla stessa base. La varianza attribuibile al post-training è circa cinque volte la varianza attribuibile all'intero divario di parametri tra i due modelli.

Questa è la conclusione a cui il duo arriva insieme, ed è più grande di entrambi i modelli. Spiega anche perché Cognition sia disposta a vendere quello più piccolo a un quinto del prezzo: la parte costosa di SWE-2 non è mai stata il modello di base. Erano i dati, i verificatori e gli ambienti RL, e Flash riutilizza quell'investimento su una base più economica.

Qui vanno fatte due precisazioni. Il confronto è una tabella di un fornitore su benchmark controllati dal fornitore stesso, e nulla in essa è stato riprodotto in modo indipendente. Inoltre, i modelli di base non sono input equivalenti — Kimi K3 arriva con un contesto da un milione di token e visione nativa, mentre Inkling-Small è un'architettura diversa con un supporto multimodale diverso — quindi «stesso post-addestramento, base più economica» è la formulazione di Cognition più che una variabile isolata.

L'asimmetria nella definizione dello sforzo

{{1}}SWE-2{{/1}} è stato rilasciato con tre livelli documentati di sforzo di ragionamento — medium, high e max — e {{2}}il lancio di settembre di Cognition{{/2}} ha spiegato a cosa servisse ciascuno: medium passa all’azione prima, mentre high e max pianificano di più, esplorano più a fondo la codebase e spendono di più in verifica. Ha inoltre dichiarato che per ogni modello veniva riportato il miglior punteggio tra le varie impostazioni di sforzo.

SWE-2 Flash non documenta affatto alcun controllo dello sforzo. Il post di lancio non ne fa menzione, e la tabella dei benchmark non contiene alcuna colonna dedicata alle impostazioni. Pertanto, il confronto così com'è pubblicato mette SWE-2 al suo meglio contro Flash a una configurazione non dichiarata — un confronto alla pari solo se Flash ha un'unica impostazione, e sleale in una direzione sconosciuta se ne ha diverse.

Se Flash non ha davvero alcun controllo dello sforzo, questa è una differenza di prodotto da segnalare, non una lacuna nella documentazione. Lo sforzo è il modo in cui bilanci costo e profondità attività per attività, e un modello che ne è privo ti offre un'unica impostazione per una coda che contiene sia attività banali sia attività difficili. È esattamente il compromesso che il rapporto dovrebbe consentirti di fare.

In quale coda va ciascuno

L'impostazione della stessa Cognition è la guida più onesta in questo caso. Afferma che i modelli più piccoli "sono sempre più in grado di gestire una porzione significativa del lavoro svolto dagli agenti software, come automazioni, revisione del codice, sviluppo di funzionalità e aggiornamento della documentazione", e che SWE-2 Flash è stato sviluppato per quel lavoro. Leggi quell'elenco in rapporto alla forma del benchmark e i due concordano: attività ben delimitate, una chiara definizione di completamento, volume elevato, bassa tolleranza alla latenza.

• Se il compito entra in un prompt e la definizione di completamento è inequivocabile — un giro di revisione, un aggiornamento della documentazione, una piccola funzionalità, un'automazione pianificata — Flash è la scelta predefinita giusta, e il calcolo del costo per compito risolto sopra indica che è diverse volte più economico anche quando risolve meno compiti.

• Se l'agente deve decidere cosa fare dopo più di qualche volta — una migrazione, un refactoring cross-repo, una sessione di debug in cui la prima ipotesi è di solito sbagliata — il gap di 13 punti su DeepSWE è esattamente ciò che stai acquistando con SWE-2, e il rapporto non lo compensa.

• Se non riesci a capire quale di questi sia un compito, avvialo su Flash e passa a un livello superiore. È la decisione per cui Cognition ha creato i livelli di impegno su SWE-2, e l'assenza del controllo dell'impegno in Flash rende l'escalation una decisione di instradamento anziché un parametro.

L'errore da evitare è usare il vantaggio di 0,2 punti come licenza per spostare la coda dei casi difficili. È un solo benchmark, una sola edizione, un solo fornitore, e rientra nella sensibilità stessa dello strumento.

Al di fuori di Devin, nessuno dei due è un candidato

Nessuno dei due modelli ha un’API. Nessuno dei due ha pesi pubblici. Se il tuo harness è il tuo, la coppia non è una scelta che puoi fare, e la finestra gratuita non ti aiuta: è una prova all’interno di un prodotto che devi acquistare.

La metà raggiungibile di questo stack è la base. Kimi K3 è instradato su OrcaRouter come kimi/kimi-k3 a 3,00 $ per milione di token di input e 15,00 $ per milione di token di output, con una finestra di contesto di 1M di token e tool calling nativo, al prezzo di listino del provider senza alcun ricarico aggiunto. Una sola API copre più di 200 modelli, il che rende implementabile al di fuori di Devin la suddivisione della coda descritta sopra: una regola di routing può inviare il lavoro delimitato a un modello economico e far salire di livello i job a lungo orizzonte verso uno più potente, senza che il client sappia quale abbia risposto. Il failover automatico appartiene al percorso escalato, perché il modello verso cui si fa escalation è quello che non ci si può permettere che sia indisponibile.

Quello è un prodotto diverso da SWE-2 Flash e non ne è un sostituto. È quello che fai quando la cosa che vuoi valutare non ha un endpoint.

Cosa lo risolverebbe

Tre rivelazioni trasformerebbero questo confronto dalla tabella di un fornitore in una prova. Un'esecuzione indipendente di DeepSWE 1.1 e Terminal-Bench 4.0 su entrambi i modelli, condotta da qualcuno che non sia Cognition e che non utilizzi l'harness di Cognition. Una dichiarazione dell'impostazione dello sforzo e dello scaffold dietro ogni riga della tabella Flash, corrispondente a quanto fornito al lancio di SWE-2. E un'esecuzione ripetuta, così che un margine di 0,2 punti possa essere distinto dalla varianza tra un'esecuzione e l'altra.

Fino ad allora, la lettura difendibile è quella ristretta. SWE-2 Flash è un fratello ottimizzato per i costi, costruito su una base molto più piccola, allo stesso livello di SWE-2 sul benchmark più recente e chiaramente indietro nel lavoro su orizzonti lunghi, venduto a un rapporto che, sulla base delle evidenze disponibili, lo rende diverse volte più economico per attività risolta. È una buona decisione di prodotto e un'affermazione tecnica modesta. Il vantaggio di 0,2 punti non è prova che abbia sostituito qualcosa — è prova che su uno strumento, in un giorno, il divario si è chiuso abbastanza da sparire nel rumore.