SWE-2 Flash vs Flint v1.0: una riga onesta di benchmark e tanto rumore

Due piccoli modelli di coding mixture-of-experts ad attivazione ridotta, rilasciati a quindici giorni di distanza, entrambi dichiarano lo stesso livello di prestazioni a una frazione del costo dei flagship. SWE-2 Flash, di Cognition, 4 novembre 2026, ha 276B parametri totali con 12B attivi. Flint v1.0, di Recursive, 21 ottobre 2026, ha 39.8B totali con circa 2.5B attivi. Sono la stessa scommessa architetturale su scale molto diverse — e il modo onesto di confrontarli è ammettere fin da subito che le loro tabelle pubblicate si sovrappongono esattamente su una sola riga.

Quella riga è Terminal-Bench 2.1: 89,2 per SWE-2 Flash contro 54,9 per Flint v1.0. È un divario di 34 punti, è il singolo numero più forte che una delle due aziende abbia prodotto in questo confronto, e presenta due avvertenze abbastanza grandi da cambiare il modo in cui lo interpreti. Tutto il resto che potresti essere tentato di confrontare è o una versione diversa del benchmark o un sottoinsieme diverso dello stesso benchmark.

Stessa scommessa, licenza opposta

La tesi condivisa è che sono i parametri attivi, non quelli totali, a determinare il costo di inferenza — così puoi costruire un modello sparso di grandi dimensioni e pagare solo per la porzione che si attiva. Flint mette al lavoro 6 esperti instradati su 256 più un esperto condiviso per token, su 49 livelli, 35 dei quali a finestra scorrevole con una finestra di 513 token e 14 ad attenzione completa. SWE-2 Flash eredita questa struttura dalla sua base Inkling-Small: 276B totali, 12B attivi, post-addestrato con una fase di mid-training che Cognition non aveva usato prima.

La differenza che conta più di qualsiasi dettaglio architetturale è ciò che ti è consentito fare con l'output:

• Pesi — Flint v1.0 è distribuito con licenza Apache 2.0 su Hugging Face in BF16, FP8 e forme quantizzate. SWE-2 Flash è del tutto non reso disponibile, con un programma di condivisione con i partner promesso ma non ancora specificato.

• Distribuzione — Flint funziona con llama.cpp, Ollama, LM Studio, vLLM e SGLang su hardware di tua proprietà. SWE-2 Flash funziona all'interno di Devin Desktop e della Devin CLI e in nessun altro ambiente.

• Prezzo — il costo marginale di Flint è la tua GPU. SWE-2 Flash è gratuito fino al 30 novembre 2026 e dopo tale data non ha alcuna tariffa per token pubblicata.

• Contesto — Flint pubblica 262.144 token, configurabili fino a circa 512K. SWE-2 Flash non pubblica nulla.

Non è una differenza da poco nell'impostazione. Uno è un artefatto che puoi ispezionare, quantizzare, mettere a punto ed eseguire su un laptop. L'altro è un prodotto con un mese gratuito.

L'unica riga che puoi confrontare

Terminal-Bench 2.1 è l'unico benchmark in cui entrambe le aziende riportano un numero sulla stessa versione. Il 54.9 di Flint è stato prodotto tramite Terminus 2, con pass@1 mediato su almeno cinque tentativi. L'89.2 di SWE-2 Flash è stato prodotto su un harness che Cognition non nomina, con un'impostazione di effort che non divulga, a partire da un post di lancio che omette l'appendice metodologica che il suo predecessore di settembre includeva.

Quindi il divario di 34 punti è reale nel senso che entrambi i numeri sono stati riportati sullo stesso set di attività, e soft nel senso che una parte ti ha detto come ci è arrivata e l'altra no. Un modello valutato all'interno di uno scaffold agente co-progettato — che è ciò che è Devin — generalmente supererà lo stesso modello valutato tramite un harness generico. Il numero di Flint è quello conservativo proprio perché Recursive ha pubblicato il metodo.

Se vuoi una sola frase: sull’unico punto in comune, SWE-2 Flash è molto avanti, e nessuna delle due aziende ha dato a una parte indipendente la possibilità di verificare.

I due punteggi Pro che sembrano identici ma non lo sono

Questa è la trappola in questo confronto, e vale la pena rallentare per analizzarla. Recursive riporta Flint v1.0 a 89,7 su SWE-bench Pro v2. Cognition riporta SWE-2 Flash a 89,9 su SWE-Bench Pro v2 Hard. Due numeri, distanti 0,2 punti, affiancati in ogni aggregazione che troverete.

Non sono la stessa misura. "Hard" è un sottoinsieme — una fetta filtrata dell'insieme dei task, non l'intero insieme. Il dato di Flint è l'esecuzione completa di Pro v2 con mini-swe-agent, con le soluzioni recuperate dal web conteggiate come fallimenti, una convenzione di valutazione più rigorosa di quella adottata dalla maggior parte dei fornitori. Mettere 89.9 accanto a 89.7 e definirlo un pareggio è il tipo di confronto che produce conclusioni sicure e sbagliate.

Vale la stessa cautela per una riga che nessuna delle due tabelle condivide. Flint riporta SWE-bench Verified a 74,2. SWE-2 Flash non riporta affatto Verified — riporta invece Pro v2 Hard, DeepSWE 1.1 e SWE-Atlas QA. Quindi il benchmark per cui la maggior parte dei team ha un'intuizione non è disponibile per il modello più recente, il che rende «Flint è indietro su SWE-bench» un'affermazione non supportata anziché un risultato.

Il contesto è la specifica che decide

Per il coding agentico, la finestra di contesto non è una nota a piè di pagina: determina se un modello può tenere in un'unica fase di pianificazione la superficie rilevante di un repository o se questa deve essergli fornita a pezzi. Flint dichiara 262.144 token. SWE-2 Flash non dichiara nulla, e dopo tre giorni di copertura nessun organo di stampa è riuscito a stabilirlo.

Il contesto di Flint comporta una sua avvertenza. Le misurazioni della community mostrano un crollo del throughput sui contesti lunghi: circa 110 token al secondo con prompt brevi, che scendono verso i 9 token al secondo in prossimità dei 115.000 token. Una finestra da 262K che gira a 9 tok/s è una finestra che usi deliberatamente, per una singola lettura di grandi dimensioni, non una che lasci aperta per tutta una lunga sessione. La quantizzazione attenua il costo computazionale, ma non quella curva.

La finestra non pubblicata di SWE-2 Flash è l'incognita maggiore, perché Devin è un prodotto pensato per sessioni lunghe. Se stai scegliendo tra loro partendo dal presupposto che il modello chiuso gestisca meglio repository più grandi, stai scegliendo in base a un numero che nessuno ha pubblicato.

La velocità che puoi verificare contro quella che non puoi

Cognition afferma che SWE-2 Flash funziona a circa 200 token al secondo contro i 60 di SWE-2. Il dato deriva dalla riproduzione di trascrizioni di sessioni abbreviate a velocità simulate, non dalla misurazione di un endpoint live. Si tratta di una dimostrazione, non di una misurazione, e attualmente non esiste alcun modo per chiunque al di fuori di Cognition di verificarla.

Le dichiarazioni di throughput di Flint sono modeste al confronto e molto più facili da falsificare: circa da 125 a 131 token al secondo su un MacBook Pro M4 Pro, oltre 150 su un RTX Spark con 64 GB. Tali valori sono stati misurati su hardware acquistabile, da persone che hanno pubblicato la configurazione. Si riporta che la build quantizzata NVFP4 si collochi entro circa 0,7 punti da BF16 sui benchmark, il tipo di affermazione che una comunità può testare e testerà.

Un vero neo da conoscere: il percorso GGUF ha avuto un bug del chat-template in llama.cpp, e il modello ha uno storico comunitario limitato rispetto a qualsiasi cosa provenga da un grande laboratorio. I primi adottanti stanno facendo il debug.

Quanto ti costa davvero ogni opzione

Flint v1.0 è scaricabile gratuitamente e costa quanto costa la tua inferenza. Un modello da 39,8B con 2,5B attivi funzionerà su un portatile ben configurato a una velocità utilizzabile, che è l'intero scopo dell'architettura. Il costo di adozione è operativo: possiedi lo stack di serving, la scelta di quantizzazione e le modalità di guasto.

{{1}}SWE-2 Flash non costa nulla fino al 30 novembre 2026 e poi costa un importo sconosciuto, perché Cognition ha pubblicato una proporzione — un quinto del prezzo di SWE-2 — anziché una tariffa.{{/1}} {{2}}Se il processo di pianificazione del tuo team ha bisogno di un numero da inserire in un foglio di calcolo, è quello il problema bloccante, non il divario rispetto al benchmark.{{/2}}

Nessuno dei due modelli è oggi nel catalogo OrcaRouter, e non intendiamo suggerire il contrario. Ciò che è utile in questo confronto non è il routing tra questi due, ma il benchmarking del panorama attorno a loro: più di 200 modelli stanno dietro un'unica chiave OrcaRouter con un ricarico dello 0% rispetto al prezzo di listino del provider, il che rende l'esecuzione dello stesso task di repository attraverso una dozzina di candidati una questione di cambiare una stringa. Quando devi scegliere tra due modelli in cui una parte ha pubblicato il proprio harness e l'altra no, la tua valutazione vale più della tabella di entrambi i vendor.

Chi dovrebbe scegliere cosa

Scegli Flint v1.0 se hai bisogno dei pesi. Se il tuo vincolo è la residenza dei dati, il funzionamento offline, il fine-tuning o un costo per token che non dipende dalle decisioni di prezzo di un'altra azienda, il divario di 34 punti su Terminal-Bench è un prezzo che potresti benissimo essere disposto a pagare — e il contesto da 262K di Flint e l'harness pubblicato ti offrono un modello su cui puoi ragionare invece di una scatola nera.

Scegli SWE-2 Flash se sei già all'interno di Devin e la finestra gratuita è sufficiente per rispondere alla tua domanda. È il modello con le migliori prestazioni sull'unica riga misurata da entrambe le aziende, con un ampio margine, e non costa nulla provarlo fino alla fine di novembre.

Quello che nessuno dovrebbe fare è scegliere l'uno o l'altro in base ai numeri di SWE-bench Pro. 89,7 e 89,9 non sono lo stesso test, e la differenza tra loro è inferiore a quella tra ciascuno dei due numeri e ciò che il tuo repository produrrà davvero.