Flint v1.0 vs Qwen3.8 27B: il modello Recursive si è confrontato con se stesso

Recursive ha pubblicato una frase nel suo materiale di lancio, Recursive Flint v1.0, che la maggior parte dei resoconti ha tralasciato: sulla media dei sei test calcolata dall'azienda stessa, solo Qwen3.8 27B ha ottenuto un punteggio superiore a Flint. È una cosa insolita che un fornitore scriva il giorno del lancio. È anche la frase più utile del comunicato, perché ti dice quale confronto andare a verificare. Qwen3.8 27B è un modello dense open-weight, rilasciato il 14 agosto 2026 con licenza Apache 2.0, ed è l'unico modello nel set di confronti di Recursive che ha superato Flint sull'aggregato costruito dal fornitore stesso. Quindi la domanda interessante non è se Flint sia buono. È dove, esattamente, Qwen3.8 27B sia migliore, e se il divario resista a un esame attento degli harness coinvolti.

Leggi la dichiarazione di classe prima di leggere il punteggio

L'affermazione di punta di Flint è accuratamente circoscritta: è in testa ai modelli mixture-of-experts con meno di 50 miliardi di parametri totali su SWE-bench Pro v2, Terminal-Bench 2.1 e SWE-bench Verified. Qwen3.8 27B non è un modello mixture-of-experts. È denso: 27 miliardi di parametri, tutti attivi per ogni token, 28 miliardi contando l'encoder visivo, 64 layer con una dimensione nascosta di 5.120. Quindi, per costruzione, resta fuori dalla classe di confronto di Flint, e Recursive era libera di lasciarlo del tutto fuori dall'affermazione.

Vale la pena essere precisi su quanto "dense" costa e quanto offre. Ognuno dei 27 miliardi di parametri di Qwen partecipa a ogni token, ed è per questo che richiede circa 55,6 GB in BF16 e una GPU vera, e che la sua impronta di attivazione è circa undici volte quella di Flint. È anche il motivo per cui un 27B dense può superare in accuratezza un modello sparse con 2,5B attivi: esegue più aritmetica per token, e te la fa pagare.

Terminal-Bench 2.1: il divario di diciotto punti

Questo è il confronto più pulito disponibile, perché entrambi i laboratori riportano la stessa versione del benchmark, e il divario è abbastanza ampio che è improbabile che il rumore dell'harness possa spiegarlo tutto.

• Flint — 54,9% su Terminal-Bench 2.1, eseguito sull'harness Terminus 2 con internet abilitato, ma con qualsiasi soluzione ottenuta tramite recupero dal web considerata un fallimento.

• Qwen3.8 27B — 73,0% su Terminal-Bench 2.1, secondo la model card di Alibaba.

Si tratta di un divario di 18,1 punti a favore di Qwen, sul benchmark che più si avvicina al lavoro agentico in terminale — che è esattamente il compito per cui entrambi i modelli vengono commercializzati. Due avvertenze tirano in direzioni opposte ed entrambe vanno segnalate.

Il primo favorisce Flint. Recursive ha applicato un handicap che i suoi concorrenti potrebbero non aver applicato: se l’agente trovava la risposta sul web, Recursive la considerava errata. Un modello autorizzato a cercare e citare otterrebbe un punteggio più alto sullo stesso harness. Quanto più alto non è noto, e Recursive non pubblica il dato senza handicap.

Il secondo risultato contraddice qualsiasi interpretazione netta. Una terza parte, PrismML, ha assegnato a Qwen3.8 27B un punteggio di 69,7 su Terminal-Bench 2.1, anziché il 73,0 di Alibaba. Una discrepanza di 3,3 punti sullo stesso modello e sullo stesso benchmark è una calibrazione utile: ti dice che in questa tabella gli scarti di pochi punti sono rumore, e che uno scarto di 18 punti probabilmente non lo è.

Anche prendendo il valore più basso di Qwen, 69,7 contro 54,9 lascia 14,8 punti. La direzione non è in dubbio.

LiveCodeBench v6: un secondo divario, su un benchmark più pulito

La programmazione competitiva è il benchmark meno sensibile all’harness tra quelli riportati da entrambi i laboratori, perché il modello riceve un problema e produce codice, e un giudice lo esegue. Non c’è alcun ciclo dell’agente sul quale divergere.

• Flint — 80,3% su LiveCodeBench v6.

• Qwen3.8 27B — 90,3% su LiveCodeBench v6.

Si tratta di un divario di 10 punti, ed è quello a cui darei il peso maggiore, proprio perché è il più difficile da giustificare. L'80,3 di Flint è un numero rispettabile per un modello che attiva 2,5 miliardi di parametri. Il 90,3 di Qwen è un numero forte per un modello che attiva 27 miliardi. Nessuno dei due è sorprendente. Il punto è che il vantaggio di efficienza che Flint sta vendendo non è gratis, e questo benchmark è dove il prezzo è visibile.

Il benchmark che sembra una vittoria di Flint e non lo è

Ecco dove la maggior parte delle pagine di confronto sbaglia, e vale la pena rallentare per rifletterci.

Flint riporta 89,7% su SWE-bench Pro v2. Qwen3.8 27B riporta 61,7% su SWE-bench Pro. Letto di fretta, sembra una vittoria di Flint con 28 punti di vantaggio. Non è affatto un confronto. Il "v2" è un benchmark diverso da quello riportato da Alibaba, con un diverso insieme di attività e un diverso protocollo di valutazione, e i due numeri non si possono sottrarre. Qualsiasi pagina che li metta in colonne adiacenti e dichiari un vincitore sta dicendo qualcosa sul suo autore, non sui modelli.

La stessa trappola si trova una riga più sotto. Flint riporta il 74,2% su SWE-bench Verified. Qwen3.8 27B non pubblica un punteggio SWE-bench Verified — la scheda di Alibaba riporta SWE-bench Pro, QwenSWEBench al 79,0, DeepSWE 1.1 al 42,2, Terminal-Bench 2.1 al 73,0, LiveCodeBench v6 al 90,3 e NL2Repo-Bench al 42,3. Non c'è alcun dato Verified con cui confrontarsi. I numeri che circolano per Qwen3.8 27B su Verified sono o ereditati da un modello precedente della famiglia oppure presi da una fonte secondaria che è in conflitto con la scheda del modello su diversi altri benchmark contemporaneamente. Trattali come non verificati.

Un'ulteriore precisazione da parte di Alibaba: le sue esecuzioni di SWE-bench Pro e QwenSWEBench hanno utilizzato un harness per agenti esterno anziché un modello nudo, quindi anche i confronti con il valore SWE-bench Pro di un altro laboratorio sono incerti. Questo non è esclusivo di Alibaba. È lo stato dei benchmark di coding agentico in generale, ed è per questo che qui le righe Terminal-Bench e LiveCodeBench contano più delle righe SWE-bench.

Dove Flint vince, e non c'è partita

L'accuratezza non è l'unico asse, e sugli altri l'ordine si inverte nettamente.

• {{1}}Memoria{{/1}} — Flint gira in circa 24 GB, con una build NVFP4 da 22,86 GB su disco. Qwen3.8 27B richiede circa 55,6 GB in BF16. Uno entra in un laptop di fascia alta o in una singola scheda consumer; l'altro richiede una vera allocazione GPU.

• Calcolo attivo per token — Flint attiva circa 2,5 miliardi di parametri. Qwen ne attiva tutti i 27 miliardi. Questo rapporto è il motivo per cui esiste il divario di velocità e il motivo per cui Flint costa meno da servire su larga scala.

Velocità — Recursive dichiara oltre 125 token al secondo su un MacBook Pro M4 Pro e più di 150 su un RTX Spark da 64 GB con contesto breve. Un modello denso da 27B sullo stesso portatile non rientra in quel range. Si segnala inoltre che Qwen3.8 27B è lento in locale e insolitamente avido di token — Artificial Analysis ha misurato circa 160 milioni di token di output durante i test del suo indice, il che rappresenta un moltiplicatore di costi in qualsiasi loop di agenti.

• Contesto — entrambi gestiscono nativamente 262.144 token, e Qwen si spinge fino a 1.000.000 con lo scaling YaRN. L'annuncio di Flint ne cita fino a 512K. Sulla carta siamo a un pareggio sulla finestra nativa; in pratica, il throughput di Flint sul contesto lungo è il punto più debole, con test indipendenti che riportano un calo a circa 9 token al secondo in prossimità dei 115.000 token.

• Multimodalità — Qwen3.8 27B accetta immagini e video oltre al testo, con un layout di attenzione ibrido composto da 48 layer di attenzione lineare Gated DeltaNet e 16 layer di attenzione completa in un rapporto di 3:1, ed è proprio questo che rende sostenibile servire una finestra da 262K. Flint è solo testo.

Quello che stai effettivamente scegliendo

• Se l'obiettivo è la massima accuratezza nella programmazione e disponi dell'hardware, Qwen3.8 27B è il modello più forte su ogni benchmark in cui i due possono essere confrontati in modo pulito. È anche quanto afferma la media dei sei test di Recursive.

• Se il modello deve funzionare su un laptop, restare offline, tenere il codice sorgente sulla macchina o servire un volume sufficiente tale che i parametri attivi dominino il costo, Flint vince sull'asse che decide il deployment. Un modello con 2,5B di parametri attivi a 125 token al secondo è un prodotto diverso da un modello denso da 27B che richiede un nodo GPU.

• Se vuoi entrambi, si combinano bene: il modello locale per il lavoro di routine e sensibile, il modello ospitato per i compiti difficili. È la suddivisione su cui approda la maggior parte dei team, ed è qui che il livello di routing smette di essere un dettaglio.

Qwen3.8 27B è l'unico modello in questo confronto che OrcaRouter serve direttamente — l'identificatore è qwen/qwen3.8-27b nel nostro elenco dei modelli live, e accetta testo, immagini e video con la finestra completa di 262.144 posizioni. Poiché il prezzo di listino del provider viene passato senza alcun ricarico, una variazione di prezzo da parte di Alibaba è attiva per noi lo stesso giorno anziché al rinnovo successivo. OrcaRouter non serve Flint; quello è un download. Quindi l'ibrido sopra è davvero ibrido: un percorso verso un modello ospitato di classe frontier, e un file locale per tutto ciò che non deve lasciare la macchina.

L'esperimento che nessuno ha mai eseguito

Ogni numero in questo articolo proviene da un laboratorio che misura il proprio modello, con una sola eccezione — il disaccordo di 3,3 punti di PrismML con Alibaba su Terminal-Bench, che è l'unico indizio disponibile su quanto queste cifre possano variare quando è qualcun altro a tenere il cronometro.

Ciò che risolverebbe la questione è semplice e non è accaduto: entrambi i modelli, un solo harness, un unico set di attività, un'unica macchina, tracce pubblicate. Fino ad allora, la posizione difendibile è quella più ristretta. Sui benchmark che entrambi i laboratori riportano onestamente, Qwen3.8 27B è il coder più accurato. Sugli assi di deployment che decidono se un modello può funzionare o meno, Flint è quello più efficiente. Recursive lo ha detto per prima, nel proprio post di lancio, e questa è la cosa più affidabile dell'intera release.