SWE-2 Flash vs North Mini Code: Il benchmark dentro il benchmark

Ecco un accostamento scomodo. SWE-2 Flash è un modello da 276 miliardi di parametri sottoposto a post-addestramento e rilasciato il 4 novembre 2026, con otto righe di benchmark e nessun modo per invocarlo. North Mini Code è un modello da 30 miliardi di parametri che Cohere ha distribuito a giugno 2026 con licenza Apache 2.0, con una tabella di benchmark che si sovrappone a SWE-2 Flash esattamente su zero righe — e un punteggio indipendente che SWE-2 Flash non ha affatto. Sulla carta, il modello più nuovo e più grande vince su tutto. Sul piano delle prove, quello più vecchio e più piccolo è l'unico dei due che una terza parte abbia misurato.

Quell'inversione è l'intero articolo, ed è più utile di un confronto dei punteggi, perché il confronto dei punteggi non può in realtà essere fatto.

Due MoE con budget di parametri opposti

Entrambi sono modelli sparse mixture-of-experts, costruiti attorno allo stesso principio di costo: si paga per i parametri attivi, non per quelli totali. Si collocano a estremità quasi opposte della gamma.

• Totale parametri — SWE-2 Flash 276B vs North Mini Code 30B

• Attivo per token — SWE-2 Flash 12B vs North Mini Code 3B

• Layout degli esperti — SWE-2 Flash eredita la struttura di Inkling-Small; North Mini Code instrada verso 8 dei 128 esperti

• Contesto — SWE-2 Flash non pubblicato vs North Mini Code 256K, con output massimo di 64K

• Output massimo — SWE-2 Flash non pubblicato vs North Mini Code 64K

• Licenza — SWE-2 Flash non divulgato rispetto a North Mini Code Apache 2.0 in BF16, FP8 e W4A16

La differenza di nove volte nei parametri attivi è il numero che spiega tutto il resto. SWE-2 Flash può permettersi di essere un modello più grande, più lento da addestrare, che viene eseguito a basso costo per token perché solo 12B di esso si attivano. North Mini Code funziona con una frazione di ciò, ed è per questo che Cohere può collocarlo in un deployment di classe laptop e perché il suo tetto nei benchmark è più basso.

Perché non puoi mettere 89.2 accanto a 36.0

Il confronto che circolerà è Terminal-Bench: SWE-2 Flash a 89,2, North Mini Code a 36,0. Un divario di 53 punti che renderebbe questo un non-articolo. Non è una sottrazione valida, per una ragione facile da trascurare.

North Mini Code riporta "Terminal-Bench v2" a 36.0 e "Terminal-Bench Hard" a 31.1. SWE-2 Flash riporta "Terminal-Bench 2.1" a 89.2 e "Terminal-Bench 4.0" a 20.0. "v2" e "2.1" sono etichette adiacenti su quello che potrebbe essere o non essere lo stesso set di attività, e nessuno dei due fornitori dichiara il numero di attività, l'harness o la convenzione di punteggio nel materiale confrontato.

L'evidenza interna è che queste versioni sono strumenti radicalmente diversi. Le due righe Terminal-Bench di SWE-2 Flash distano 69 punti — 20.0 su 4.0, 89.2 su 2.1. Quando un modello ottiene 20 e 89 su due benchmark con lo stesso nome e numeri diversi, la versione è la misura. Mettere a confronto un punteggio 2.x con un punteggio v2 e chiamare la differenza un divario di capacità è l'errore più comune in assoluto in questo ambito di confronto.

Altre righe sembrano condivise e non lo sono. North Mini Code riporta SWE-bench Pro a 40,2; SWE-2 Flash riporta SWE-Bench Pro v2 Hard a 89,9. Generazione del benchmark diversa e un sottoinsieme filtrato. North riporta SWE-bench Verified a 67,6; SWE-2 Flash non riporta affatto Verified. North riporta SciCode 38,2 e LiveCodeBench v6 70,3; SWE-2 Flash non riporta nessuno dei due.

Questo lascia DeepSWE 1.1, dove SWE-2 Flash riporta 60.1 e North Mini Code non riporta nulla.

Il numero indipendente che solo uno di loro possiede

North Mini Code ha un Artificial Analysis Intelligence Index di 27,6 e un Coding Index di 33,4. Si tratta di misurazioni di terze parti basate su una metodologia omogenea, effettuate su un modello che chiunque può scaricare e rieseguire.

SWE-2 Flash non ha una voce in Artificial Analysis, perché Artificial Analysis misura i modelli tramite un'API e SWE-2 Flash non ha un'API. Ogni cifra a esso associata — il 60.1, l'89.2, il 20.0, il 24.0 su FrontierCode 2.0 — è di Cognition stessa, prodotta su un harness non divulgato, e FrontierCode è il benchmark di Cognition stessa. Nulla qui dice che quei numeri siano sbagliati. Dice che un lettore non ha modo di distinguere una capacità reale da uno scaffold generoso.

Per un modello open-weight da 30B di giugno, un AA Coding Index di 33,4 è un punteggio modesto — superiore al 25,9 di GLM-4.7-Flash, inferiore al 35,2 di Qwen3.6 35B-A3B. È anche un punteggio che puoi verificare, il che vale più di una riga di un fornitore che non puoi verificare.

Velocità, e quale affermazione è verificabile

Cohere dichiara circa 199 token di output al secondo sulla propria API, circa 2,8 volte il throughput di Devstral Small 2. Si tratta di una misurazione effettuata su un endpoint in servizio: una richiesta entra, i token escono e chiunque abbia accesso può riprodurla.

Cognition riporta circa 200 token al secondo per SWE-2 Flash contro i 60 di SWE-2, prodotti riproducendo trascrizioni di sessioni abbreviate a velocità simulate. I due numeri sono a meno di un token al secondo l'uno dall'altro e significano cose del tutto diverse. Uno è una misura di throughput; l'altro è una dimostrazione di come apparirebbe il modello a quella velocità.

Questo è lo schema che si ripete in tutta la comparazione. Il modello più vecchio pubblica affermazioni meno impressionanti, corredate di più metodologia. Il modello più nuovo pubblica affermazioni dall’aspetto migliore, senza alcuna metodologia.

Dove North Mini Code è davvero debole

Non tutto favorisce Cohere. North Mini Code è uno specialista della programmazione e si comporta come tale: ottiene il 14% su GDPval-AA e il 37% su τ²-Bench Telecom, entrambe valutazioni agentiche non di programmazione in cui un modello generalista farebbe molto meglio. Se il tuo agente deve fare qualcosa di diverso dallo scrivere e testare codice — gestire un flusso di lavoro con i clienti, ragionare su un processo aziendale — North Mini Code è lo strumento sbagliato e la base più ampia di SWE-2 Flash è plausibilmente la scelta migliore.

La sua finestra di contesto è pubblicata e ampia — 256.000 token con un limite di output di 64.000 token — anche se la finestra utilizzabile dipende ancora dallo stack di servizio. E un modello 30B con 3B attivi ha un tetto più basso rispetto a un modello 276B con 12B attivi; nessuna quantità di trasparenza metodologica colma questo divario.

Il costo e l’argomento a favore di un livello di routing

North Mini Code è scaricabile gratuitamente con licenza Apache 2.0, con una tariffa per la versione ospitata sull'API proprietaria di Cohere e disponibilità tramite diverse piattaforme di terze parti. SWE-2 Flash è gratuito all'interno di Devin fino al 30 novembre 2026 e senza prezzo definito dopo tale data, senza alcuna forma scaricabile all'orizzonte.

Nessuno dei due è nel catalogo OrcaRouter. Il modello di Cohere è self-hostabile da chiunque disponga dell'hardware, mentre quello di Cognition non ha alcun endpoint verso cui instradare: la lettura onesta, quindi, è che questa decisione viene comunque presa al di fuori del nostro catalogo. Ciò che un layer di routing cambia è il costo di sbagliare. OrcaRouter applica il prezzo di listino del provider senza alcun ricarico (0% di markup) e gestisce automaticamente il failover, così un'applicazione scritta per un unico ID di modello non è un'applicazione legata all'uptime di un solo fornitore. Per una coppia in cui un lato potrebbe essere ritariffato il 1° dicembre e l'altro potrebbe non essere mai richiamabile, quella portabilità è l'aspetto per cui vale la pena fare ingegneria.

Come decidere

Se vuoi un modello che puoi eseguire, ispezionare, quantizzare e valutare con benchmark da solo, North Mini Code è l'unica opzione in questa coppia, e la sua finestra di contesto pubblicata e il budget attivo di 3B lo rendono praticabile su hardware modesto. Accetta il tetto di capacità inferiore e l'attenzione ristretta alla programmazione.

Se sei dentro Devin e la finestra gratuita è il punto, SWE-2 Flash è il modello più forte sui suoi stessi numeri con un margine ampio, e il costo di provarlo fino al 30 novembre è zero.

Quello che non dovresti fare è mettere 89.2 accanto a 36.0 e concludere qualcosa. Quei numeri provengono da strumenti diversi, riportati da aziende diverse, su una famiglia di benchmark il cui numero di versione è la misurazione. L’unica affermazione difendibile su questa coppia è quella che suona meno come un verdetto: uno dei due è stato valutato in modo indipendente e l’altro no, e questa è una differenza più grande di qualsiasi riga in entrambe le tabelle.