Card del titolo per MAI Code 2 vs SWE-2. MAI Code 2 è mostrato come modello di Microsoft all'interno di GitHub Copilot, senza API, con un prezzo di $0,50 per l'input e $2,50 per l'output per milione di token, senza alcun tasso di superamento pubblicato e senza pesi. SWE-2 è mostrato come modello di Cognition all'interno di Devin, senza prezzo per token, con un punteggio del 73,0 percento su DeepSWE 1.1, del 92,8 percento su Terminal-Bench 2.1 e del 27,3 percento su Terminal-Bench 4.0.
Guides & Insights

MAI Code 2 vs SWE-2: Gli stessi due benchmark, pubblicati solo da uno dei due

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

MAI Code 2 e SWE-2 citano quasi esattamente gli stessi benchmark nel materiale di lancio, e solo uno dei due ti dice che punteggio ha ottenuto. Il post di Microsoft del 17 novembre 2026 elenca DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas e FrontierCode v1.1 e poi riporta rapporti: il 96% delle prestazioni di Claude Opus 5.5 al 5% del costo. Il post di Cognition su SWE-2, pubblicato il 10 settembre 2026, elenca gli stessi primi due benchmark e riporta un numero per ciascuno: 73,0% su DeepSWE 1.1, 92,8% su Terminal-Bench 2.1, 27,3% su Terminal-Bench 4.0. È quel terzo numero che va tenuto, perché è l'edizione che Microsoft non ha riportato — e mostra cosa succede a un modello di coding quando il benchmark del terminale diventa più difficile.

Entrambi i modelli condividono inoltre un vincolo di distribuzione che li rende insoliti in questa categoria: nessuno dei due dispone di un'API pubblica per token. MAI Code 2 è raggiungibile selezionandolo in un client GitHub Copilot. SWE-2 funziona all'interno di Devin. Due modelli che non puoi chiamare dal tuo codice, uno dei quali pubblica i suoi numeri.

L'edizione benchmark che nessuno mette in prima linea

La tabella di Cognition è l'artefatto più utile che uno dei due fornitori abbia pubblicato, e non perché SWE-2 ci vinca qualcosa. È utile perché mostra lo stesso modello misurato su due edizioni dello stesso benchmark.

• Terminal-Bench 2.1 — SWE-2 al 92,8%, contro il 91,4% di Claude Fable 5.1, l'89,9% di GPT-6 Astra e l'88,3% di Kimi K3

• Terminal-Bench 4.0 — SWE-2 al 27,3%, contro il 55,8% di Claude Fable 5.1, il 57,9% di GPT-6 Astra e il 21,5% di Kimi K3

• DeepSWE 1.1 — SWE-2 al 73,0%, contro il 74,1% di GPT-6 Astra, il 72,7% di GPT-5.6 Sol e il 67,4% di Claude Fable 5.1

• FrontierCode 1.1 Main — SWE-2 al 50,0%, contro il 53,3% di GPT-6 Astra e il 50,9% di Claude Fable 5.1

Leggi le prime due righe insieme. SWE-2 è secondo su 2.1 e penultimo su 4.0, un calo di circa 65 punti, e non è il solo: Kimi K3 perde 67 punti nello stesso confronto tra le due versioni. I modelli che resistono sono quelli ottimizzati per il lavoro a lungo orizzonte. Non è una stranezza dell'harness di un solo laboratorio: è l'edizione del benchmark che sta diventando più difficile, ed è proprio per questo che "abbiamo eseguito Terminal Bench 2.1" è un'affermazione più debole a novembre 2026 di quanto lo fosse a settembre.

Microsoft ha eseguito Terminal Bench 2.1. Microsoft non ha pubblicato alcun punteggio al riguardo. Microsoft non ha pubblicato nulla su 4.0. Questi tre fatti, insieme, significano che un acquirente non può capire che tipo di modello di coding sia MAI Code 2: quello che tiene quando le attività da terminale diventano più lunghe, o quello che non tiene.

Ciò che ogni fornitore ha effettivamente divulgato

Il divario di trasparenza è più ampio dei prezzi dei modelli, quindi vale la pena dirlo chiaramente.

Cognition ha pubblicato una tabella con sette modelli e quattro benchmark, un insieme di confronto dichiarato, una nota secondo cui i modelli concorrenti sono stati eseguiti nella CLI proprietaria di Cognition al loro massimo sforzo di ragionamento, e una divulgazione onesta di qualcosa che ha escluso: Claude Fable 5.1 al massimo sforzo ha ottenuto il 50,3% su FrontierCode a 12,83 $ per attività, al di sotto del risultato ottenuto dal modello stesso a sforzo medio, ed è stato quindi escluso dal grafico. Un fornitore che ti dice quale dato ha rimosso è un fornitore che ti dà gli strumenti per ridimensionare la sua tabella.

Microsoft ha pubblicato i nomi dei benchmark, l'harness — MSBench, la sua piattaforma di valutazione interna, tramite GitHub Copilot CLI con i subagent disabilitati e ogni modello al massimo sforzo di ragionamento — e i rapporti su cui quei benchmark si attestano in media. Non ha pubblicato alcun tasso di superamento per MAI Code 2 su nessuno dei quattro, né il numero di parametri, né un limite massimo di output, né una tabella comparativa contro concorrenti nominati al di là dei due rapporti. Al 18 novembre 2026 Artificial Analysis non ha alcuna riga per il modello, quindi non esiste una rilevazione di terze parti che possa sostituirla.

Una di queste divulgazioni ti permette di riprodurre il ragionamento. L'altra ti chiede di accettare una conclusione.

Nessuno dei due modelli è un endpoint, e questo cambia l'acquisto.

SWE-2 non ha un prezzo per token pubblicato né un'API pubblica. Il post di Cognition afferma che è disponibile in Devin Desktop e CLI, con distribuzione a Devin Web e Fusion, e le uniche cifre di costo presenti sono i costi di benchmark per attività — il tipo di numero che si cita per dimostrare che un concorrente è costoso, non quello su cui si fattura.

MAI Code 2 ha effettivamente una scheda prezzi, pubblicata da GitHub: 0,50 $ per milione di token di input, 0,025 $ per quelli in cache, 2,50 $ per l'output, promozionale fino al 17 maggio 2027, poi 1,00 $ / 0,05 $ / 5,00 $. Non ha una superficie API propria. MAI Code 2 Flash, il fratello minore, è l'unico modello della famiglia a disporne: un'anteprima ad accesso limitato in Microsoft Foundry tramite un'API Responses compatibile con OpenAI.

• Prezzo — MAI Code 2 a 0,50 $ / 0,025 $ / 2,50 $ per milione di token, in promozione fino al 17 maggio 2027, a fronte di nessun prezzo per token pubblicato per SWE-2

• Accesso — una licenza GitHub Copilot disponibile nei piani Pro, Pro+, Max, Business ed Enterprise, rispetto a un abbonamento a Devin per Desktop e CLI

• Pesi — non distribuiti su nessuno dei due lati

• Contesto — nessun valore di contesto pubblicato per SWE-2, a fronte di 1 milione di token su MAI Code 2 disponibile solo in Visual Studio Code e Copilot CLI

• Punteggi benchmark pubblicati — nessuno per MAI Code 2, rispetto a quattro per SWE-2

• Riga indice indipendente — nessuno dei due modelli ne ha una

Il risultato pratico è che entrambi gli acquisti sono acquisti per postazione anziché acquisti di token, e solo uno dei due include un contatore che puoi modellare. Se il tuo team finanziario ha bisogno di un costo per unità, MAI Code 2 te lo fornisce e SWE-2 no. Se il tuo team di ingegneria ha bisogno di sapere se il modello migliora sui tuoi repository, SWE-2 ti fornisce una tabella comparativa e MAI Code 2 ti fornisce un rapporto.

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

Cosa è stato progettato per fare ciascun modello

Il brief di Microsoft per MAI Code 2 riguarda il lavoro aziendale quotidiano: portare il codice in produzione, debug approfondito, implementazione multi-file, ragionamento sull'intero repository, UI e dashboard. Il post di lancio è franco nel dire che i modelli "non sono ancora esplicitamente ottimizzati per problemi più difficili, come la ricerca scientifica di base e il lavoro agentico su orizzonti molto lunghi" — una frase che stona accanto a un'affermazione su Terminal Bench 2.1, perché Terminal-Bench è un benchmark agentico a lungo orizzonte. Il posizionamento di Microsoft stesso dice che non ha ottimizzato per ciò che quel benchmark misura.

Il brief di Cognition per SWE-2 va nella direzione opposta: meno passaggi, rollout più economici, un modello co-progettato con l'agente che lo esegue. Il post riporta che i passaggi medi per esecuzione scendono a 53 su SWE-2 medium rispetto a 127 per SWE-1.7, che medium costa l'81% in meno rispetto a SWE-1.7 e una mediana di 18 passaggi fino alla prima modifica reale contro 48. Sono affermazioni ingegneristiche sull'efficienza dell'agente, e contano più per un abbonato Devin di qualsiasi riga di benchmark, perché decidono quanta parte della quota mensile consuma un'attività.

Quindi i due modelli sono nuovamente ottimizzati rispetto a obiettivi diversi: uno per l'attività quotidiana all'interno di un IDE, l'altro per il numero di passaggi all'interno di un agente autonomo. Nessuno dei due è una versione migliore dell'altro.

Dove un router si guadagna il suo posto quando nessuno dei due modelli è instradabile

Né MAI Code 2 né SWE-2 sono nel catalogo di OrcaRouter, e non c'è modo onesto di suggerire il contrario: uno è una voce del selettore di modelli di Copilot, l'altro è dentro Devin. Ciò che un livello di routing cambia non è l'accesso a quei due, ma il costo di costruire il confronto. Il controllo in qualsiasi valutazione di essi deve essere un modello che puoi chiamare e misurare — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — e questi sono accessibili con un'unica chiave al prezzo di listino del fornitore con 0% di ricarico, quindi un'esecuzione di benchmark su di essi viene fatturata esattamente alla tariffa del fornitore.

Qui conta più che nella maggior parte dei confronti, perché la domanda interessante su entrambi i modelli è comparativa: un coder di tutti i giorni batte un modello di frontiera sul costo per merge, sul tuo codice? Non puoi rispondere leggendo due tabelle dei fornitori prodotte su due harness. Puoi rispondere eseguendo il modello che stai misurando insieme a quello tra questi due che il tuo team riesce effettivamente a raggiungere, e contando le attività completate anziché i token. Il failover automatico è ciò che mantiene in funzione quel confronto quando un limite di frequenza del fornitore arriva a metà esecuzione, e poiché i prezzi vengono passati a listino, il costo per attività del controllo non è gonfiato dal livello che stai usando per misurarlo.

Quale scegliere, considerato ciò che puoi verificare

• Il tuo team usa Devin e vuoi meno passaggi per rollout — SWE-2, e i numeri sul conteggio dei passaggi e sulla riduzione dei costi nel post di Cognition sono quelli che decidono.

• Il tuo team è su Copilot e vuoi token economici per le riparazioni di routine — MAI Code 2 a $0,50 e $2,50, calcolato sia alla tariffa raddoppiata di maggio 2027 sia a quella promozionale.

• Devi difendere la scelta con un numero — SWE-2, perché ne pubblica quattro e l'altro modello nessuno.

• Serve lavoro agentico a lungo orizzonte — nessuno dei due, stando alle prove disponibili. Microsoft afferma di non averlo ottimizzato per questo; la stessa tabella di SWE-2 mostra il crollo di 65 punti quando il benchmark diventa più difficile.

• Ti serve un modello di costo per token — MAI Code 2, dato che per SWE-2 non esiste una tariffa pubblicata su cui basare il modello.

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

La cosa da tenere d'occhio è se Microsoft pubblicherà mai il numero che renderebbe reale questo confronto. Un tasso di superamento di Terminal Bench 2.1 basterebbe; un tasso di Terminal Bench 4.0 risolverebbe la questione, perché è l'edizione in cui la tabella di SWE-2 stessa mostra che aspetto ha un modello di coding quando i task diventano più lunghi. Finché non esisterà uno di questi, MAI Code 2 è un tariffario con una promessa allegata e SWE-2 è una tabella con un conteggio dei passaggi allegato, e solo uno dei due può essere verificato dall'esterno del fornitore.

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

Confrontati in questo articolo1

Rilevato da questo articolo · Benchmark: Artificial Analysis · aggiornato ogni giorno