I benchmark di GPT-6.1 Terra, in ordine: dove 48 pareggia 52 e dove no

Il punteggio composito di GPT-6.1 Terra è 48. GPT-6.1 Sol è 52, GPT-6 Astra è 53, GPT-5.6 Terra è 42 e GPT-6 Luna è 38. Questa è tutta la storia se si legge solo la prima riga dell'Artificial Analysis Intelligence Index — un modello di fascia media che si colloca sei punti sopra il suo predecessore e quattro sotto il suo fratello più costoso. È anche il modo meno utile di interpretare il lancio, perché lo stesso indice nasconde un divario di 29 punti nel coding rispetto ad Astra, un divario di 7,6 punti nell'uso del computer rispetto a Claude Opus 5.5 e un miglioramento sulle allucinazioni maggiore di tutti i guadagni di intelligenza del lancio messi insieme.

Quanto segue distingue tre tipi di numero: misurazioni indipendenti di Artificial Analysis, risultati dichiarati dal fornitore OpenAI che nessuno al di fuori ha riprodotto, e cifre derivate — l’aritmetica che trasforma una delle prime due in un costo o in un rapporto. Le distinzioni contano, perché la copertura del lancio ha già iniziato a mescolarle.

I tre punteggi che tutti citeranno

Artificial Analysis colloca GPT-6.1 Terra a 48 sul suo Intelligence Index, al 25º posto su 221 modelli, a 0,40 $ per attività dell'indice. GPT-6.1 Sol si trova a 52 e al 13º posto, a 0,72 $ per attività. GPT-6 Astra, l'attuale flagship, è a 53. GPT-5.6 Terra è a 42 e al 53º posto, a 1,40 $ per attività. GPT-6 Luna è a 38.

Letto come una scala, {{1}}Terra{{/1}} è un vero upgrade: sei punti per meno di un terzo del costo per attività completata, e dieci punti sopra la fascia budget. Letto come confronto con {{2}}Sol{{/2}}, è esattamente ciò che implica il listino prezzi — quattro punti più debole, a circa metà del prezzo per token. Nulla nel composito contraddice il posizionamento di OpenAI.

Il composite appiattisce anche ciò che non dovrebbe. Quattro punti indice tra Terra e Sol rappresentano l'8% della scala; 29 punti tra Terra e Astra sul Coding Agent Index rappresentano il 60% di quella scala. Un unico numero non può reggere entrambi, e la copertura del lancio che cita solo il primo ha silenziosamente tralasciato il secondo.

Dove il divario si amplia: programmazione

Su Coding Agent Index v2.0 di Artificial Analysis, GPT-6.1 Terra ottiene 48, GPT-6.1 Sol ottiene 54 e GPT-6 Luna ottiene 31. Si tratta di un deficit di sei punti rispetto a Sol e di un vantaggio di 17 punti su Luna — la stessa forma dell'indice di intelligenza, ma con il divario rispetto alla vetta della famiglia più ampio in termini relativi.

I numeri del fornitore raccontano una storia più lusinghiera, e sono numeri del fornitore. OpenAI riporta il 50,3% di attività risolte su Terminal-Bench 4.0 con il massimo sforzo, contro il 21,5% di GPT-5.6 Terra. È più del doppio, ed è il singolo salto maggiore da una generazione all'altra della release. È anche un benchmark di compiti da terminale, non una misura ampia per agenti di coding: Terra può avvicinarsi a Sol su lavoro shell breve e ben delimitato e restare comunque sei punti indietro sull'indice più ampio, ed entrambe le cose sono vere contemporaneamente.

La lettura pratica è che i progressi di Terra nella programmazione si concentrano dove il compito è circoscritto. "Esegui questa suite di test, leggi l'errore, applica una patch al file" è la forma di Terra. "Tieni in mente un refactoring di quindici file per quaranta passaggi" non lo è, e la raccomandazione stessa di OpenAI indirizza ancora il lavoro di programmazione complesso verso Sol o Astra.

Dove il divario è inferiore a quanto suggerisce l'indice: uso del computer

Su OSWorld 2.1, il benchmark standard per l'automazione desktop, GPT-6.1 Terra ottiene il 74,2% con il massimo livello di ragionamento. GPT-6.1 Sol ottiene il 75,9% a xhigh. GPT-6 Astra ottiene il 75,8%. Claude Opus 5.5 guida i modelli che possiamo confrontare con l'81,8%, con Claude Fable 5.1 all'80,7%, Claude Sonnet 5.5 all'80,1% e Kimi K3.1 Pro al 79,6%.

Ne seguono due cose. Primo, Terra è entro 1,7 punti da Sol sul compito per cui è stata creata, a metà del prezzo per token — un affare molto migliore di quanto lasci intendere il divario di intelligenza di quattro punti. Secondo, l'intera famiglia GPT-6 è indietro rispetto ad Anthropic sull'automazione desktop di sei o sette punti, e Terra non colma questo divario. Se il tuo prodotto è un agente browser, il confronto interessante non è Terra contro Sol; è Terra contro Claude Sonnet 5.5, che costa meno per token di Sol e ottiene 5,9 punti in più su OSWorld.

Anche i numeri agentici dichiarati dal fornitore vanno nella stessa direzione. Su Agents' Last Exam v1, OpenAI riporta il 57,6% per Terra a sforzo medio, contro il 50,7% di GPT-5.6 Terra al massimo. L'affermazione che vi è allegata — comparabile a GPT-6 Astra a livello medio, a circa un decimo del prezzo per token — è un'affermazione per singolo task, ed è la frase economicamente più significativa del lancio.

Il numero che è effettivamente cambiato: allucinazione

Artificial Analysis misura un tasso di allucinazione Omniscience: quanto spesso un modello tira a indovinare quando non sa. GPT-5.6 Terra ha ottenuto 88%. GPT-6.1 Terra ottiene 38%. L'accuratezza è aumentata di due punti nello stesso periodo.

Una riduzione di 50 punti nell'indovinare è maggiore di qualsiasi guadagno di intelligenza in questa release, ed è l'unico numero che cambia per quali impieghi un modello è sicuro da usare. Un modello che inventa una risposta l'88% delle volte in cui è incerto non può essere considerato affidabile per l'estrazione delle fatture o la compilazione di moduli senza un controllo umano su ogni output. Al 38%, indovina ancora più di un terzo delle volte — si tratta di un miglioramento, non di una soluzione — ma la modalità di errore passa da "presumere che sia sbagliato" a "campionare e verificare".

Questo ha una conseguenza diretta sui costi. La verifica è la voce nascosta in ogni implementazione di modelli a basso costo: se devi controllare l'88% delle risposte, la manodopera oscura il risparmio sui token. Al 38%, il controllo a campione diventa praticabile, e la cifra di $0.40 per attività inizia a sembrare il costo reale anziché la metà visibile.

Le dichiarazioni dei fornitori, e ciò che manca in esse

I risultati pubblicati da OpenAI, tutti eseguiti dal fornitore e nessuno riprodotto in modo indipendente al momento della stesura:

• Terminal-Bench 4.0 — 50,3% con il massimo sforzo, contro il 21,5% di GPT-5.6 Terra.

• Agents' Last Exam — 15 punti in più rispetto a GPT-5.6 Terra con sforzo medio, a circa un terzo del costo.

• MMMU-Pro — superiore a GPT-5.6 Terra a ogni livello di impegno, avvicinandosi ad Astra e Sol, senza punteggi assoluti pubblicati.

• Terminal-Bench-Science 0.1 — entro 5 punti da Claude Opus 5.5 a meno di un quinto del costo stimato.

• Prompt che inducono errori: 16,7% con impegno basso contro il 53,6%, e 4,3% al massimo, su un test interno che l'azienda non ha pubblicato.

Vale la pena dare un nome allo schema presente in quella lista. Le due affermazioni più forti — MMMU-Pro e il test sul tasso di errore — sono le due a cui non è associato alcun numero assoluto. "Si avvicina ad Astra" e "vicino a Sol" sono affermazioni comparative che non possono essere verificate senza i numeri che vi stanno dietro. Le affermazioni con cifre concrete sono quelle che una terza parte può riprodurre, e Artificial Analysis ha già riprodotto il lato dei costi: $0.40 per attività, $1.40 per il predecessore.

La velocità è il numero indipendente che non è nell'indice

Artificial Analysis misura GPT-6.1 Terra a 90,9 token di output al secondo, con 133,64 secondi al primo token sul suo benchmark di ragionamento. GPT-6.1 Sol è misurato a 73,5 token al secondo e 284,31 secondi. Si tratta di circa il 24% in più di throughput e di un vantaggio sul tempo al primo token superiore al doppio — una misurazione indipendente, non una dichiarazione del fornitore, e il caso oggettivo più forte a favore di Terra in tutta la release.

Per un prodotto di chat, il throughput conta appena; per un ciclo di utilizzo del computer che richiede venti passaggi per attività, è la differenza tra un'attività da 40 secondi e una da 90 secondi. L'indice non attribuisce un prezzo alla latenza, ed è per questo che un modello classificato al 25º posto può essere l'acquisto giusto per un agente che si classifica al 13º posto per qualità.

Come leggere l'indice senza lasciarsi ingannare

• Tratta il composito come un filtro, non come una classifica. Ti dice quali modelli sono nella conversazione; non ti dice quale vincerà il tuo compito.

• Esamina separatamente i punteggi secondari relativi alla programmazione e all'uso del computer. Il profilo di Terra è insolitamente ampio: vicino a Sol sull'automazione desktop, sei punti indietro sulla programmazione, quattro indietro nel complesso.

• Ricontrolla i valori assoluti rispetto a una singola data. L'indice viene rinormalizzato periodicamente e i report di settimane diverse citano numeri diversi per lo stesso modello.

• Attribuisci al tasso di allucinazione lo stesso peso del punteggio di intelligenza se il tuo carico di lavoro comporta un costo di verifica. Un miglioramento di 50 punti cambia il modello operativo, non solo il punteggio.

• Misura la tua attività. Le cifre del costo per attività di Artificial Analysis sono un proxy costruito sui loro prompt; i tuoi prompt produrranno un rapporto diverso tra il prezzo dei token e i tentativi.

Niente di tutto questo rende GPT-6.1 Terra un cattivo modello. Lo rende un modello specifico: un modello veloce, economico e molto meno incline alle allucinazioni, vicino al suo fratello più costoso sugli schermi e lontano dal modello di punta sul codice. Il punteggio composito dice 48. I sottopunteggi dicono quale 48 stai comprando.