LMArena e le classifiche degli LLM: tre metri di misura, tre domande diverse

Il 19 febbraio 2026, Artificial Analysis ha pubblicato un articolo intitolato "Gemini 3.1 Pro Preview: il nuovo leader nell'IA". Era primo in sei valutazioni su dieci e aveva quattro punti di vantaggio su Claude Opus 4.6. Apri oggi la pagina dello stesso modello e il numero è 30, al 69º posto su 200. Google non ha cambiato nulla. Ciò che è cambiato è il metro: il 19 settembre 2026 Artificial Analysis ha revisionato il suo Intelligence Index alla v4.3.2, ha ritirato Terminal-Bench 2.1 in favore di Terminal-Bench 4.0, ha sostituito tau3-Banking con AutomationBench-AA e ha riancorato la scala Elo GDPval-AA. Un leader di febbraio è diventato un concorrente di metà classifica a settembre perché lo strumento di misura si è spostato sotto di lui.

Quell’unico episodio è l’intero argomento a favore dell’imparare a leggere davvero queste classifiche. Claude Opus 5.5 e Claude Fable 5.1, Kimi K3.1 Pro e MiniMax M3.1 Flash, e ogni modello nel mezzo vengono valutati da almeno tre cose incompatibili contemporaneamente, e le ricerche che portano le persone qui — lmarena, llm ranking, quale modello sia davvero il migliore — presuppongono che esista una sola risposta. Ce ne sono tre, e rispondono a domande diverse.

Tre tipi di tabellone segnapunti, tre domande diverse

Ogni numero che vedrai in una classifica appartiene a una di tre famiglie, e la famiglia determina cosa il numero può e non può dirti.

L'arena della folla. LMArena mostra due output anonimi di modelli per un singolo prompt, una persona sceglie un vincitore e i voti vengono aggregati in una valutazione. Misura la preferenza in condizioni cieche su prompt che nessuno ha scelto in anticipo. Il suo punto di forza è che nessun fornitore gestisce l'infrastruttura di test e nessuno seleziona a mano le domande. Il suo punto debole è che chi vota premia risposte fluenti, sicure e ben formattate, e un prompt digitato da un volontario non è il tuo carico di lavoro. Un punteggio elevato nell'arena significa che le persone tendono a preferire l'output; non significa che l'output sia corretto.

L'indice composito. Artificial Analysis esegue una suite fissa di valutazioni e le combina in un unico Intelligence Index, insieme a misure separate per velocità, latenza, prezzo e costo per attività completata. È il più utile dei tre per la preselezione, perché il sistema di valutazione è identico per ogni modello e le colonne circostanti consentono di soppesare la qualità rispetto al costo. Il suo punto debole è che un indice composito incorpora scelte editoriali: quali valutazioni contano, come vengono ponderate e cosa succede quando una di esse viene ritirata. La revisione v4.3.2 è esattamente quel punto debole reso visibile.

La scheda del fornitore. Materiale di lancio dal laboratorio che ha costruito il modello. È la fonte più ricca — centinaia di righe, i benchmark più recenti, le configurazioni che nessun altro ha eseguito — ed è la meno comparabile, perché ogni fornitore sceglie l'harness, l'impostazione dell'effort e gli avversari. La tabella di Claude Opus 5.5 di Anthropic colloca il suo modello 29 punti avanti rispetto a GPT-5.6 Sol su Terminal-Bench 4.0; il materiale di Sol di OpenAI parte da Terminal-Bench 2.1, dove Sol segna 91,9, e non contiene alcuna riga per Opus 5.5, perché Opus 5.5 non esisteva quando è stato scritto. Una tabella con solo righe favorevoli non è prova di una vittoria netta. È prova di selezione delle righe.

La riga è una configurazione, non un modello

La lettura errata più comune di una classifica è considerare una singola riga come un singolo modello. Questa settimana, nella classifica LLM di Artificial Analysis, Claude Opus 5.5 compare tre volte:

• Claude Opus 5.5 con impegno massimo e fallback — Indice di intelligenza 58, costo per attività $5,98, velocità di output mediana 98 token al secondo, latenza 706 ms, end-to-end 711 ms.

• Claude Opus 5.5 con effort xhigh e fallback — Indice di intelligenza 56, costo per attività 3,46 $, velocità 82 token al secondo, latenza 119 ms, end-to-end 125 ms.

• Claude Sonnet 5.5 con il massimo impegno — 56, 5,46 $, 141 token al secondo, 427 ms.

Due punti di indice separano le prime due righe. Le separano anche una riduzione del 42% del costo per attività e una differenza di latenza di sei volte. Nulla del modello è cambiato; è cambiata l’impostazione dello sforzo. Qualsiasi argomento del tipo "il modello X ottiene un punteggio più alto del modello Y" è quindi incompleto finché non specifica la configurazione, motivo per cui un singolo numero di confronto diretto non dovrebbe mai da solo determinare una decisione di approvvigionamento.

La stessa regola vale per lo sforzo di ragionamento all'interno del materiale di un fornitore. Anthropic fa notare in una nota che la sua esecuzione di Claude Opus 5.5 Terminal-Bench ha usato xhigh effort anziché quello predefinito, e che con lo sforzo medio predefinito il vantaggio di FrontierCode su GPT-5.6 Sol si riduce da un divario da titolo a sette punti. Entrambi i numeri sono veri. Solo uno dei due descrive ciò che otterrai se non imposti il parametro.

La trappola della versione, che è responsabile della maggior parte dei confronti errati

I nomi dei benchmark vengono riutilizzati tra generazioni diverse e i numeri non passano da una generazione all’altra. Tre esempi dalla copertura di questo mese bastano a mostrarne la forma.

• Terminal-Bench 2.1 rispetto a 4.0 — la scheda di Google per Gemini 3.5 Flash-Lite riporta 54,0% su Terminal-Bench 2.1; Artificial Analysis, eseguendo 4.0, registra 1%. Entrambi i dati sono corretti, e citare l'uno o l'altro senza indicare la versione è fuorviante in modo da favorire il modello che si preferisce.

• OSWorld-Verified contro OSWorld 2.0 — Anthropic riporta l'85,0% per Claude Mythos 5 su OSWorld-Verified. Altri fornitori citano punteggi di OSWorld 2.0 nella sessantina. Inserirli in un'unica colonna non è un confronto tra modelli.

• Il modello giusto, la versione sbagliata — Claude Mythos 5.1 ottiene 60,9 su Terminal-Bench 4.0 contro il 52,0 di Muse Wonder, che è l'unico test condiviso tra quelle due famiglie. Mythos 5 ha un valore pubblicato di 88,0 su Terminal-Bench 2.1. Sostituire una generazione con l'altra produce un divario di 36 punti che non esiste.

L'abitudine pratica è piccola e vale la pena adottarla: quando un numero compare senza una versione del benchmark e un'impostazione di effort, trattalo come un'affermazione anziché come una misurazione.

Il costo per attività non è il prezzo riportato sulla scheda

Le classifiche hanno aggiunto silenziosamente la colonna che conta di più per il budget, e questa contraddice sistematicamente il listino prezzi. MiniMax M3.1 Flash costa 0,15 $ per milione di token in input e 0,60 $ in output; Gemini 3.5 Flash-Lite costa 0,30 $ e 2,50 $ — quattro volte di più sull'output. Sul costo per attività completata dell'Intelligence Index, Flash-Lite vince: 0,19 $ contro 0,22 $.

Quell'inversione non è un errore. La metrica è data dai token effettivamente consumati moltiplicati per le tariffe del provider, quindi misura quanto lavoro svolge ciascun modello per completare lo stesso task. MiniMax M3.1 Flash ha consumato circa 180 milioni di token di output sull'indice, rispetto a una mediana vicina ai 100 milioni per i modelli monitorati da Artificial Analysis: è un ragionatore prolisso, e la verbosità si paga. Nei task in cui la riflessione ripaga con una risposta corretta, è un buono scambio. Nei task in cui la risposta non è mai stata in dubbio, è spreco.

Questa è la colonna da testare sul proprio traffico prima di fidarsi di qualsiasi confronto per token, perché è l'unica che tiene conto del fatto che i modelli non impiegano lo stesso numero di token per arrivare allo stesso punto.

Quello che una classifica non ti dirà

Due punti ciechi meritano un titolo a sé, perché entrambi costano denaro se ignorati.

Astensione.La valutazione AA-Omniscience di Artificial Analysis assegna a MiniMax M3.1 Flash un punteggio di 16: il 56% delle domande fattuali ha ricevuto una risposta corretta e il tasso di allucinazione è del 93%. Quel secondo dato non significa che il 93% delle risposte fosse sbagliato: significa che, tra le risposte non corrette, il 93% era del tutto sbagliato anziché parziale o un rifiuto a rispondere. Il modello di solito risponde quando dovrebbe astenersi. Gemini 3.5 Flash-Lite non ha alcun punteggio AA-Omniscience, il che indica dati mancanti, non un attestato di buona salute.

Disponibilità. Un punteggio è un'affermazione su un momento. Gemini 3.1 Pro ha trascorso sette mesi come anteprima senza una data GA, è scomparso dal selettore dei modelli di AI Studio a metà settembre senza alcuna spiegazione da parte del fornitore e continua comunque ad avere una posizione in classifica. Grok 4.7 aveva un giorno di vita quando gli è stato assegnato un punteggio di 46 sull'indice. Uno di questi è un numero riguardante un modello che potrai chiamare il mese prossimo; l'altro è un numero riguardante un modello che potrebbe non esistere il trimestre prossimo. La classifica non distingue tra i due.

Dove si colloca il nostro board, e perché è una quarta cosa

OrcaRouter gestisce una classifica di modelli AI che di proposito non riproduce nessuno degli elementi sopra. La classifica si basa su ciò che osserva il nostro gateway — traffico di produzione e voti della community in Battle Mode — e lo combina con i voti di LMArena, benchmark indipendenti e adozione dell'ecosistema secondo pesi fissi e pubblicati. Viene aggiornata quotidianamente, elenca i modelli entro 48 ore dal loro arrivo e si suddivide in viste Text, Coding, Vision, Math, Reasoning e Agentic, invece di pretendere che un unico ordinamento serva per ogni esigenza.

Questo gli conferisce una modalità di fallimento diversa rispetto agli altri tre, cosa che vale la pena dire chiaramente: può classificare solo i modelli che instradiamo, quindi i suoi punti ciechi sono commerciali anziché metodologici. Ciò che aggiunge è l’unico segnale che nessuno degli altri ha: se la cosa ha effettivamente risposto, a quale velocità, a quale prezzo misto, su traffico che non è stato costruito per un benchmark.

Leggere uno in cinque minuti

• Individua la versione del benchmark e l'impostazione dell'impegno prima di leggere il punteggio. Se manca uno dei due, il numero è solo un'affermazione.

• Leggi la colonna del costo per attività, non il prezzo per token. Sono in disaccordo più spesso di quanto concordino.

• Considera un indice composito come una lista ristretta, non un verdetto. È una riponderazione, e le riponderazioni vengono riviste — la stessa revisione che ha declassato Gemini 3.1 Pro ha declassato dozzine di modelli che nessuno aveva toccato.

Separare le lacune di capacità dalle lacune di punteggio. Un tetto di 65.536 token in output o un modello che non sa leggere i video è un fatto relativo al tuo carico di lavoro; due punti di indice no.

• Verifica quando è stato rilasciato il modello e se è ancora in anteprima. Una classifica senza una data di disponibilità è la classifica di qualcosa che potrebbe non esserci al momento del deployment.

La classifica è l'inizio della domanda, non la sua risposta. L'unica misura che dirime una scelta è il tuo traffico sui tuoi stessi prompt — ed è per questo che la cosa utile che un gateway può offrire non è un'altra classifica, ma la possibilità di mettere i due candidati fianco a fianco su un'unica chiave e confrontare le fatture.

Nota sulle fonti: l'andamento da febbraio a settembre di Gemini 3.1 Pro, i contenuti della revisione v4.3.2, le tre righe di Claude Opus 5.5, i dati di AA-Omniscience, i valori di costo per attività e i punteggi dell'Intelligence Index sono di Artificial Analysis, letti il 26 ottobre 2026. I dati di Terminal-Bench 2.1 e 4.0, i dati di OSWorld-Verified e OSWorld 2.0, i punteggi 60,9 e 52,0 di Terminal-Bench 4.0, la stima del consumo di token di MiniMax e i confronti con le schede tecniche dei fornitori provengono rispettivamente dal materiale pubblicato da Anthropic, Google, MiniMax e OpenAI, e sono dati dichiarati dai fornitori salvo quanto sopra attribuito ad Artificial Analysis. La descrizione della classifica di OrcaRouter, i pesi e la cadenza di aggiornamento fanno parte della nostra metodologia pubblicata.