Benchmark di Kimi K3.1 Pro: ogni punteggio, chi lo ha prodotto e dove la tabella è ancora vuota

Il numero più utile nel lancio di Kimi K3.1 Pro non è sul grafico di Moonshot. Artificial Analysis, che esegue le proprie valutazioni invece di citare le tabelle dei fornitori, misura Kimi K3.1 Pro a 55 sul suo Intelligence Index — quarto su 215 modelli della sua categoria, due punti sopra GPT-6 Astra a 53 e tre punti sotto Claude Opus 5.5 a 58. Il materiale di lancio di Moonshot racconta una storia diversa e più lusinghiera: 65,7% su Terminal-Bench 4.0, un vantaggio di 7,5 punti rispetto al 58,2% che attribuisce ad Astra. Entrambi i numeri sono reali, entrambi sono stati prodotti in modo onesto, e non concordano su chi sia in vantaggio. È proprio quella divergenza che vale la pena capire prima di spostare un carico di lavoro su questo modello.

Quelli che seguono sono tutti i valori pubblicati per Kimi K3.1 Pro, con la fonte e l'impostazione indicate per ogni riga, e una nota laddove il foglio è vuoto. È lo stesso trattamento che questo blog riserva ai modelli di Anthropic e OpenAI, per lo stesso motivo: una tabella di benchmark è un'affermazione tanto sull'harness quanto su un modello.

Il numero indipendente, primo

Artificial Analysis ha valutato il modello sulla versione 4.3.2 del suo indice, che combina dieci valutazioni in un unico numero. Le quattro cifre che contano per un acquirente sono queste:

• Indice di intelligenza — 55, classificato 4º su 215 modelli. Per riferimento, la mediana della sua categoria è 27, e GPT-6 Astra (Max) ottiene 53 mentre Claude Opus 5.5 ottiene 58 sulla stessa versione dell'indice.

• Costo per attività — $2,11 per attività dell'Intelligence Index, 85º su 113 per costo. L'equivalente di GPT-6 Astra è $3,26. Questo è il numero che trasforma un prezzo per token in un costo per carico di lavoro, e il basso prezzo per token del modello viene in parte speso in verbosità.

• Verbosità: 150 milioni di token di output generati durante l'esecuzione dell'indice, rispetto a una mediana di 87 milioni. Il valutatore definisce il modello «molto verboso», e la cosa conta direttamente: l'output è la voce costosa nella tariffa del modello stesso, pari a 10 dollari per milione di token.

• Velocità — 73,5 token di output al secondo sul provider del valutatore, più lenta della media di 82. Sulla nostra rotta, il tempo mediano al primo token è di 7,15 secondi, ed è questo il dato che determina la sensazione d'uso del modello in una sessione di programmazione interattiva.

Un'etichetta su quella pagina merita di essere segnalata: Artificial Analysis elenca Kimi K3.1 Pro come modello proprietario, perché al 24 ottobre i pesi sono promessi ma non pubblicati. Tale classificazione dovrebbe cambiare entro il 4 novembre se Moonshot mantiene la sua data.

La tabella dei fornitori, riga per riga, con l'impostazione allegata

Moonshot ha pubblicato, insieme al lancio, un'ampia tabella delle proprie valutazioni e in diversi punti confronta Kimi K3.1 Pro con Claude Opus 5.5 e GPT-6 Astra sulle stesse righe. Ogni cifra riportata di seguito è dichiarata dal fornitore, salvo diversa indicazione nella riga.

• Terminal-Bench 4.0 — 65,7% per Kimi K3.1 Pro, contro il 66,4% di Claude Opus 5.5 e il 58,2% di GPT-6 Astra. Questo è il dato principale. È anche la riga con più avvertenze: il 66,4% di Anthropic è stato prodotto con sforzo xhigh, un livello sopra il suo valore predefinito; la run di Kimi è al valore predefinito del modello, max. I due numeri provengono da harness diversi.

• Kimi Code Bench 3.0, long-horizon — 61,2% contro 55,95% per Kimi K3. Questo è il confronto con il predecessore più pulito del lancio, e il più controllato dal fornitore: sia il benchmark sia l'harness appartengono a Moonshot.

BenchCAD con strumenti — 92,7% per Kimi K3.1 Pro, contro il 96,2% di Claude Opus 5.5 e il 95,9% di GPT-6 Astra. Senza strumenti, 72,8% contro il 73,0% di Opus; Astra non ha riportato un dato per l'uso senza strumenti. Questa è la riga in cui lo sfidante perde visibilmente, e si colloca proprio al centro del messaggio di lancio incentrato sulla creazione 3D.

• Kimi Hallu Bench Hard — un tasso di allucinazioni a livello di singola affermazione dell'8,3% con gli strumenti, 5,4% senza. Sullo stesso benchmark, GPT-6 Astra è migliore con gli strumenti (5,5 contro 8,3) e migliore senza (4,2 contro 5,4); Claude Opus 5.5 è peggiore su entrambi (15,0 e 6,8). Moonshot riporta inoltre che il tasso è sceso dal 23,4% su Kimi K3, e che le risposte contenenti almeno un errore fattuale costituiscono ora il 42,4% del tasso del modello precedente.

• Valutazioni finanziarie e aziendali, interne — Financial Modeling 57,6 contro 50,4 per K3, Financial Research 70,4 contro 58,8, Business Operation 37 contro 8,9. Quest'ultimo rappresenta un miglioramento quadruplo in un'attività in cui il vecchio modello era quasi non funzionante. Considera le grandezze come indicative; si tratta di suite interne di Moonshot.

• OfficeQA Pro v2 — 64,4, che Moonshot descrive come all'avanguardia. Nessun dato di un secondo fornitore compare sulla riga.

• xdev-bench-hard, pass@3 — 81,0% per il modello distribuito, 90,5% per un checkpoint addestrato senza le misure di riduzione del rischio informatico dell'azienda, 33,3% per Kimi K3. Quel divario di 9,5 punti è il prezzo che Moonshot dice di aver pagato per mantenere la capacità cyber offensiva sotto una soglia.

Dove la tabella è ancora vuota

Vale la pena menzionare tre lacune, perché la copertura di questo lancio le ha in gran parte saltate.

Il primo è nella documentazione API di Moonshot stessa. Il giorno del lancio, la pagina quickstart di Kimi K3.1 Pro conteneva ancora stringhe segnaposto letterali — "[xx.x%]" — dove avrebbero dovuto esserci i punteggi di Terminal-Bench 4.0, Terminal-Bench-Science 0.1 e delle valutazioni interne di coding, mentre il post di marketing riportava i numeri definitivi. È una pipeline di documentazione rilasciata prima del testo, non una falsificazione, ma è un motivo per leggere i numeri dalla pagina del blog anziché dalla documentazione.

Il secondo è Terminal-Bench-Science 0.1, in cui Anthropic riporta il 58,7% per Claude Opus 5.5 e il materiale di Moonshot dice solo che Kimi K3.1 Pro è «superiore a K3», senza un numero. Una riga senza alcun dato su nessuno dei due lati di un confronto non è una riga.

Il terzo è SWE-bench. È il benchmark che la maggior parte dei team cita ancora quando parla di agenti di coding, e il post di lancio nomina DeepSWE v1.1 e SWE-Marathon v1.1 nelle note a piè di pagina senza pubblicare i punteggi. Qualunque sia il motivo, manca il dato più richiesto.

Come leggere un 65.7

Due fattori influenzano un punteggio Terminal-Bench più del modello: lo scaffolding che lo circonda e l'impostazione dello sforzo di ragionamento. La tabella di Opus 5.5 di Anthropic mostra entrambi gli effetti all'interno di un singolo modello — CursorBench 4.0 passa dal 57,8% con sforzo xhigh al 52,5% con medium, mentre FrontierCode varia di 0,2 punti tra le stesse due impostazioni. Kimi K3.1 Pro ha tre impostazioni e usa per impostazione predefinita la più costosa, quindi un'esecuzione del fornitore che non dichiara il proprio livello di sforzo è probabilmente un'esecuzione max, che lo dica o no.

Ecco perché l'indice indipendente e la tabella del fornitore classificano questi tre modelli in modo diverso. Nella riga Terminal-Bench di Moonshot, Kimi supera Astra di 7,5 punti. Nell'indice a dieci valutazioni di Artificial Analysis, Kimi è davanti ad Astra di 2 e dietro Opus di 3. Nessuno dei due ordinamenti è sbagliato; rispondono a domande diverse con harness diversi, e l'unico riepilogo difendibile è che tutti e tre i modelli si collocano entro pochi punti l'uno dall'altro in capacità generale, con un prezzo che varia di cinque volte tra il più economico e il più costoso.

Cosa fare con i numeri

Per un carico di lavoro in cui domina il volume dell'output — generazione di codice prolungata, redazione di documenti, cicli agentici che scrivono molto più di quanto leggano — la cifra di verbosità è quella su cui pianificare. A 150 milioni di token per esecuzione dell'indice contro i 60 milioni di Astra, Kimi K3.1 Pro produce circa 2,5 volte l'output per un'attività, e anche a un quinto del prezzo dell'output questo riduce comunque considerevolmente il vantaggio sui costi. La cifra di $2,11 per attività ne tiene già conto, ed è per questo che è il numero di pianificazione migliore rispetto al listino prezzi.

Per un carico di lavoro in cui un solo punto di accuratezza decide l'esito, il divario di tre punti rispetto a Claude Opus 5.5 sull'indice indipendente è il dato che conta, e nessuna tabella del fornitore dovrebbe convincerti del contrario.

Kimi K3.1 Pro è richiamabile tramite OrcaRouter a 2,00 $ per milione di token di input e 10,00 $ per milione di token di output, con 1.048.576 token di contesto, fino a 943.718 token di output e tre formati di endpoint — Chat Completions, Responses e Messages — sulla stessa chiave del resto del tuo stack. Il prezzo di listino del fornitore è quello che paghi, senza alcun ricarico, il che significa che l'aritmetica qui sopra è l'aritmetica che ottieni. L'unica cosa che questa pagina non può darti è il tuo benchmark personale: esegui un campione del tuo traffico reale con effort basso, alto e massimo prima di scegliere un valore predefinito, perché questa impostazione sposta il costo più della scelta del modello.