Una card di titolo generata intitolata 'Karpo Decision 31B' con il sottotitolo 'Un fine-tune di Gemma 4 da 31B in cima a una classifica di 307 modelli, senza alcun post di lancio al suo attivo', tre chip che riportano 'pesi: 5 novembre 2026', 'Punteggio completo: 73.9' e 'annuncio: nessuno', una timeline orizzontale a quattro punti che riporta '5 nov repository', '6 nov run di scoring', '12 nov famiglia di sei modelli' e '16 nov modifiche al README', e una scheda con contorno che riporta 'nessun prezzo', 'nessun endpoint' e 'nessuna riga Artificial Analysis'.
Guides & Insights

Karpo Decision 31B conquista la vetta di una classifica di 307 modelli senza nemmeno un post di lancio a suo nome

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Il 12 novembre 2026 il Decision Index — la classifica della community che tiene traccia delle riproduzioni aperte di Je​v di TypeSafe — ha collocato Karpo Decision 31B in cima al suo punteggio Full, 73,9, il più alto tra 307 voci. Quella stessa settimana ha iniziato a circolare la voce che questo modello, un fine-tune del Gemma 4 31B open di Goog​le, batta il Gem​ini Decision 1 di Goog​le stesso. Solo una delle due affermazioni è qualcosa che un lettore può verificare oggi, e la differenza tra le due è tutta la storia. Il fatto che la classifica collochi Karpo al primo posto è pubblico, datato e riproducibile da un file di risultati da 45 MB pubblicato dal laboratorio. Il confronto diretto con Gem​ini Decision 1 non è mai stato eseguito: i due modelli non condividono nemmeno una classifica, e gli strumenti su cui sono stati valutati non sono lo stesso strumento.

Ciò che rende strana la prima metà non è il punteggio. È il silenzio che lo circonda. MachinePulse Pte. Ltd., la società di Singapore dietro Karpo, ha creato il repository su Hugging Face il 5 novembre 2026, ha pubblicato lo stesso giorno un repository di inferenza su GitHub e il 12 novembre ha rilasciato cinque fratelli minori — 12B, 9B, 4B, 2B e 0.8B. Al momento in cui scriviamo non esiste una pagina prodotto, né un post sul blog, né un listino prezzi, né un annuncio del modello, né un'API. Il sito della società stessa restituisce un 404 su ogni percorso che dovrebbe contenerne uno. Karpo esiste sotto forma di pesi, un README, un pacchetto Python e una riga di classifica. Questo articolo riguarda ciò che quelle quattro cose possono e non possono dirti.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Le date, e perché contano più del solito

Il timestamp di creazione del repository è il 5 novembre 2026 alle 15:33 UTC. Il codice di inferenza GitHub è stato creato ventidue minuti dopo. Il dataset della run del Decision Index — ciò che rende verificabile il 73,9 — è stato caricato il 6 novembre alle 05:18 UTC. Il README era ancora in fase di modifica il 16 novembre, e gli ultimi due commit non cambiavano altro che una riga di copyright e una dichiarazione di licenza.

È un modello di due settimane con un repository attivo e nessun lancio. Non è una fuga di notizie, e non è la ridenominazione di qualcosa di più vecchio: i pesi sono nuovi, il file di licenza è nuovo, e la famiglia di sei modelli è stata pubblicata in un solo pomeriggio. È, invece, un laboratorio che ha deciso di pubblicare l'artefatto prima del marketing.

Che cosa misura esattamente il 73,9

A single-column scoreboard titled 'Karpo Decision 31B — the scoreboard' with six rows reading 'Full score: 73.9, third-party private tests', 'Public index: 75.05, vendor run, board-adopted', 'Rank: joint first of 307', 'Artificial Analysis: no row', 'Price: none published' and 'Licence: Apache-2.0, Gemma 4 terms alongside', footed 'Full score computed by the Decision Index maintainers; public index from a 140,178-request vendor run adopted by the board.'

Il Decision Index, nella sua versione attuale, è l'edizione 0.4.1. Il suo punteggio Full è calcolato dai manutentori della board su test privati: circa il 60% dei task proviene dalle stesse competenze della suite pubblica e il 40% da domini che la suite pubblica non copre. La riga di Karpo riporta 73.9 Full, con 70.7 nella porzione relativa alle stesse competenze e 78.6 in quella relativa ai nuovi domini. Questi ultimi due numeri seguono un ordine insolito — di solito un modello se la cava peggio su territori poco familiari che sulle competenze su cui è stato messo a punto — e la scheda lo riporta senza commento.

La classifica assegna un'unica posizione ai modelli entro 0,9 punti dal leader, quindi Karpo non detiene il primo posto da solo. GLiDE 27B, a 73,4, condivide il primo posto. Dietro di loro ci sono REAX 1.3 a 72,6, Logits Sigma-1 Duo a 72,3, Copernicus-31B a 72,1 e KnowLine 31B Gen1.5 a 71,9. È una vetta affollata, non una fuga solitaria.

Il secondo numero sulla scheda, 75,05, ha una provenienza diversa e merita una lettura diversa. È l'indice pubblico, e proviene dall'esecuzione da parte di MachinePulse stessa del kit di valutazione ufficiale — 140.178 richieste valutate, nove delle quali rifiutate perché una singola domanda più il suo stato superava la finestra di 32.768 token. Il consiglio ha adottato quell'esecuzione. Il motivo per cui fidarsi più che di un tipico dato di fornitore è che la directory dell'esecuzione è pubblica: results.jsonl.gz, un file dei punteggi per richiesta, un manifest dell'ambiente. Chiunque può rieseguire il kit e confrontare. L'adozione da parte del consiglio costituisce la fase di revisione. È uno standard più rigoroso di quello a cui si conformano la maggior parte delle dichiarazioni di lancio, e non equivale comunque a un laboratorio indipendente che valuta il modello sul proprio hardware.

Due etichette, quindi, e non dovrebbero essere accorpate: il punteggio Full è calcolato da terzi a partire da test privati; l'indice pubblico è calcolato internamente a partire da una suite pubblica ed è adottato. Nessuno dei due è un benchmark di fornitore nel senso usuale. Nessuno dei due è Artificial Analysis.

Perché «batte Gem​ini Decision 1» non è ancora un'affermazione misurata

Gemini Decision 1 ha un numero. Artificial Analysis gli ha assegnato 65,98 su Decision Index v2.1, un composito di sei valutazioni ponderate tra decisioni documentali, tool calling, conoscenza, ragionamento e invarianza. In quella classifica si trova all'undicesimo posto tra i modelli decisionali classificati da AA, sotto d1.2-ultra a 74,85, Drex Max v1.1 a 72,62 e SubQ Snap 1.2 a 72,58, e sopra Microsoft-Decision-1 a 62,07. Il punteggio è di AA, sull'hardware di AA, e costa 345 dollari per milione di attività da eseguire.

Karpo non compare affatto su quella board. Artificial Analysis non ha né una pagina né una riga dedicata. Né Gem​ini Decision 1 compare sul tracker Decision Index che include Karpo — quella board è un registro di riproduzioni aperte, e il modello di Goog​le è un prodotto chiuso, solo API, senza pesi da riprodurre.

Quindi il confronto che tutti stanno facendo è un'inferenza basata su due numeri prodotti da due organizzazioni su due suite con mix di task diversi, percentuali diverse di test privati e formule di punteggio diverse. 73.9 non è maggiore di 65.98 in alcun senso che regga il confronto con la metodologia. Se domani i due venissero sottoposti allo stesso kit, Karpo potrebbe benissimo vincere — il suo profilo per categoria è solido — ma nessuno l'ha fatto, e il titolo al momento è un'ipotesi travestita da risultato.

C'è un'ulteriore complicazione che vale la pena conoscere, perché va contro l'affermazione anziché a suo favore. Nelle cinque ripartizioni per categoria del tracker, l'area più debole di Karpo è conoscenza e ragionamento, con 65,5 di abilità corretta per il caso. La più forte è strumenti e automazione, con 88,4. Nella classifica di AA, l'unica componente in cui Gem​ini Decision 1 batte quasi tutto è quella della conoscenza: 66,3 su AA-Omniscience, il valore più alto dei quattro modelli qui verificati. L'area in cui il modello Goog​le è migliore è l'area in cui il fine-tuning di Gem​ma è relativamente più debole. Un confronto diretto sarebbe una vera sfida lì, non una vittoria facile, ed è proprio per questo che il confronto non eseguito non dovrebbe essere riportato come una vittoria.

La parte della scheda che è più interessante della classifica

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.

Karpo non è un modello di chat con una modalità JSON. È un readout. Ogni opzione in una domanda riceve un codice opzione, e una testa lineare assegna un punteggio a 255 codici in uno slot fisso, poi applica softmax sulle opzioni che la domanda ha effettivamente offerto. Nulla viene generato, quindi la risposta è sempre una delle scelte fornite e il costo di output è strutturalmente zero.

L'architettura merita un paragrafo perché spiega la latenza. Una richiesta è uno stato più un numero qualsiasi di domande, codificati come un'unica sequenza: prima le domande, poi lo stato, poi un ramo per ogni domanda. L'attenzione per rami consente a un ramo di leggere il blocco condiviso e se stesso, mai un altro ramo. Lo stato viene calcolato una volta. Cento domande su una fattura costano quindi all'incirca una passata sulla fattura, non cento.

Parametri — 31,3B in bf16, più un readout da 255 × 5.376 in fp32; circa 62,5 GB su disco.

• Contesto — 32.768 token per sequenza; una richiesta più lunga viene suddivisa per domanda, ciascuna parte porta con sé lo stato completo, e una domanda che ancora non può essere contenuta viene rifiutata anziché troncata.

• Input — testo, JSON e immagini; uno screenshot può essere passato come state.viewport_screenshot oppure come data URL.

• Tipi di domanda — scelta con un massimo di 255 opzioni, noul per vero/falso, punteggio per un livello ordinato.

• Interfaccia — un'API Python e un server HTTP nella forma di System One, POST /v1/systemone.

• Licenza — Apache-2.0 per i pesi e il codice, con la licenza specifica di Gem​ma 4 inclusa a fianco nel repository.

La latenza misurata sull'hardware di riferimento del tracker, con una GPU e una richiesta alla volta, è di 94 ms mediana. Non è abbastanza veloce da risultare invisibile all'interno di un ciclo dell'agente per passo che effettua venti piccole chiamate per turno, ed è abbastanza veloce da stare dietro a un gate di chiamata agli strumenti che si attiva un pugno di volte per conversazione. La scheda riporta anche un errore di calibrazione di 4,8 punti, che è il numero su cui un deployment si gioca davvero: l'accuratezza indica quanto spesso la risposta principale è corretta, la calibrazione indica se la probabilità a essa associata può essere sottoposta a soglia.

Ciò che non è confermato, detto chiaramente

Non c'è un prezzo. Non "non divulgato in attesa del lancio" — nessun listino prezzi, nessun endpoint ospitato, nessuna console, nessuna prova. Se oggi vuoi Karpo Decision 31B, scarichi 62,5 GB e lo esegui sulla tua GPU con il loader del repository. Caricare il checkpoint come un normale modello di chat non riprodurrà le sue risposte; sia la branch attention sia il readout sono necessari.

Non esiste un punteggio indipendente. Il Decision Index è non ufficiale e mantenuto dalla comunità. È accurato, ben documentato e insolitamente trasparente riguardo al metodo, e non è Artificial Analysis, e non gli è stato chiesto di valutare questo modello sul proprio hardware. L'elemento di terze parti più forte è che i suoi manutentori hanno calcolato il punteggio Full su test che il fornitore non ha mai visto.

Non esiste alcuna dichiarazione del fornitore su ciò per cui il modello sia stato creato, al di là della descrizione contenuta nel README: le piccole decisioni che un agente prende a ogni passaggio — se chiamare uno strumento o chiedere prima, quale elemento di una pagina cliccare, se un reso sia ammissibile ai sensi di una policy. Quella descrizione è l'inquadramento del laboratorio, non un ambito validato in modo indipendente.

E non c'è alcun annuncio. Non uno discreto, non una voce nel changelog. Due settimane dopo la pubblicazione dei pesi, la facciata pubblica dell'azienda è una pagina di assunzioni e un'altra linea di prodotto.

Dove questo lascia un team che vuole provarlo

Il riassunto onesto è che Karpo Decision 31B è il modello decisionale aperto più interessante delle ultime due settimane e quello meno supportato. Il suo primato è reale ma condiviso, il suo indice pubblico è riproducibile, il punteggio del test privato proviene davvero da terze parti, e la sua principale affermazione di marketing — che un fine-tuning di Gemma ora batta Google nel suo stesso modello decisionale — non è misurata.

Per i team che già gestiscono un livello decisionale, la strada pratica è un deployment in shadow anziché una migrazione. Mantieni il modello che sta gestendo il traffico di produzione, esegui Karpo offline sulle stesse richieste e confronta le probabilità anziché le etichette: un errore di calibrazione di 4,8 punti significa che circa una risposta su venti è sbagliata con più sicurezza di quanto suggerisca la probabilità dichiarata, ed è la tua policy di soglia a trasformarlo in una coda di revisione umana oppure in un incidente. Se stai standardizzando su un unico endpoint per il resto dello stack, i modelli che puoi effettivamente raggiungere questa settimana sono quelli presenti nel catalogo — Gemma 4 31B stesso, che è la base di Karpo ed è servito tramite un'unica API per oltre 200 modelli al prezzo di listino del provider, senza ricarichi, e TypeSafe's Jev 1.14, il modello che questa intera board di riproduzione aperta è stata costruita per inseguire. Karpo dovrà guadagnarsi il suo posto come hanno fatto gli altri: essendo richiamabile.

La cosa da tenere d'occhio non è il 73.9. È se MachinePulse pubblicherà una pagina prodotto, un prezzo e una submission ad AA nel prossimo mese. Un laboratorio che pubblica i pesi prima di un sito web di solito ha un motivo, e il motivo tende a manifestarsi come un endpoint ospitato o un cambio di rotta. In ogni caso, il primo numero indipendente sulla board di AA risolverà in una settimana ciò che due settimane di aritmetica da classifica non hanno risolto.