Una card del titolo generata con intestazione «Karpo Decision 31B vs Laya» e sottotitolo «Un leader da 31B contro un encoder da 421M che puoi eseguire su un laptop», tre chip che riportano «Karpo: 31,3B, 62,5 GB, 32.768 token», «Laya: 421M, 808 MB, 512 token» e «Punteggio complessivo 73,9 vs 9,2», e una coppia di icone flat — un rack GPU da datacenter etichettato «richiede una GPU» e un laptop etichettato «gira su un laptop».
Guides & Insights

Karpo Decision 31B vs Laya: un leader da 31B contro un encoder da 421M che puoi eseguire su un laptop

Autore

Gideon Frost

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Mettendo Karpo Decision 31B accanto a Laya, la prima reazione onesta è che qualcuno abbia commesso un errore di unità. Karpo è un fine-tune di Gemma 4 da 31,3 miliardi di parametri che richiede 62,5 GB di pesi e una GPU da datacenter. Laya è un encoder ModernBERT da 421 milioni di parametri di Convai Innovations, Apache-2.0, 808 MB su disco, che gira su un portatile e risponde in circa 33 millisecondi. Sul Decision Index, la classifica della community in cui compaiono entrambi, il divario nel punteggio Full è di 73,9 contro 9,2: la differenza più ampia dell'intero lotto di confronti.

Eppure Laya è il modello che distribuisce un pacchetto pip mantenuto, un server MCP, build ONNX e Core ML e un percorso di fine-tuning con un salto di accuratezza documentato da 0,362 a 0,766 su un set di workflow reali. Karpo distribuisce un README e un repository. La domanda interessante non è quale modello sia migliore. È a cosa serva realmente ciascuno di essi, perché il divario di punteggio e il divario di usabilità puntano in direzioni opposte e solo uno dei due conta alla volta.

Che cosa significano i due numeri e perché il confronto è volutamente sbilanciato

Il punteggio Full di 9.21 di Laya sul tracker è una misura di abilità corretta per il caso, e la sua accuratezza grezza sulla stessa suite è del 37,7% con una copertura di 0,76 — il che significa che circa un quarto delle richieste della suite non ha mai ricevuto alcuna risposta. Il tracker registra il motivo: 320 richieste contrassegnate come non supportate, in larghissima parte perché un'istruzione superava il budget nativo di Laya e il modello rifiuta anziché troncare. Su una suite costruita per modelli che accettano uno stato di 32k token, un encoder da 512 token non sta competendo, si sta affidando al default.

Karpo risponde alla stessa suite con una copertura del 99,87% e un'accuratezza grezza dell'83,2%. Nove richieste sono state rifiutate, tutte perché una domanda più il suo stato superava i 32.768 token.

Dunque, un confronto diretto dei punteggi ti dice che un modello progettato per la classificazione breve su una finestra di 512 token ottiene scarsi risultati su un benchmark progettato per modelli decisionali per documenti lunghi. Non è una critica a Laya; è un'affermazione sulla suite. Il confronto utile è per attività, e la scheda di Laya ne ha uno: su MASSIVE intent classification ottiene 0,783 in inglese e su XNLI 0,860, su input che rientrano nella sua finestra. Karpo non ha un numero pubblicato equivalente per un'attività breve di classificazione singola, perché la sua scheda non pubblica affatto risultati a livello di attività.

Le specifiche, e ciò che ciascuna implica

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• Parametri — Karpo 31,3B più un readout da 255 × 5.376, 62,5 GB in bf16; Laya 421M, circa 808 MB scaricati.

• Architettura — un backbone di modello linguistico causale eseguito solo in prefill con un readout lineare, rispetto a un encoder bidirezionale che valuta ogni opzione in corrispondenza del proprio [MASK] token.

• Contesto — Karpo 32.768 token per sequenza, suddivisi per domanda con lo stato ripetuto; Laya 512 token in totale nella configurazione distribuita, di cui 192 riservati al prompt dell'opzione, lasciando circa 320 per lo stato.

• Multimodalità — Karpo legge immagini e testo; Laya legge solo testo. Non esiste alcun percorso di visione nel checkpoint inglese.

• Latenza — Karpo 94 ms di mediana su una GPU di riferimento; Laya 39,5 ms misurata sulla propria scheda, e il tracker registra una mediana di 5,8 ms sul suo hardware.

• Licenza — Apache-2.0 su entrambi, pesi e codice, nessuna restrizione d'uso.

• Hosting — nessuno dei due è su un endpoint ospitato dal suo editore. Laya non ha bisogno di nient'altro che di pip install laya.

La riga di contesto è l'intera decisione. 320 token utilizzabili per lo stato sono un ticket di supporto, un'email, un messaggio di chat, il titolo di un prodotto, una riga di log. Non è una fattura con voci di dettaglio né una policy di quaranta pagine. Se il tuo stato è più lungo di un paragrafo, a Laya non si può porre la domanda — non male, non lentamente, ma proprio per niente.

Dove il modello piccolo è davvero la risposta giusta

C'è una classe di decisioni per cui Karpo è assurdo, e il design di Laya è mirato dritto a essa. Considera un agente che ha bisogno, a ogni passo, di un sì/no sul fatto che il risultato di uno strumento sembri soddisfare l'intento, o su a quale di sei fonti di recupero debba andare una query, o se un messaggio utente contenga un segnale di churn. Sono domande su scala microsecondo relative a una frase di contesto, e potrebbero essercene cinquanta in una singola conversazione.

A 94 ms e con un modello residente da 62,5 GB, cinquanta chiamate equivalgono a quasi cinque secondi di tempo GPU per conversazione, su hardware che costa più di quanto il traffico giustifichi. A 5,8 ms di mediana con un modello da 800 MB che gira sulla stessa macchina dell'applicazione, le stesse cinquanta chiamate costano un terzo di secondo e nessuna voce di costo per il data center. Non è una differenza marginale in un ciclo per passo; è la differenza tra una funzionalità che viene rilasciata e una che non viene rilasciata.

La scheda di Laya documenta onestamente anche le modalità di errore, il che vale più di una scheda tecnica pulita. Il checkpoint inglese collassa sugli script non latini — khmer a 0.000 di accuratezza mentre dichiara 0.952 di confidenza — che è esattamente il tipo di errore sicuro-ma-sbagliato che un livello decisionale non deve avere. Il {{2}}Router{{/2}} fornito rileva lo script in meno di mezzo millisecondo in puro Python e instrada verso il checkpoint multilingue prima del forward pass.Router Anche le domande ad alta cardinalità degradano: 77 opzioni in un budget di 256 token danno a ogni etichetta tre o quattro token, e l'accuratezza su Banking77 scende a 0.425 contro 0.870 di Jev. La scheda ti dice di aumentare il budget della testa invece di fingere che l'impostazione predefinita funzioni.

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

Quella combinazione — un modello piccolo con modalità di errore pubblicate e una correzione documentata per ciascuna — è più utile sul piano operativo di un punteggio migliore senza una ripartizione a livello di attività.

Dove il modello 31B si merita i suoi 62 GB

I vantaggi di Karpo sono quelli che derivano dall'avere un vero modello linguistico al suo interno. Legge uno screenshot. Mantiene un documento di policy e un record cliente nello stesso stato da 32.768 token e risponde a un centinaio di domande su entrambi in un'unica passata, perché lo stato viene calcolato una volta e ogni domanda si dirama dal blocco condiviso senza vedere le opzioni delle altre. Gestisce scelte a 255 vie senza carenza di token, dato che il readout assegna un punteggio ai codici invece di incorporare il testo delle opzioni in un budget fisso.

Il profilo per categoria lo conferma in modo che corrisponde chiaramente a ciò che un modello di grandi dimensioni ti offre. L'abilità di conoscenza e ragionamento di Karpo è 65,5 contro 2,9 di Laya — un valore che riflette soprattutto le domande di conoscenza a contesto lungo della suite, che non possono essere poste a Laya. La sua abilità negli strumenti e nell'automazione è 88,4 contro 5,8. Non si tratta di sottili distinzioni tra due modelli comparabili; sono due classi diverse di strumento.

Ciò che Karpo non ha è nessuna delle impalcature operative. Nessuna esportazione ONNX, nessuna build Core ML, nessun server MCP, nessun agente installabile con pip a cui puoi fornire una descrizione del workflow e fare fine-tuning in un pomeriggio. La comunità ha già iniziato a quantizzarlo — un GGUF IQ3_M e una build NVFP4 sono comparsi nel giro di due settimane — ma al momento in cui scriviamo non esiste un percorso ufficiale a ingombro ridotto né un prezzo.

Il divario nel fine-tuning, che determina più implementazioni di quanto faccia la classifica

Il numero più importante sulla scheda di Laya non è un punteggio di benchmark. È 0,766 contro 0,362: l'accuratezza di un checkpoint fine-tuned rispetto al modello base inglese su 2.000 decisioni in quattro workflow. Il fine-tuning ha più che raddoppiato l'accuratezza sui carichi di lavoro che contavano.

Questa è la tesi a favore di un modello da 421M in una sola riga. Un modello piccolo che puoi riaddestrare sulle tue decisioni etichettate in un'ora batterà un modello da 31B che non puoi riaddestrare affatto, sul tuo traffico e con il tuo schema. Il 73,9 di Karpo è una media su una suite privata; la tua distribuzione non è quella suite. Anche il punteggio base di 0,362 di Laya è una media sulle decisioni di qualcun altro, ed entrambi i modelli cambieranno una volta che i dati saranno tuoi — ma solo uno dei due include un percorso documentato per compiere quel cambiamento.

Karpo è un fine-tuning completo di un checkpoint da 31B, privo di una ricetta di addestramento pubblicata e di un adapter. Il fine-tuning è possibile in linea di principio e non è qualcosa che la scheda supporti, documenti o preveda.

Eseguendo entrambi, è la risposta più spesso di quanto non lo sia ciascuno singolarmente

I due modelli sono più complementari che sostituti, e la suddivisione è meccanica. Instrada gli stati brevi verso l'encoder e quelli lunghi verso il 31B. Il Router pattern è già l'impostazione predefinita rilasciata sul lato Laya; sul lato Karpo l'equivalente è un controllo di dimensione sullo stato prima dell'invio.

Dove un livello di routing si ripaga è nel terzo caso: il livello intermedio tra i due. Se i tuoi stati si collocano tra 512 token e 32.768, nessuno dei due è ben abbinato — Laya rifiuta e Karpo è sovradimensionato e costoso. È in quella fascia intermedia che un modello decisionale servito ha senso, e Jev 1.14 è nel nostro catalogo per questo, richiamabile con la stessa chiave di tutto il resto. Mettere una policy a soglia davanti a un singolo endpoint di routing — stato breve all'encoder che ospiti, stato lungo a un modello servito, output incerto a una coda di revisione — è un lavoro di ingegneria più contenuto rispetto a gestire un checkpoint da 62,5 GB, e tiene il cambio di modello fuori dal codice della tua applicazione. Il catalogo con oltre 200 modelli, fatturati al prezzo di listino del provider senza ricarichi include anche Gemma 4 31B, la base da cui Karpo è stato fine-tunato, che è un modo economico per verificare cosa abbia effettivamente apportato il fine-tuning prima di dedicargli una GPU.

Se si è costretti a una sola raccomandazione: iniziare con Laya. Non costa nulla, si installa in un minuto e, sulle decisioni brevi e ad alto volume che un agente prende a ogni passo, è lo strumento corretto — non un compromesso. Passare a Karpo Decision 31B quando uno stato non entra più in un paragrafo, e accettare che a quel punto si sta comprando una GPU, un download da 62 GB e un modello senza prezzo, senza annuncio e senza punteggio indipendente. Il divario di 64 punti nella classifica è reale e misura qualcosa che conta solo quando il tuo input è abbastanza lungo da richiederlo.

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.