Jev vs Kev: un fine-tuning da $95 che batte Jev sui ticket di supporto

Jared Palmer ha rilasciato Kev il 20 settembre 2026, cinque giorni dopo che TypeSafe AI ha lanciato Jev, e il numero importante non è nella tabella di benchmark. È nel README: il tutto è costato circa 95 dollari di tempo H100 su Modal, più tre centesimi di chiamate API a Jev usate per generare i dati di valutazione. Kev è Apache-2.0, self-hostabile ed è disponibile in tre dimensioni, costruite sui pesi di base aperti di Qwe​n3.5 — all'incirca 0,8B, 4B e 9B — con un adattatore LoRA di rango 16 e una testa pointer innestata su una base congelata, invece che un modello decisionale da zero. Rispecchia esattamente l'API di decisione tipizzata di Jev: Choice, Score e Noul, abbastanza simile da essere compatibile con l'SDK Python di TypeSafe. Jev, da parte sua, è stato lanciato il 15 settembre 2026 come modello System One chiuso e ospitato di TypeSafe AI, restituisce risposte tipizzate con confidenza calibrata e senza alcun testo, e non ha mai pubblicato la sua architettura, il conteggio dei parametri, il calcolo di addestramento o i pesi. Il confronto, quindi, non è davvero un confronto tra modelli. È un test di quanto del valore di Jev sopravviva alla riproduzione in un pomeriggio al prezzo di un portatile usato. Nessuno dei due modelli è nuovo — Jev 1.13 (typesafe/jev-1.13) è la release del 15 settembre e Kev è seguito cinque giorni dopo — ma una cosa di questo confronto è cambiata di recente: il 24 settembre 2026, OrcaRouter ha aggiunto Jev 1.13 al suo catalogo, così la metà decisionale dell'accoppiata ora risponde sulla stessa chiave della metà generativa invece che solo attraverso l'endpoint del fornitore stesso.

Cosa dicono davvero i benchmark

La notizia principale è che Kev si avvicina, e su un compito ristretto vince. Sul set di test bloccato di nuove fonti di Kev, Kev-9B ha ottenuto 0,837 contro 0,857 di Jev. Sull'instradamento dei ticket di supporto su 900 ticket — il set scienthoon — Kev-9B ha ottenuto 0,952 contro 0,897 di Jev, che è l'unico risultato pubblicato in cui la riproduzione aperta batte il modello che riproduce. Kev è anche leggermente in vantaggio su alcuni compiti di riconoscimento logico. Sui set decisionali SemiF, un set strutturato di 144 domande, Jev la spunta per 0,965 contro 0,917 di Kev-9B.

Dove Kev perde, perde malamente. Accuratezza fuori dominio: Kev-8B al 79,6% contro l'85,7% di Jev. MMLU: 70% contro 90%. MMLU-Pro: 0,515 contro 0,840. Aritmetica delle date a precisione giornaliera: 60% contro 93%. Il pattern è coerente — Kev è competitivo su routing ristretto e classificazione dove l'insieme di etichette è piccolo e il dominio è fisso, e crolla su qualsiasi cosa che richieda conoscenza del mondo o aritmetica multi-step, perché un adattatore di rango 16 su un piccolo modello base congelato non è dove risiede la conoscenza del mondo.

Ognuna di quelle cifre proviene dall'harness personale di Kev o da tracker di terze parti, e il README di Palmer dice chiaramente che non si tratta di un confronto controllato — i dati di addestramento di Jev non sono divulgati, quindi non c'è modo di costruirne uno. Il README afferma anche che nessun output di Jev è stato utilizzato per l'addestramento. Entrambi i disclaimer sono del tipo che rende i numeri più affidabili, non meno: chi pubblica il confronto è quello che ti dice cosa non può dimostrare.

Quello che ottieni per 95 $ che non puoi ottenere da Jev a nessun prezzo

Il confronto dei costi è il punto in cui i due prodotti smettono del tutto di essere comparabili. Jev costa $0,042 per milione di token di input, con l'output gratuito — la tariffa riportata nel listino prezzi di TypeSafe stessa, nonché quella indicata nella nostra model card per typesafe/jev-1.13 — il che è economico in un modo davvero difficile da battere su base per chiamata. È un'API ospitata, e la homepage di TypeSafe stessa lo descrive ancora come in accesso anticipato; sono parole del fornitore, e la lista d'attesa che prima stava dietro a tutto ciò non c'è più — TypeSafe l'ha rimossa il 21 settembre 2026, e ciò che la sua documentazione dei modelli pubblica ora al suo posto è il limite di serving stesso: 100.000 token al secondo e 40 richieste al secondo per account, adattati dinamicamente e soggetti a modifiche senza preavviso. Kev sono pesi che scarichi. Il costo marginale della decimilionesima classificazione è la tua stessa elettricità.

Da ciò conseguono quattro cose, e nessuna di esse riguarda i punteggi dei benchmark.

• Nessun dato lascia la tua infrastruttura. Jev è un endpoint ospitato; ogni stato che gli invii — il ticket di supporto, la riga di log, la cartella clinica — va a TypeSafe. Kev gira sulla tua GPU, il che per i carichi di lavoro soggetti a regolamentazione non è una preferenza ma il fattore decisivo.

• Nessun limite di frequenza di terze parti, nessun accesso vincolato, nessun rischio di deprecazione. La documentazione di TypeSafe stessa si riserva il diritto di modificare in qualsiasi momento quei limiti pubblicati, il che è una differenza concreta rispetto a un checkpoint sul proprio disco. Un checkpoint locale non prevede alcuna clausola del genere.

• Puoi metterlo a punto. Kev è una base da specializzare, e la ricetta LoRA che lo ha prodotto è pubblica. Se la tua tassonomia di routing ha 40 classi che nessun modello generale gestisce bene, puoi addestrarlo sulle tue etichette — esattamente ciò che ha fatto Palmer, a un costo che si misura in decine di dollari, non in un team di ML.

• Il limite del contesto puoi cambiarlo tu. Il budget documentato per le richieste di Jev è di 64K token, di cui 32.000 rappresentano lo stato più la singola domanda più lunga, anziché una quota separata, e i campi Choice hanno un limite massimo di 255 opzioni. Kev eredita la finestra di Qwe​n3.5, che è molto più ampia, e il limite di opzioni è un dettaglio implementativo del tuo stack di serving, non un limite del fornitore.

Quello che Jev ha ancora e che Kev non ha

L'affermazione sulla calibrazione è quella che non si trasferisce in modo pulito, ed è il cuore della proposta di TypeSafe. Jev è addestrato con un metodo che TypeSafe chiama RLCD — Reinforcement Learning for Calibrated Decisions — che ottimizza per l'onestà del valore di confidenza piuttosto che per la preferenza della risposta. Ogni risposta di Jev viene fornita con una distribuzione di probabilità sulle opzioni, così il tuo codice può impostare delle soglie: agire automaticamente nella fascia alta, segnalare in quella media, escalare in quella bassa.

Kev produce la stessa forma tipizzata e gli stessi output di probabilità, perché l'API è deliberatamente compatibile. Se poi tali probabilità siano calibrate è una questione diversa, e la risposta onesta è che nessuno ha pubblicato un diagramma di affidabilità per nessuno dei due modelli. Un audit di calibrazione separato ha riportato che Jev otteneva un'accuratezza del 44,7% con un errore di calibrazione atteso di 0,325 su un compito di priorità con policy nascosta, il che suggerisce che la calibrazione di Jev varii nettamente da compito a compito anziché essere una proprietà universale — e TypeSafe stessa invita gli utenti a testare le soglie di confidenza sui propri esempi etichettati anziché fidarsi del comportamento pubblicato.

L'altra cosa che Jev ha è che non è stato addestrato su Qwe​n3.5. Un modello 9B con un adattatore rank-16 ha un tetto di conoscenza, e il divario MMLU-Pro di 0,515 rispetto a 0,840 è quel tetto reso visibile. Se la tua decisione di routing richiede occasionalmente sapere cos'è una cosa, l'architettura più grande e non divulgata di Jev sta facendo un lavoro che l'adattatore di Kev non può fare.

Latenza e forma del deployment

La latenza end-to-end documentata di Jev è di 70–500 ms contro i 3–329 secondi delle chiamate ai modelli linguistici di frontiera nella comparazione di TypeSafe, e aggiungere domande a una chiamata la sposta a malapena, perché ogni domanda viene valutata in parallelo rispetto a un'unica lettura condivisa dello stato. C'è un solo riscontro misurato a quella dichiarazione del fornitore, ed è nostro e non di TypeSafe: nei sette giorni in cui il nostro model card per typesafe/jev-1.13 ha servito il modello, dal 24 settembre 2026, la richiesta mediana ha impiegato 151 ms e il 95° percentile 247 ms. Questo è un record di servizio di una singola rotta, non un benchmark. Kev-9B su una H100 sarà nello stesso ordine di grandezza per un singolo forward pass, ma il confronto non è omogeneo in nessuna delle due direzioni: un 9B auto-ospitato su una GPU condivisa sotto carico non ha la stessa latenza di un endpoint ospitato, e un endpoint ospitato non è la stessa cosa di una macchina nel proprio rack. Ciò che si può dire senza riserve è che entrambi sono abbastanza veloci per l'uso turno per turno in un ciclo di agente, e che la latenza di Kev è funzione dell'hardware che controlli tu, non di un livello di servizio che ti viene promesso.

La lettura onesta della riproduzione

Il fatto stesso che Kev esista è una prova riguardo a Jev, e vale la pena nominarlo. Un modello chiuso il cui comportamento può essere approssimato in cinque giorni per 95 dollari, da una sola persona, su pesi base pubblici, ti sta dicendo qualcosa su quanto del suo vantaggio sia architettura e quanto siano dati di addestramento e serving. Non ne consegue che Jev sia facile da costruire — la superficie dell'API è facile da copiare, e la calibrazione non lo è. Ma significa che il fossato non è l'interfaccia, e chiunque valuti Jev per un percorso di produzione dovrebbe mettere in conto la possibilità che un fine-tuning di una base aperta gli faccia fare gran parte del percorso per una frazione dell'impegno.

Il che è anche l'argomento per non puntare ancora un percorso di produzione su nessuno dei due. Se stai valutando Jev, la posizione sensata è provarlo senza impegnarsi — e dal 24 settembre 2026 è qualcosa che puoi fare con la nostra chiave: OrcaRouter serve Jev 1.13 come typesafe/jev-1.13, chiamato tramite lo stesso endpoint POST /v1/systemone e la stessa forma di richiesta non in streaming che usa ovunque, su un contesto di 65.536 token a 0,042 $ per milione di token di input, con l'output fatturato a zero. Il livello decisionale e il livello generativo ora risiedono su un unico account: oltre 200 modelli dietro un'unica chiave compatibile con OpenAI al prezzo di listino del provider passato con markup dello 0%, con failover automatico. Un'architettura a due modelli in cui un livello decisionale economico smista il traffico e un modello generativo gestisce il resto è testabile dalla nostra parte senza un secondo contratto con un fornitore, e se la componente decisionale si rivela mal calibrata sui tuoi dati, è il percorso di failover a impedire che ciò diventi un incidente.

Il verdetto

Se il tuo compito decisionale è ristretto, a dominio fisso, ad alto volume e sensibile alla privacy, oggi Kev è la scelta più difendibile, e non c'è partita: possiedi i pesi, controlli il percorso dei dati, puoi fare fine-tuning sulle tue etichette e, sull'instradamento dei ticket di supporto, il checkpoint 9B batte già Jev sui suoi stessi numeri pubblicati. Se invece il tuo compito decisionale richiede conoscenza del mondo, aritmetica multi-step o un valore di confidenza su cui intendi basare l'automazione, il modello più grande e non divulgato di Jev e il suo addestramento RLCD stanno facendo un lavoro reale, e l'adattatore di Kev non sostituisce né l'uno né l'altro.

L'unica cosa che nessuno dei due confronti risolve è la calibrazione, perché nessuno ha pubblicato un diagramma di affidabilità per nessuno dei due modelli. Verificalo sui tuoi casi etichettati prima di automatizzare con l'uno o con l'altro — il valore di confidenza è la parte di entrambi i prodotti che deve essere guadagnata per ogni distribuzione, e la velocità è la parte che è già una commodity.