
Jev 1.13 spiegato: perché il modello risponde con etichette invece che con frasi
- GoogleNUOVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M di token · 90 tok/s
- AnthropicNUOVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M di token · 97 tok/s
- orcaNUOVOOrca: OrcaC2 1.02026-11-0711 tok/s
- OrcaNUOVOOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M di token · 89 tok/s
- OrcaNUOVOOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M di token · 133 tok/s
- OrcaNUOVOOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 per 1M di token · 86 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M di token · 125 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M di token · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M di token · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M di token · 45 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligenza
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M di token · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligenza
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M di token · 134 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligenza
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligenza
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1M di token · 126 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Intelligenza
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Intelligenza
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1M di token · 179 tok/s
Jev 1.13 (typesafe/jev-1.13) non è un modello conversazionale, e il modo più rapido per capirlo è smettere di leggere la sua scheda tecnica come si legge quella di qualsiasi altro modello. TypeSafe lo ha pubblicato il 2026-09-15 come primo esponente di una classe che l'azienda chiama modelli System One: gli si passa una porzione di stato e una serie di domande denominate, e restituisce una risposta tipizzata per ogni domanda — un'etichetta tratta da un elenco che hai fornito tu, un livello su una scala definita da te, oppure un vero/falso con una probabilità associata. Niente prosa, niente codice, niente spiegazioni. Questo non è un articolo di lancio. Il modello in sé è del 2026-09-15, vecchio di quindici giorni e fuori dalla finestra di sette giorni entro cui scrive questo blog, quindi non si guadagna una pagina solo per la sua pubblicazione. Quello che è successo dentro la finestra è che OrcaRouter ha aggiunto typesafe/jev-1.13 al proprio catalogo il 2026-09-24 e ha aperto la scheda del modello Jev 1.13 su https://www.orcarouter.ai/models/typesafe/jev-1.13 — la prima volta che Jev è invocabile attraverso un gateway di terze parti e non solo tramite l'endpoint di TypeSafe stesso, nonché i primi dati di servizio dal vivo che qualcuno al di fuori di TypeSafe ha pubblicato al riguardo. Questo è il cambiamento di cui vale la pena leggere: il modello è diventato eseguibile là dove prima non lo era.
La forma pratica di quel cambiamento è piccola e specifica. Prima del 2026-09-24, adottare Jev significava un secondo rapporto con un fornitore — un account TypeSafe, una chiave TypeSafe, una fattura TypeSafe e una struttura di richiesta su misura da usare nel codice. Dopo, Jev si trova sulla stessa chiave del resto di uno stack: una sola API per oltre 200 modelli, 0% di ricarico (il prezzo di listino del fornitore viene trasferito tal quale, quindi i tagli di prezzo dei fornitori sono attivi qui lo stesso giorno) e il modello raggiungibile su typesafe/jev-1.13 con POST /v1/systemone. Lo chiami ancora nella sua forma specifica — l'endpoint non è la rotta chat-completions di OpenAI, e fingere il contrario produrrebbe un 404 anziché una decisione — ma il contratto che firmi e la chiave che ruoti sono gli stessi che hai già.
Che tipo di modello è Jev
Il post di lancio di TypeSafe lo afferma in una frase: "Il nostro primo modello pubblico è Jev, disponibile da oggi in accesso anticipato." Il post inquadra poi il modello come "una chiamata di funzione di intelligenza di frontiera: stato non strutturato in ingresso, decisioni probabilistiche tipizzate in uscita." Questa è una descrizione corretta dell'interfaccia, e importante, perché quasi tutte le aspettative sbagliate su Jev derivano dal valutarlo come un piccolo modello linguistico. Non è un piccolo modello linguistico. È un modello decisionale con una grammatica di output fissa, e la grammatica è il prodotto.
L'interfaccia ha esattamente due input. Lo stato è il materiale da giudicare: un'email, un ticket di supporto, una riga di log, un record JSON, un array di coordinate di gioco. Le domande sono una mappa di elementi denominati, ciascuno con un tipo, le proprie istruzioni e — per i due tipi strutturati — i propri criteri. Ogni domanda viene valutata rispetto a quello stesso stato, e le risposte tornano come un unico payload JSON strutturato. La documentazione di TypeSafe descrive le domande come eseguite in modo concorrente e indipendente, e avanza due affermazioni che derivano da quel design più che dalla messa a punto: aggiungere domande cambia appena il tempo di risposta, e aggiungere domande non crea context rot, perché ogni domanda viene giudicata in isolamento anziché a valle di quelle precedenti.
Le linee guida di progettazione dello stesso TypeSafe vale la pena ripeterle, perché sono la dichiarazione più chiara di a cosa serve il modello. Mantieni ogni domanda atomica e ben delimitata — «il tipo di giudizio che una persona molto competente potrebbe formulare in pochi secondi». Se una decisione richiede un ragionamento prolungato o combina davvero diversi fattori indipendenti, suddividila in domande separate e ricombinale nel tuo codice. Il loro esempio: invece di un unico prompt «valuta questo pitch di startup», chiedi separatamente informazioni sulla dimensione del mercato, sulla fattibilità tecnica e sulla differenziazione, poi applica la tua ponderazione. Il motivo per cui questo conta è che la ponderazione risiede allora in un coefficiente che puoi modificare, invece che in un prompt che devi riscrivere.
Il modello è chiuso in ogni senso che conti per un ingegnere che ragiona sul rischio. L'architettura di Jev, il numero di parametri, il compute di addestramento e i pesi non sono pubblicati. Non esiste alcun repository dei pesi nell'organizzazione TypeSafe su GitHub — gli undici repository pubblici lì presenti sono strumenti, SDK, workflow e tre fork non correlati, e nessuno di essi è il modello.
"Typed" è l'intero prodotto
La model card di OrcaRouter pubblica le tre primitive e, cosa importante, i limiti di ciascuna. Ogni domanda che poni a Jev è una di esattamente tre forme:
• noul — un giudizio vero/falso, restituito con una probabilità calibrata anziché un semplice booleano, così che «probabilmente vero» e «certamente vero» siano valori distinguibili.
• scelta — seleziona una tra un massimo di 255 opzioni etichettate, ciascuna opzione con il proprio testo di criteri in modo che il modello sappia cosa distingue le tue etichette.
• punteggio — valutare su una scala ordinata di 2–10 livelli, con le definizioni dei livelli fornite come criteri.
La conseguenza di quella restrizione è che non c'è nulla da estrarre dalla prosa e nulla da convalidare rispetto a uno schema che speravi il modello avesse seguito. Il post di lancio di TypeSafe è insolitamente diretto riguardo alla garanzia: la cifra dello "0%" di mancata corrispondenza dello schema nei suoi grafici "non è empirica. La corrispondenza dello schema è garantita, quindi possiamo aggiungere con sicurezza lo 0% nei grafici." Quando il tuo spazio delle risposte è un insieme chiuso che hai fornito, un valore restituito o è nell'insieme oppure non proviene dal modello — non esiste un terzo esito in cui il modello ha scritto qualcosa di plausibile nella forma sbagliata e la tua regex l'ha accettato silenziosamente.
I tre tipi sono anche il motivo per cui un revisore non può valutare Jev nel modo in cui valuta un modello di chat. Non c'è un punteggio MMLU-Pro da confrontare, nessun campione di scrittura da leggere, nessuna traccia di ragionamento da ispezionare. L'unica domanda che abbia un senso è se la risposta digitata è corretta e se la probabilità a essa associata è onesta. Entrambe sono misurabili, ma solo rispetto ai tuoi dati e alle tue etichette.
Una differenza documentata vale la pena segnalarla piuttosto che risolverla: la documentazione di TypeSafe mostra un esempio di Score indicizzato da zero, mentre la scheda di OrcaRouter pubblica la scala come 2–10 livelli. Il fornitore documenta i livelli; la nostra scheda pubblica 2–10. Se stai costruendo una rubrica su Score, leggi le definizioni dei livelli nella tua risposta invece di presumere un indice.
Perché non ci sono token di output da fatturare
La tariffazione è l'espressione più limpida dell'architettura. Jev costa 0,042 $ per milione di token di input su OrcaRouter, e la tariffa di output è di 0,000000 $ per milione — non uno sconto, non una promozione di lancio, ma l'assenza di una quantità misurabile. A un modello generativo viene fatturato il testo che scrive; Jev non scrive alcun testo. Restituisce un'etichetta, un livello e una probabilità. Non c'è nulla da contare sul lato dell'output, quindi lì non viene addebitato nulla.
TypeSafe dichiara sulla propria homepage lo stesso numero dalla direzione opposta — "$42 per miliardo di token di input" — e vi abbina un'affermazione comparativa: "prezzo di input 238 volte inferiore rispetto a Claude Fable 5.1". Tale confronto, come tutto il resto sulla homepage, è del fornitore stesso, non replicato da nessuno. Ma l'aritmetica su cui si basa è facile da controllare per un lettore rispetto alla propria fattura, ed è la parte utile. Il volume di un carico di lavoro decisionale è determinato quasi interamente da quanto stato vi si immette, e lo stato è economico in un modo in cui i token generati non lo sono.
Le cifre di punta del fornitore sono più grandi della riga del prezzo e meritano la stessa etichettatura. TypeSafe pubblicizza «193,6x più veloce, 444,6x più economico» con una nota che lo limita a «flussi di lavoro per attività di System One», e pubblica sotto un esempio pratico: TypeSafe AI a 0,000081 $ completato in 0,114 s contro LLM a 0,013880 $ completati in 8,566 s. Il post di lancio stesso ammette il rischio dell'inquadramento — si dice che 193,6x e 444,6x si collochino probabilmente «all'estremo superiore dei guadagni nel mondo reale» — e osserva che la demo affiancata usava una query «estremamente semplificata» con chiavi leggibili dall'uomo scelte dal fornitore per «mettere il nostro modello in una luce favorevole». Nessuno di questi numeri è stato replicato in modo indipendente, e la scheda di benchmark del fornitore stesso è ancora contrassegnata come in sospeso.
Che cosa significa "calibrated" e che cos'è RLCD
TypeSafe dà un nome proprio al suo metodo di addestramento: «Reinforcement Learning for Calibrated Decisions (RLCD)». RLCD è un termine coniato da TypeSafe, non un acronimo generico di machine learning antecedente all'azienda, e il suo obiettivo di ottimizzazione è indicato nella tabella di confronto del post di lancio come «decisioni calibrate: risposte con probabilità epistemicamente oneste su compiti di System One». Il contrasto che la stessa tabella traccia è con RLHF, che ottimizza per la preferenza umana — testi e risposte in chat che i valutatori apprezzano — e RLVR, che ottimizza per output verificabili a livello di programma. RLCD ottimizza per una terza cosa: la probabilità attribuita a una risposta di essere un'affermazione accurata dell'incertezza del modello stesso.
In pratica, "calibrato" è un'affermazione sulle confidenze, non una garanzia che le risposte siano corrette. Un modello calibrato che dichiara 0,8 su un insieme di domande dovrebbe essere corretto circa l'80% delle volte su quell'insieme; può comunque sbagliare su una singola domanda. Questa distinzione è il modo onesto di leggere la frase della homepage di TypeSafe "Zero allucinazioni — Ogni decisione di Jev viene fornita con una stima di confidenza, così il tuo software può agire quando la confidenza è alta e escalare quando non lo è." È un'affermazione basata su stime di confidenza, non una prova di zero errori, e il contrappeso sono i nostri stessi dati: nei sette giorni che terminano il 2026-09-30, la nostra scheda misura un tasso di errore dello 0,49% sul traffico Jev attraverso OrcaRouter — un valore che leggeva 0,57% all'inizio della stessa finestra, poiché è calcolato su sette giorni mobili di traffico live del playground anziché su un set di test fisso. Entrambi i fatti appartengono allo stesso paragrafo: le confidenze sono il punto del modello, e il modello fallisce comunque circa una chiamata su duecento sul nostro traffico.
La storia della calibrazione spiega anche un comportamento di latenza che altrimenti sembrerebbe un bug. Il post di lancio di TypeSafe dice: "Per scelte a cardinalità più elevata, adottiamo un sistema a 2 fasi: prima assegniamo un punteggio in modo indipendente, poi effettuiamo una scelta esplicita; da qui i rallentamenti occasionali". Una scelta a 255 opzioni non è un singolo confronto in avanti; il fornitore assegna un punteggio e poi sceglie. Se vedi che una richiesta contro un insieme di etichette di grandi dimensioni richiede un tempo notevolmente maggiore rispetto a una noul, quello è il meccanismo documentato, non la congestione.
Come lo chiami oggi

Su OrcaRouter il modello è typesafe/jev-1.13, denominato "TypeSafe: Jev 1.13" nel catalogo, con un context_length di 65.536 token e un solo tipo di endpoint supportato: systemone. Lo si chiama con POST /v1/systemone sulla propria chiave OrcaRouter, inviando un campo model, un campo state (stringa, oggetto o array) e una mappa questions in cui ogni voce contiene un type (noul, choice o score), le sue instructions e i suoi criteria. Le risposte sono un singolo payload JSON strutturato e non sono in streaming — non esiste alcuna modalità streaming da attivare.
La formulazione della card stessa per il contratto è «testo in ingresso, JSON strutturato in uscita», e i limiti pubblicati sono quelli su cui progettare: non in streaming, fino a circa 64K token di input combinando insieme stato e domande, con le richieste che superano tale limite rifiutate prima di raggiungere il modello. La voce di catalogo indica il prezzo di listino come $0,042 per milione di token di input e mostra il tasso di completamento pari a zero. Sono i numeri del fornitore riportati invariati — la forma proporzionale del nostro modo di determinare i prezzi: 0% di ricarico sulle tariffe di listino del provider.
Circolano due budget di token per questo modello e non sono in conflitto, quindi tienili separati. Il valore 65.536 è il context_length della scheda ed è documentato come circa 64K di input tra stato e domande combinati. I "circa 32.000 token" citati dai precedenti articoli di OrcaRouter sono il budget dello stato da solo — lo spazio che il tuo materiale riceve prima che le domande prendano la loro parte. Se stai pianificando il budget di una richiesta, il budget dello stato è il numero che vincola il payload che costruisci; il valore combinato è il tetto massimo dell'intera chiamata.
Ciò che Jev non può fare, detto chiaramente
Non sa scrivere prosa, riassumere, tradurre o conversare. Questa è una scelta progettuale, non un limite di cui scusarsi: il post di lancio dice che Jev «rinuncia alla generazione di stringhe», e la pagina di TypeSafe sulla jaggedness elenca "Generation" come modalità di errore denominata, con accanto l'istruzione "Usa un modello generativo". La generazione forzata è lenta e scadente. Se la tua pipeline necessita di un riassunto scritto, Jev è il componente sbagliato e nessuna abilità nel confezionare prompt può cambiarlo.
Non è un sostituto di un modello generativo. Il flusso di lavoro a cui appartiene Jev contiene due modelli: uno generativo che legge, scrive e ragiona in testo, e Jev che gli sta accanto effettuando le chiamate tipizzate in millisecondi. Questa è l'inquadratura onesta di ogni confronto di costi sulla homepage del fornitore: la colonna "LLM" non è un concorrente che viene soppiantato, è l'altra metà dello stesso sistema, e il motivo per cui l'abbinamento è interessante è che la metà decisionale ora si trova sulla stessa chiave della metà generativa invece che dietro un proprio contratto.
E "calibrato" non significa corretto. Significa che il numero associato a una risposta è pensato per essere leggibile come una probabilità. Uno 0.62 su un noul è il modello che ti dice che non è sicuro, un'informazione utile che un semplice sì/no avrebbe distrutto — e non è una promessa che il sì sia giusto. Una logica di escalation basata sulla confidenza è il pattern previsto; trattare la risposta come verità assoluta non lo è.
Leggere i numeri onestamente

Ogni cifra di serving sulla nostra scheda deriva dal nostro traffico attraverso il playground di OrcaRouter su una finestra mobile di sette giorni, non dal benchmark del fornitore, e la finestra si è spostata mentre questo pezzo veniva scritto: trattala come una lettura, non come una specifica. Per i sette giorni che terminano il 2026-09-30: tempo mediano al primo token 151 ms, p95 247 ms, throughput di output intorno ai 349 token al secondo, tasso di errore 0,49% e 76,2 milioni di token serviti. Il p50 giornaliero lungo la finestra è di 175, 170, 163, 161, 170, 147 e 143 ms: una linea in lento miglioramento. Il p95 di 2.448 ms del 09-28 è un autentico outlier di un singolo giorno che si colloca in quella serie, e citarlo come la norma sarebbe sbagliato nello stesso modo in cui eliminarlo del tutto sarebbe disonesto.
Un'ulteriore avvertenza sulla cifra di traffico: 349 token di output al secondo sembrano il throughput di un modello generativo, finché non si ricorda che Jev non produce alcun testo generato. Il misuratore misura qualunque cosa il nostro playground conteggi sul lato risposta per un payload strutturato, ed è utile per individuare un degrado tra un giorno e l'altro piuttosto che per confrontare Jev con un modello di chat.
Quelli sono i nostri numeri. I numeri del fornitore sono il 193,6x, il 444,6x, l'esempio svolto da 0,000081 $ e il confronto di 238x rispetto a Claude Fable 5.1 — tutti di TypeSafe, nessuno replicato in modo indipendente, tutti limitati dalle loro stesse note a piè di pagina specificamente ai flussi di lavoro delle attività di System One. L'unica affermazione sulle prestazioni che TypeSafe fa che non è affatto un benchmark, e che vale più dei moltiplicatori, è di tipo strutturale: poiché le risposte sono tipizzate, l'integrazione non ha alcuna fase di parsing né fase di validazione dello schema, e questo è un costo che non compare in nessuna tabella di latenza.
Che cosa è aperto e che cosa no
Verificato in data 2026-09-30, l'organizzazione TypeSafe su GitHub ha pubblicato undici repository. Nessuno contiene Jev. Quelli che contano per uno sviluppatore che integra il modello sono tutti MIT o Apache-2.0: skills (MIT), system-one-adapter-python (MIT, descritto come un "sostituto drop-in di TypeSafeClient basato su API LLM"), typesafe-sdk-js (MIT), typesafe-sdk-python (MIT), daggerverse (Apache-2.0), WorkflowEvals (Apache-2.0, con codice di workflow pubblicato su evals.typesafe.ai), n8n-nodes-typesafe-ai (MIT), typesafe-ai.github.io e pulumi-clickhouse. I conteggi delle stelle e le date di push cambiano, quindi se lo stai leggendo più tardi, ricontrolla invece di fidarti dell'elenco.
Tre degli undici sono fork di progetti non correlati e non provano nulla su come funziona Jev: una fork di vLLM il cui ultimo push risale a maggio 2025, una fork di LLaDA di giugno 2025 — LLaDA è un rilascio di un modello linguistico a diffusione non correlato — e un provider Pulumi per ClickHouse Cloud. Viene la tentazione di dedurre l'architettura da un elenco di fork. Non farlo: nulla del design di Jev discende da quei tre, e in particolare Jev non è un modello a diffusione, per quanto la presenza di una fork di LLaDA possa suggerirlo.
La risposta onesta in una riga alla domanda «Jev è open source?» è che il tooling è aperto e il modello no. È un assetto normale per un modello di frontiera ospitato, ed è l'assetto che dovresti dare per scontato quando pianifichi in funzione di Jev: un'API con un prezzo pubblicato, un contratto documentato e un numero di parametri non pubblicato.
Dove il fornitore dice che Jev non è affidabile
TypeSafe pubblica la propria pagina sulla jaggedness per jev-1.13, ultima revisione 2026-09-17, in cui indica dove il modello fallisce. È insolitamente schietta ed è il punto giusto da cui iniziare una sezione sui limiti, perché è la lista del fornitore stesso e non quella di un concorrente:
• Lettura letterale — prende le parole alla lettera. Parole limitative, negazioni e condizioni implicite non vengono inferite; «risponde alla domanda che hai scritto, non a quella che intendevi». La soluzione del fornitore è scrivere la condizione esatta e i criteri per ogni opzione.
• Matematica e numeri — non è una calcolatrice e non conta in modo affidabile. Mantieni l'aritmetica nel codice.
• Confronto di date e orari — le date vengono lette come testo, non come quantità ordinate, quindi ordinamento, intervalli e finestre non sono affidabili, peggio con formati misti.
• Indirezione — le doppie negazioni e il ragionamento a più passaggi riducono l'accuratezza. Riduci i passaggi e punta allo stato pertinente.
• Grande stato pieno di dettagli irrilevanti — il contenuto funge da distrattore e l'accuratezza diminuisce man mano che lo stato cresce. Filtra prima.
• Contenuto avversariale — lo stato non viene trattato come ostile, quindi istruzioni iniettate o un inquadramento fuorviante possono alterare le risposte.
• Istruzioni e criteri contraddittori — quando i due chiedono cose diverse, il modello "potrebbe confondersi".
• Invarianti strutturali di senso comune — P(noul) e 1 − P(not noul) non sono garantiti essere coerenti. Chiedi a ciascuna decisione in un modo e fai rispettare le identità nel codice.
• Generazione — già trattata, e il consiglio dello stesso fornitore è di usare un modello generativo.
Due di questi meritano di essere sottolineati. Quello avversariale conta perché l'intera proposta di valore di Jev è giudicare materiale non attendibile, e uno stato che contiene istruzioni può spostare una risposta; se il tuo stato arriva dagli utenti, quella è una superficie di prompt-injection con la stessa forma di qualsiasi altra. Quello delle invarianti strutturali conta perché un modello "calibrato" ti invita a fare aritmetica sulle sue probabilità, e il fornitore ti sta dicendo di non dare per scontato che l'aritmetica si chiuda.
A cosa si impegna il post di lancio, e a cosa no

Quasi ogni affermazione del fornitore citata in questo pezzo risale a una sola pagina: l'annuncio di TypeSafe, archiviato sotto la sezione Notizie aziendali e datato 2026-09-15, firmato dal fondatore Diogo Almeida. Leggerlo direttamente vale i due minuti, perché la formulazione di una riga stabilisce i termini di tutto ciò che è seguito. «Il nostro primo modello pubblico è Jev, disponibile oggi in accesso anticipato». Accesso anticipato è la descrizione che il fornitore stesso dà della disponibilità sulla propria piattaforma, ed è un'affermazione più limitata di quanto sembri: impegna TypeSafe a erogare il modello agli utenti approvati e non dice nulla su chi altro lo erogherà. È precisamente la lacuna che l'aggiunta al catalogo del 2026-09-24 ha colmato, e il motivo per cui la scheda del modello conta più del post per chiunque valuti Jev oggi.
La stessa pagina è altrettanto chiara sui propri limiti, motivo per cui sopra è citata anziché parafrasata. Non pubblica alcun conteggio dei parametri, nessuna descrizione dell'architettura al di là di «una nuova architettura di modello», nessun dato sul calcolo di addestramento e nessun repository di pesi, e non fornisce alcuna data o condizione per la disponibilità generale. Tali assenze costituiscono i vincoli di pianificazione: da un lato un'API con un prezzo pubblicato, dall'altro uno stack di cui non è possibile ispezionare le parti interne. Il post inquadra inoltre il modello in modo abbastanza onesto da essere utile come specifica — «una chiamata a funzione di intelligenza di frontiera: stato non strutturato in ingresso, decisioni probabilistiche tipizzate in uscita» — che è l'unica frase in esso che descrive l'interfaccia anziché l'ambizione.
Domande che questa interfaccia solleva
Cosa succede quando un insieme di scelte è più grande di 255 opzioni? Viene limitato — 255 opzioni è il tetto massimo per una domanda a scelta, e l'approccio in due fasi del fornitore, prima il punteggio poi la scelta, è ciò che viene fatto man mano che la cardinalità cresce, il che è anche la fonte documentata di occasionali rallentamenti su grandi insiemi di etichette. Se la tua tassonomia è più grande di così, la risposta progettuale è scomporla in diverse domande e ricombinarle nel codice, che è lo stesso consiglio che TypeSafe dà per i giudizi composti.
Il contesto di 65.536 token significa 65.536 token di stato? No. Il budget dichiarato è di circa 64K token tra lo stato e tutte le domande messi insieme, e la cifra "circa 32.000 token" che compare nelle trattazioni più vecchie è solo il budget dello stato. Dimensiona il tuo payload in base alla cifra dello stato, non a quella combinata, e ricorda che le richieste oltre il limite vengono rifiutate prima di raggiungere il modello.
Cosa fare con questo
Jev 1.13 merita uno sguardo per una ragione specifica e non per una ragione generale. Se avete una fase nella vostra pipeline che attualmente è un modello di chat a cui viene chiesto di restituire un'etichetta e di cui ci si fida che la restituisca nel formato corretto — un router, un grader, un controllo di policy, un punteggio di rubrica applicato a migliaia di record — quella fase è ciò che questo modello sostituisce, a 0,042 $ per milione di token in input senza nulla conteggiato sul lato output. Se avete una fase che richiede una risposta scritta, Jev non è lo strumento e il suo stesso fornitore lo dice.
La cosa che è cambiata nell'ultima settimana non è il modello. È che provarlo ha smesso di richiedere un secondo rapporto con un fornitore. Otto giorni fa una valutazione di Jev significava un account separato e un'integrazione separata; oggi è un solo ID modello su una chiave che già raggiunge oltre 200 modelli, con il prezzo di listino del fornitore passato invariato e le risposte testuali che tornano dallo stesso posto di tutto il resto. Per un modello così insolito, la possibilità di testarlo rispetto alle proprie etichette senza impegnarsi in un nuovo contratto è gran parte della decisione.
