Clef-Flash vs Qwen3-8B: 38 millisecondi contro l'8B che tutti eseguono già

C'è un compito specifico e poco affascinante che molti team affidano a Qwen3-8B: leggi questo ticket, questa riga di log, questo modulo e dimmi in quale dei miei quattro bucket rientra. È un compito di classificazione travestito da conversazione, e Qwen3-8B è abbastanza bravo da far sì che nessuno si sia preso la briga di sostituirlo. Il 30 settembre 2026, Cloudflare ha pubblicato i pesi per Cloudflare/clef-flash, un modello da 9B costruito per fare quel singolo compito e nulla più, e la domanda interessante non è se sia più intelligente di Qwen3-8B. È se ciò che attualmente ottieni da un generalista da 8B valga la pena di essere pagato in token generati.

Clef-Flash risponde a quella domanda con la struttura anziché con un benchmark. Prende uno stato e uno schema di fino a 64 domande tipizzate e restituisce un logit per ogni opzione consentita in una singola passata non autoregressiva: nessun testo intermedio, nessun parsing, nessun output tranne le probabilità. Cloudflare ha misurato per esso una latenza mediana delle richieste di 38,8 ms, contro circa 500 ms per Jev, il modello decisionale di TypeSafe con cui è stato messo a confronto. Qwen3-8B non è in quella tabella, perché Qwen3-8B non gioca a quel gioco: scrive una risposta, e tu la leggi.

Ciò che rende questo abbinamento meritevole di un confronto completo, anziché di una pagina di righe di specifiche, è che i due modelli non condividono alcun benchmark. Ogni numero di Clef-Flash in circolazione è stato prodotto da Cloudflare, su un indice pubblicato da un concorrente, e nessuno al di fuori di Cloudflare ne ha riprodotto alcuno. Qwen3-8B ha alle spalle tre generazioni di utilizzo indipendente e un registro pubblico con cui si può discutere. È quell'asimmetria, non il divario di latenza, a dover decidere se fare o meno lo scambio.

Due contratti di output, non due taglie

I conteggi dei parametri qui sono abbastanza vicini da distrarre — 9B per Clef-Flash contro 8,2B per Qwen3-8B, 6,95B dei quali non-embedding. La differenza che conta è ciò che a ciascun modello è consentito emettere.

Qwen3-8B è un modello linguistico causale. Dagli un ticket di supporto e produce token, e per impostazione predefinita genera prima un blocco di ragionamento, perché la modalità pensiero è attiva a meno che tu non la disattivi. Può classificare, spiegare, escalare, redigere una risposta o dirti che alla tua tassonomia manca un caso — il tutto dagli stessi pesi, senza alcuno schema richiesto. La sua scheda pubblicizza 36 livelli, grouped-query attention con 32 teste di query e 8 teste KV, oltre 100 lingue e una lunghezza di contesto di 32.768 token nativamente, estendibile a 131.072 tramite YaRN. È il modello a cui la maggior parte dei team ricorre perché è il modello che può fare qualsiasi cosa.

Clef-Flash è un modello post-training, non un interlocutore. Cloudflare ha congelato il backbone Qwen3.5-9B — incluso il suo encoder visivo — e ha addestrato sopra di esso una testa di schema congiunta: 243,5 MB di pesi della testa rispetto a quattro file shardati del backbone che ammontano a circa 18,8 GB. La testa legge gli stati nascosti finali del backbone, instrada le evidenze dallo stato a ciascuna domanda e assegna un punteggio a tutte le opzioni di tutte le domande insieme. I vincoli sono il punto di forza. Cloudflare lo vincola a restituire solo probabilità, ed è per questo che il modello base compare nella sua genealogia ma mai nel suo output.

Nota di chi è la discendenza. Clef-Flash discende da Qwen3.5-9B, la generazione successiva alla linea Qwen3 a cui appartiene Qwen3-8B. Quindi non è la storia del fine-tuning sulla propria base che di solito accompagna un derivato da 9B — è un ramo diverso dello stesso albero genealogico, riaddestrato per un contratto diverso.

Lo stesso lavoro, eseguito in due modi

Entrambi i modelli sanno instradare un ticket di supporto. Falliscono in modi diversi, e sono le modalità di errore a costituire il costo di una migrazione.

Con Qwen3-8B, il lavoro sta nel prompt e nel parser. Descrivi le tue categorie, ne chiedi indietro una, e poi gestisci il caso in cui il modello restituisce «questo sembra fatturazione, anche se potrebbe essere tecnico» — una risposta reale a un'ambiguità reale che il tuo codice a valle non è in grado di consumare. Le indicazioni della scheda stessa sono esplicite: la modalità thinking dovrebbe essere disattivata per le attività di efficienza e il greedy decoding peggiora l'output, e che quando la modalità thinking è attiva non si dovrebbe portare avanti il blocco di ragionamento nella cronologia multi-turn. Ognuna di queste istruzioni è una decisione che un modello general-purpose ti impone.

Con Clef-Flash, il lavoro si sposta sullo schema. Dichiari tra due e 26 opzioni per domanda per una domanda a scelta, oppure tra due e 26 livelli per una domanda a punteggio, e ricevi indietro l'opzione scelta, una probabilità per ogni opzione e un valore di confidenza. Tre dettagli in quel contratto valgono più del numero di latenza che fa da titolo. Primo, la confidenza non è la correttezza — la documentazione di Cloudflare dice chiaramente che misura quanto sono concentrate le probabilità, non la probabilità che la risposta sia giusta. Secondo, i pareggi si risolvono nell'ordine delle opzioni che hai dichiarato, quindi se due opzioni si sovrappongono davvero, hai deciso in silenzio ordinando l'elenco. Terzo, ed è questo che morde più forte, non esiste alcuna opzione "nessuna delle precedenti" a meno che tu non ne abbia scritta una. Un modello decisionale assegna un punteggio alle opzioni che gli sono state date; un ticket relativo a una richiesta sulla privacy, a cui viene fornito uno schema di fatturazione, tecnico e vendite, tornerà come il meno peggio di quei tre anziché come un rifiuto.

Quest’ultimo punto è a doppio taglio, ed è il nucleo onesto di questo confronto. Qwen3-8B ti dirà che la tua tassonomia è rotta. Clef-Flash non lo farà, e in una pipeline questa è una vera regressione — il tipo che scopri un mese dopo in una coda instradata male. Il compromesso è latenza reale e determinismo reale contro un modello che può far emergere la domanda che non hai pensato di fare.

Cosa dicono e non dicono i numeri

I risultati pubblicati di Clef-Flash provengono dall'esecuzione di Cloudflare della suite Jev Decision Index 0.2.1, e la stessa esecuzione è alla base del post sul blog del fornitore. Vale la pena indicare con precisione le celle forti: BFCL case-exact 98.8, accuratezza API-Bank 93.1, il simulatore di elettrodomestici a 97.7, macro-F1 di ContractNLI 84.3, qualità selezionata di RouterBench 79.9. Sui quattro flussi di lavoro aziendali end-to-end nella suite di valutazione proprietaria di TypeSafe, Clef-Flash ottiene 77.0 nel servizio clienti contro 76.0 di Jev e 76.3 del più grande 27B Clef, e perde nell'elaborazione delle fatture con 57.1 contro 61.8 di Jev e 64.7 di Clef.

Le celle deboli sono informative quanto quelle forti. CLINC150 con gestione fuori ambito colloca Clef-Flash a 66,8 di macro-F1, contro 97,4 per il Clef da 27B e 89,3 per Jev: un precipizio di trenta punti esattamente sulla forma di benchmark che verifica se un modello sa quando astenersi. When2Call, 65,6 contro 81,0 di Jev. GPQA Diamond, 51,0 contro 78,3. POP909-CL si attesta a 1,6, un numero che la scheda non spiega.

Ora la parte che le tabelle non ti diranno: Qwen3-8B non ha una riga in nessuna di esse.Nessuno dei due modelli è stato valutato sui benchmark dell'altro. Il valore MMLU di 91,8 e quello GSM8K di 67,3 di Clef-Flash sono stati prodotti tramite il suo harness a decisione tipizzata, che non è l'harness sul quale Qwen ha riportato i suoi numeri, e confrontare i due sarebbe un errore di categoria travestito da confronto. Quindi la posizione onesta è che non esiste alcun tabellone dei punteggi condiviso e questo articolo non ne inventerà uno. Ciò che esiste è un divario di latenza che il fornitore ha misurato sulla propria infrastruttura, una struttura di costi strutturalmente diversa, e un insieme di celle del Decision Index che nessuno al di fuori di Cloudflare ha riprodotto.

Quanto costa una sola decisione

La documentazione di Workers AI di Cloudflare indica Clef-Flash a 0,09 $ per milione di token di input e non addebita nulla per l'output, perché di fatto non c'è output — l'esempio pratico riportato nella documentazione restituisce tre token di output per una richiesta composta da tre domande. Una decisione di routing su un ticket di 1.500 token costa quindi circa 0,000135 $ in input e nulla di misurabile dopo. Se ne esegui un milione al giorno, arrivi a circa 135 $ al giorno, e la cifra non cambia quando il ticket diventa più complicato, ma solo quando diventa più lungo.

Un modello autoregressivo non ha un tetto equivalente. Ognuna di quelle milioni di decisioni fattura anche i token generati, e se la modalità di pensiero è attiva — cosa che per Qwen3-8B lo è per impostazione predefinita — il modello può spendere centinaia di token per ragionare su in quale di quattro categorie rientra un'email di reimpostazione della password prima di rispondere. Disattivare il pensiero con enable_thinking=False o un /no_think tag è la riga con il maggiore impatto in qualsiasi prompt di classificazione costruito su quel modello, ed è facile ometterla. Il confronto non è "modello economico contro modello costoso"; è un prezzo fisso solo per l'input contro un prezzo che scala con quanto il modello decide di dire.

Contesto, tre numeri da tre superfici fornitore

Il contesto utilizzabile di Clef-Flash dipende da quale superficie Cloudflare si consulta. La pagina del modello Workers AI documenta una finestra di contesto di 65.536 token. Il config.json rilasciato dichiara max_position_embeddings di 262.144 per la torre di testo. L'helper di codifica della scheda stessa ha come impostazione predefinita max_length=16,384, con max_state_tokens disponibile per limitare lo stato separatamente. Un listato di runtime di terze parti che pubblicizza 256K sta leggendo il valore di configurazione, non il limite di serving — il che riconcilia quella discrepanza invece di lasciarla un mistero, ma il numero pratico per chiunque chiami l'endpoint ospitato è 65.536.

I numeri di Qwen3-8B sono i suoi e sono stabili da un anno e mezzo: 32.768 nativi, 131.072 con YaRN abilitato, e un valore predefinito di configurazione di 40.960 che riserva 32.768 per l'output e 8.192 per i prompt. Quindi, se la finestra grezza è il tuo fattore decisivo, il piccolo modello autoregressivo può essere esteso a circa il doppio di ciò che documenta il modello decisionale ospitato — mentre il modello decisionale ne ha bisogno di molto meno, perché stai inviando stato, non una conversazione.

Chi dovrebbe scambiare, e chi no

• Swap — hai una tassonomia fissa, da tre a 26 destinazioni, e una coda di supporto, uno step di triage o un gate dell'agente in cui 38,8 ms di mediana e 122,4 ms di p95 rispetto a mezzo secondo di generazione cambiano ciò che la tua pipeline può fare.

• Swap — al momento estrai prosa da un 8B e gestisci la risposta una su cinquanta che non rientrava nel tuo formato. Una distribuzione sulle opzioni dichiarate elimina del tutto quella classe di errori.

• Non scambiare — l'insieme delle risposte non è noto in anticipo, oppure hai bisogno che il modello ti dica che non lo sa. Clef-Flash non ha alcun percorso di astensione, a meno che tu non ne integri uno nei criteri, e la sua cella pubblicata più debole è proprio il caso fuori ambito.

• Non sostituire — il carico di lavoro è ragionamento, estrazione da documenti non vincolati, sintesi o codice. Clef-Flash non è in grado di scrivere una frase, quindi qualsiasi elemento a valle che ne preveda una mantiene Qwen3-8B.

• Non fare ancora lo scambio — devi far verificare i numeri da qualcuno che non sia il fornitore. Non esiste alcuna valutazione indipendente di Clef-Flash, e la suite che ha prodotto i suoi punteggi è pubblicata dal fornitore del modello che batte.

Dove eseguire ciascuno di essi

Entrambi sono Apache-2.0, quindi entrambi sono tuoi da ospitare autonomamente, e gli ingombri non sono nemmeno vicini. Qwen3-8B in bf16 è di circa 16 GB e le build quantizzate sono molto più piccole — una build Q4 è di 5,2 GB sulla libreria Ollama, dove qwen3:8b riporta 38,7 milioni di download e una finestra di contesto di 40K. Clef-Flash richiede l'intero backbone da 18,8 GB più il suo head da 243,5 MB, e la sua pagina della libreria Ollama è stata pubblicata a pochi giorni dal rilascio, con un tag quantizzato da 11 GB e un numero di condivisioni ancora di poche centinaia; la tabella di Ollama legge i 256K della configurazione anziché i 65.536 dell'endpoint. Quel rapporto di download non è un verdetto su nessuno dei due modelli — una pagina è online da diciotto mesi e l'altra da circa un giorno — ma è un quadro equo di quanta storia operativa ci sia dietro ciascuno.

Se vuoi la versione hosted, Cloudflare esegue Clef-Flash su Workers AI al costo di $0,09 per milione indicato sopra, con i pesi scaricabili anche dall'Hub. Entrambi i modelli si affidano a/v1/systemonecome endpoint di Ollama per Clef-Flash (Ollama 0.35.1 o successiva) e al percorso generate standard per Qwen3 — quindi una sostituzione è un cambiamento lato client, non architetturale.

Nessuno dei due modelli è attualmente una delle nostre route: il catalogo pubblico di OrcaRouter restituisce un 404 sia per clef-flash sia per Qwen3-8B, e nulla di quanto segue va letto come una nostra dichiarazione di disponibilità. Ciò che un layer di routing cambia davvero è la metà della pipeline dedicata alla generazione. Se un modello decisionale finisce per fare da gate al tuo agente, il modello che agisce sulla decisione deve comunque restare raggiungibile, ed è qui che una sola API per oltre 200 modelli dietro un'unica API key si guadagna il suo posto — il prezzo di listino del provider passato senza alcun ricarico, allo 0% di markup, così un taglio di prezzo del fornitore arriva qui lo stesso giorno, e il failover automatico, così un pomeriggio storto di un singolo provider non manda giù un percorso che hai appena ricostruito. Anche la linea Qwen si è evoluta: Qwen3.8-27B è instradabile qui a $0,40 in input e $4,21 in output per milione di token con una finestra di 262.144 token, che è un modello diverso da Qwen3-8B e non un suo sostituto, ma è la stessa famiglia una generazione più avanti.

Cosa cambierebbe questa lettura

Tre cose, in ordine.

Un'esecuzione indipendente delle celle fuori ambito. Il divario tra il 97,7 di Clef-Flash sulla simulazione di elettrodomestici e il suo 66,8 su CLINC150+OOS non descrive un classificatore uniformemente capace; descrive un modello forte nelle forme su cui è stato addestrato e debole quando la risposta corretta è «nessuna di queste». Se questo regge sotto l'harness di qualcun altro, è il fatto operativo più importante sul modello e non compare nella lista dei punti salienti di nessuno.

Una cifra di latenza misurata dall'esterno dell'edge di Cloudflare. La mediana di 38,8 ms è impressionante ed è stata misurata dal fornitore, su infrastruttura controllata dal fornitore, per un modello ospitato all'edge. L'ordinamento rispetto a Jev è probabilmente robusto; il numero assoluto è quello di cui diffidare.

E un benchmark condiviso. Finché qualcuno non valuta Clef-Flash e un piccolo LLM aperto sullo stesso compito di classificazione con le stesse etichette, la scelta tra i due si basa sul contratto di output, sulla struttura dei prezzi e su quali prove sei disposto a prendere in considerazione. Questi tre elementi bastano per decidere molte pipeline oggi — ma non sono un confronto di accuratezza, e questo articolo non fingerà che lo siano.