Una scheda del titolo generata che riporta 'Clef', con il sottotitolo "il modello decisionale 27B di Cloudflare", che mostra una scheda documento che confluisce in un pannello di tre righe di domande impilate, ciascuna con una barra di probabilità etichettata, un'icona a percorso decisionale ramificato sopra il pannello e un badge a lucchetto open-weights nell'angolo. Il logo OrcaRouter è composto nell'angolo in basso a destra.
Engineering & Research

Clef: Che cos'è davvero il 27B Decision Model di Cloudflare

Autore

Elias Hawthorne

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Clef è un modello decisionale multimodale con 27 miliardi di parametri pubblicato da Cloudflare. Gli fornisci uno stato — una stringa, un oggetto JSON, un'immagine, una clip video — più uno schema di massimo 64 domande tipizzate, e restituisce una probabilità per ogni opzione consentita di ogni domanda in un'unica passata in avanti. Non c'è alcuna generazione di testo nella pipeline né alcun parsing dell'output: il modello emette un logit per ogni opzione consentita, applichi il softmax per domanda e hai finito. I pesi sono Apache-2.0 e si trovano nel Cloudflare/clef repository su Hugging Face; Cloudflare serve inoltre il modello dalla propria piattaforma Workers AI.

Due date contano per l'orientamento, e nessuna delle due è il motivo per cui esiste questa pagina. I pesi sono stati pubblicati il 30 settembre 2026 e il post di annuncio di Cloudflare è datato 1 ottobre 2026, il che rende Clef vecchio di dodici giorni il giorno in cui è stato scritto questo — abbastanza vecchio da non essere una notizia, e questa pagina non lo tratta come tale. Esiste perché "clef" è una query che le persone digitano davvero, e finora nulla su questo blog vi ha risposto. Il lancio è il modo in cui il modello viene datato; il materiale di riferimento qui sotto è il punto.

La questione delle dimensioni, risolta dall'editore

Due conteggi di parametri circolano affiancati e solo uno di essi appartiene a questo modello.

• Clef è un modello da 27B.La pagina del modello di Cloudflare lo descrive come "un modello decisionale multimodale da 27B", e la model card su Hugging Face dice lo stesso nella sua riga iniziale: "Clef è un modello multimodale da 27B che trasforma uno stato e uno schema di domande tipizzate in decisioni."

• 9B è un modello diverso, non una seconda dimensione di questo. Il checkpoint 9B è Clef Flash, un fratello separato con il proprio repository e la propria pagina del modello. Chiunque abbia cercato un Clef 9B stava cercando Clef Flash. Non sono intercambiabili e i numeri non si scambiano.

• C'è anche un terzo membro. Clef Omni, annunciato il 9 ottobre 2026, è un modello mixture-of-experts da 30B con 3B parametri attivi, costruito su un backbone diverso. Legge anche l'audio. Se hai visto "30B" associato a Clef, quello è Clef Omni, non Clef.

Quindi la dimensione del modello in questa pagina è 27B, punto e basta, e il repository lo distribuisce in safetensors BF16. L'insieme di file pubblicato ammonta a circa 55 GB distribuiti su venticinque file, che è il numero che conta se intendi ospitarlo autonomamente invece di chiamarlo.

Come Clef è correlato a Clef Flash

Cloudflare ha rilasciato Clef come famiglia, e la struttura della famiglia è la parte utile, non un dettaglio accessorio. Clef e Clef Flash condividono una ricetta: congelare un backbone Qwen3.8-27B per il modello più grande e un backbone Qwen3.5-9B per quello più piccolo, mantenere il vision encoder e addestrare sopra una piccola testa di schema congiunta più adattatori a basso rango. Stesso contratto di output, capacità diversa e un profilo di latenza molto diverso.

Quel contratto condiviso è il motivo per cui vale la pena comprendere entrambi i modelli insieme: uno schema scritto per uno è uno schema per l'altro, e scambiare quale dei due risponde è un identificatore di modello anziché una riscrittura. Il compromesso è velocità contro capacità, e il post di Cloudflare del 9 ottobre ha reso il compromesso più netto riducendo il prezzo di hosting di Clef Flash a $0,038 per milione di token di input, lasciando Clef a $0,24 per milione di token di input. Nota cos'altro ha fatto quel post: ha ridotto la finestra di contesto ospitata di Clef Flash a 24.000 token, in calo rispetto ai 64.000 che erano stati precedentemente pubblicizzati per quel modello, mentre Clef stesso è rimasto a 64.000.

Architettura: un backbone congelato più una testa di scoring

Clef non è un modello linguistico travestito da classificatore. Vale la pena enunciare con precisione il design, perché spiega quasi ogni altra proprietà del modello.

• Backbone — Qwen3.8-27B, incluso il suo encoder visivo, trasferito e congelato, memorizzato come comuni safetensors partizionati.

• Testa dello schema congiunto — una piccola testa transformer che legge gli stati nascosti finali del backbone, instrada l'evidenza dallo stato a ciascuna domanda e valuta tutte le opzioni di tutte le domande congiuntamente anziché una domanda alla volta.

• Addestramento — adattatori a basso rango di rango 256, entropia incrociata con levigatura delle etichette più una perdita di Brier per la calibrazione, e il ciclo "Reinforcement Learning for Calibrated Decisions" di Cloudflare.

• Output — un logit per opzione consentita, per domanda. La softmax per domanda fornisce le probabilità. Non esce nient'altro.

Il punteggio congiunto è la parte che distingue Clef da una pila di classificatori indipendenti. Poiché tutte le domande vengono valutate rispetto allo stesso stato nascosto in un'unica passata, le domande possono informarsi a vicenda, e il tutto è non autoregressivo — non c'è alcun ciclo di decodifica, ed è da lì che derivano i numeri di latenza. Cloudflare descrive l'inferenza come una passata di solo prefill.

Contesto, limiti e cosa è incluso

Sul contesto e sulla modalità il materiale del fornitore è specifico, e laddove tace quel silenzio va annotato anziché mascherato.

• Finestra di contesto — 65.536 token sull'endpoint Workers AI ospitato da Cloudflare, come indicato nella pagina del modello. È il dato che il post di lancio di Cloudflare contrappone alla finestra di 32.000 token che attribuisce a Jev di TypeSafe.

• Contesto self-hosted — Il post di Cloudflare del 9 ottobre afferma che i pesi di Hugging Face sono stati addestrati per supportare una finestra di 256.000 token se li esegui tu stesso. L'encoder incluso in quel repository usa come impostazione predefinita max_length=16,384, che è un valore predefinito e non un limite massimo, ma è ciò che ottieni se usi il loader così come viene fornito.

• Output massimo — non pubblicato. Non c'è alcun budget di token da pubblicare: il modello restituisce un vettore di probabilità fisso per ogni domanda, quindi il limite naturale è lo schema (da 1 a 64 domande, ciascuna con da 2 a 26 opzioni) piuttosto che una lunghezza in token.

• Modalità di input — testo, JSON, immagini e video. La pagina di Workers AI indica la visione come supportata e accetta immagini PNG, JPEG o WebP, fino a quattro per richiesta. Clef Omni, separatamente, aggiunge l'audio; Clef stesso no.

• Modalità di output — probabilità. Clef non può redigere una risposta, riassumere un thread o produrre una frase, e non inventerà una categoria che non hai dichiarato.

• Licenza — Apache-2.0, in linea con il checkpoint base Qwen3.8-27B. La pagina del modello di Cloudflare rimanda al file di licenza anziché nominarla nel testo della pagina; il file di licenza stesso è Apache-2.0.

Un dettaglio implementativo è documentato come una trappola e vale la pena ripeterlo: il campoconfidence riporta quanto sono concentrate le probabilità, non la probabilità che la risposta sia corretta. Un modello ben calibrato può restituire una risposta corretta a bassa confidenza e una errata ad alta confidenza.

A single-column scoreboard titled 'Clef — the scoreboard', with six rows: Parameters: 27B; Backbone: Qwen3.8-27B; Hosted context: 65,536 tokens; Output: probabilities only; Licence: Apache-2.0; Decision Index: vendor-run only. A footer reads 'All figures vendor-reported; no independent reproduction exists.' The OrcaRouter logo is composited in the bottom-right corner.A headless capture of Cloudflare's Workers AI model page for @cf/cloudflare/clef, describing it as a 27B multimodal decision model and listing Pricing (Input) $0.24 per M input tokens, Context Window 65,536 tokens, Terms and License Apache 2.0, and supported input Language and Vision.

Ciò che Cloudflare sostiene, e ciò che è stato effettivamente misurato

Questa è la sezione da leggere con attenzione, perché lo spazio tra le due metà del titolo è ampio.

Ogni valore di prestazione associato a Clef proviene da Cloudflare. La scheda del modello pubblica una tabella con più di quaranta righe, tratta da quella che descrive come "la nostra esecuzione interna della suite Decision Index 0.2.1", e quella classifica è ospitata da Cloudflare. Le valutazioni dei flussi di lavoro che stanno sotto sono tratte dal set di valutazione pubblico di TypeSafe, ma l'esecuzione è comunque di Cloudflare. A oggi non trovo alcuna riproduzione indipendente o di terze parti di nessuna delle due tabelle: nessun laboratorio esterno, nessuna classifica neutrale, nessuna replica pubblicata. Tratta i numeri come il miglior caso del fornitore, non come misurazioni.

Il pattern all'interno di quei numeri è più informativo di qualsiasi singola cella. I risultati più forti di Clef riguardano attività con forma di classificazione: sull'esecuzione di Cloudflare riporta 94,2 macro-F1 su BANKING77 intent rispetto a 79,7 per Jev, e 97,4 macro-F1 su CLINC150 con gestione out-of-scope rispetto a 89,3. Il dato out-of-scope è quello operativamente interessante, perché astenersi dal classificare è la metà difficile dell'instradamento. Riporta inoltre 98,5 case-exact su BFCL e 86,7 su CRUXEval.

Le perdite puntano nella stessa direzione, coerentemente. Nella stessa tabella Clef riporta GPQA Diamond a 48,0 contro il 78,3 di Jev, MMLU-Pro a 65,9 contro 82,7, e BBH a 73,7 contro 92,9. Questi sono i tre divari più ampi nella tabella e descrivono tutti la stessa debolezza: il ragionamento al di fuori delle forme su cui il modello è stato addestrato. Nelle quattro valutazioni del flusso di lavoro end-to-end i due modelli sono abbastanza vicini che l'ordinamento non è un risultato.

La latenza è l'unico ambito in cui il vantaggio è strutturale anziché marginale, e quindi quello con maggiori probabilità di sopravvivere al contatto con la produzione. Cloudflare riporta una mediana di 209,3 ms e un p95 di 238,6 ms per Clef, contro 524,1 ms e 536,0 ms per Jev. Questo ordinamento deriva dal design non autoregressivo più che dalle peculiarità di un benchmark — ma i millisecondi assoluti sono stati misurati sull'hardware di Cloudflare e da soli significano poco.

Vale la pena notare per chiunque abbia già letto una tabella di benchmark di Clef su questo blog: i numeri di serving sono cambiati il 9 ottobre. Cloudflare ha spostato Clef su SGLang per il serving e ha contribuito al lavoro upstream, riportando speedup mediani di 1,7× a circa 800 token di input e 2,0× a circa 3.400 token. Questi sono cambiamenti a livello di serving, non nuovi pesi, e il modello stesso è invariato. Se state citando una cifra di latenza precedente al 9 ottobre, è obsoleta.

A headless capture of Cloudflare's own blog page about the Clef decision models, showing the family described as Clef 27B, Clef Flash 9B and Clef Omni 30B mixture-of-experts with 3B active parameters, the note that the API is compatible with Jev, and Decision Index tables including BANKING77 94.2 against 79.7, CLINC150+OOS 97.4 against 89.3, GPQA Diamond 48.0 against 78.3, MMLU-Pro 65.9 against 82.7, BBH 73.7 against 92.9, and a latency table listing 209.3 ms for Clef.

Chiamare Clef e impostare correttamente il rapporto con Cloudflare

Ci sono due modi per eseguirlo, e nessuno dei due è misterioso.

Il primo è l'endpoint di Cloudflare stesso. Clef viene servito da Workers AI, la piattaforma di inferenza di Cloudflare stessa, a 0,24 $ per milione di token di input, senza alcun costo per i token di output — il che deriva dal fatto che non ci sono token di output. Gli input multimediali vengono convertiti in token e fatturati alla stessa tariffa di input. Questo è l'editore che ospita il proprio modello, e questa è tutta la relazione: le ricerche che abbinano il nome di questo modello a Cloudflare non puntano a un host di terze parti che si è trovato ad aggiungerlo. Cloudflare l'ha creato.

Il secondo è il tuo hardware. I pesi sono su Hugging Face sotto Apache-2.0, quindi il self-hosting è consentito senza una conversazione commerciale. I test interni di Cloudflare hanno usato torch 2.11 e transformers 5.10.2 su un singolo H200, con pillow necessario per l'input di immagini e video. Se hai letto che Clef gira anche su SGLang, ciò è accurato a partire dal cambiamento di serving del 9 ottobre; il lavoro upstream è previsto per il rilascio in SGLang 0.5.22.

La forma dell'API è deliberatamente non innovativa. I corpi di richiesta e risposta di Clef sono compatibili con il formato SystemOne di TypeSafe, quindi una pipeline già collegata a un modello decisionale di quella forma può puntare a Clef cambiando un URL e una stringa di modello. È un vero argomento legato al costo di commutazione, e taglia in entrambe le direzioni, che è il modo onesto di leggerlo: poiché l'interfaccia è la stessa, adottare Clef costa poco, e abbandonarla costa altrettanto poco. La posizione sensata per un team che ha già un endpoint decisionale in produzione è eseguire entrambi sul proprio traffico anziché migrare. Se si passa attraverso OrcaRouter, Jev 1.13 di TypeSafe è un modello presente nel nostro catalogo, quindi un A/B tra l'incumbent e qualunque cosa ospitiate voi stessi sta dietro una sola chiave anziché due contratti — oltre 200 modelli, prezzo di listino del provider passato senza alcun ricarico per token, e failover gestito per voi.

Una cosa che questa pagina non ti dirà è se Clef è disponibile tramite noi. Cloudflare lo pubblica su Workers AI e su Hugging Face, e non ho verificato un percorso attraverso il nostro elenco di modelli, quindi non c'è nulla da affermare.

Che cosa è ancora irrisolto?

La cosa più utile che potrebbe succedere a Clef è una replica esterna del Decision Index. La suite è pubblica e Cloudflare descrive le valutazioni come riproducibili, quindi un'esecuzione di terze parti è la differenza tra la tabella di un fornitore e un fatto. Finché non esisterà, il riassunto onesto del profilo pubblicato di Clef è che si tratta di un classificatore vincolato molto forte, con una progettazione rapida e non autoregressiva, e di un ragionatore generale sostanzialmente più debole rispetto al modello con cui è stato messo a confronto.

Tre cose specifiche cambierebbero quella lettura. Una riproduzione neutrale dei numeri out-of-scope di BANKING77 e CLINC150, perché un divario di trenta punti rispetto all'incumbent o spiega tutto, oppure è un artefatto. Un dato p95 in condizioni di concorrenza reale, perché una mediana di 209 ms misurata su una singola H200 non dice nulla su un hot path sotto carico. E un Clef fine-tuned che batte il modello base su un compito per il quale il modello base non è mai stato addestrato, cosa che la piattaforma di fine-tuning RL di Cloudflare è progettata per produrre ma che non ha ancora dimostrato con un risultato di un cliente.

Fino ad allora, ciò su cui un lettore può fare affidamento è la forma della cosa: 27B parametri, un backbone Qwen3.8-27B congelato con il suo encoder visivo, una testa di schema congiunta, 65.536 token di contesto ospitato, testo e JSON e immagini e video in ingresso, probabilità in uscita, Apache-2.0. Questo basta per decidere se l'architettura è adatta al tuo problema. La domanda a cui non può ancora rispondere è se il tabellone del fornitore stesso sia corretto riguardo al modello, e nessuno al di fuori di Cloudflare ha verificato.