Beam 1.0 vs Clef Flash: uno scrive codice, l'altro non sa scrivere una frase

Metti Beam 1.0 e Clef Flash fianco a fianco e il confronto sembra assurdo finché non ti accorgi di cosa si tratta davvero. Beam 1.0 è il modello mixture-of-experts da 501,3 miliardi di parametri di Reflection, rilasciato con pesi Apache 2.0 il 16 ottobre 2026 e progettato per coding, ragionamento e attività agentiche a lungo orizzonte; legge testo e scrive testo. Clef Flash di Cloudflare è un modello da 9 miliardi di parametri che non ha alcun percorso di output testuale — non uno degradato, nessuno. Accetta uno stato più uno schema di domande tipizzate e restituisce una probabilità per ogni risposta consentita. Qualsiasi pagina che li metta in classifica l'uno contro l'altro in base ai punteggi dei benchmark ha frainteso entrambi. La domanda utile è quale posto in una pipeline occupi ciascuno, perché in un sistema ben costruito non sono rivali; sono fasi adiacenti.

Vale la pena comprendere con precisione questa adiacenza, perché spiega una classe di guasti in produzione che nessun benchmark su singolo modello porta alla luce: il parser che hai aggiunto alla bell'e meglio a un modello di chat perché era l'unica cosa che avevi, e la cinquantunesima risposta su cento che non rientrava nel tuo schema.

Che cosa restituisce effettivamente ciascun modello

Inizia dalla forma dell'output, perché tutto il resto ne consegue.

• Beam 1.0 — testo libero, con ragionamento obbligatorio. I livelli di impegno supportati sono low, medium, high, xhigh e max, e max è il valore predefinito, quindi la configurazione pronta all'uso è quella che ragiona più a lungo. Il ragionamento, la chiamata di strumenti e gli output strutturati sono tutti supportati, e gli output strutturati più uno schema JSON sono quanto di più vicino Beam arrivi a un ritorno vincolato.

• Clef Flash — una distribuzione su un insieme di risposte dichiarato. La documentazione di Cloudflare descrive un forward pass che assegna un punteggio a ogni opzione consentita; non c'è alcuna fase di generazione e quindi nessuna fase di parsing. La stessa presentazione del fornitore lo definisce un modello decisionale, e il secondo prodotto del rilascio era una piattaforma di fine-tuning con apprendimento per rinforzo per costruirne altri.

La differenza pratica sta in ciò che accade quando l'input è fuori ambito. A un modello testuale a cui viene chiesto qualcosa al di fuori della sua competenza verrà naturale produrre una prosa sicura di sé, e il tuo sistema deve accorgersene. Clef Flash produrrà probabilità che sommano a uno tra le scelte che gli hai fornito, il che significa che un input fuori ambito si presenta come una distribuzione piatta anziché come una frase plausibile — a condizione che tu abbia costruito una soglia per questo, cosa che il fornitore non fornisce. La tabella pubblicata da Cloudflare stessa mostra quel caso come la cella più debole del modello.

Le valutazioni non si sovrappongono, e questo è il risultato.

I punteggi di Clef Flash provengono dal Jev Decision Index e da una serie di suite specifiche per le decisioni, tutte eseguite da Cloudflare, e diverse sono eseguite sul benchmark di un concorrente — Jev è pubblicato da TypeSafe, il fornitore del modello con cui Clef Flash viene confrontato. Su quelle suite i numeri sono solidi: BFCL case-exact 98.8, API-Bank 93.1, una simulazione di elettrodomestici domestici al 97.7, ContractNLI macro-F1 84.3, RouterBench 79.9. Clef Flash supera di poco il più grande Clef 27B su BFCL, su API-Bank e sulla suite degli elettrodomestici, quest'ultima di quattordici punti. Nulla di tutto ciò è stato riprodotto in modo indipendente.

Il regime di valutazione di Beam è di natura diversa. La model card di Reflection riporta benchmark agentici e di ingegneria del software — SWEBench Verified 81.6, Terminal Bench v2.1 80.1, DeepSWE v1.1 43.3, GPQA Diamond 90.6 sul checkpoint BF16 — tutti dichiarati dal fornitore. L'unico numero esterno è quello di Artificial Analysis, che elenca Beam 1.0 con un Intelligence Index di 30, diciannovesimo su 120 modelli nella versione v4.3.2 dell'indice, e non registra né prezzo né velocità perché continua a vedere "No publicly available API" per il modello. Non c'è nulla nella colonna di Clef Flash che corrisponda a un Intelligence Index, e nulla nella colonna di Beam che corrisponda a un punteggio case-exact del router. Non sono sullo stesso asse.

Quello che si può confrontare è la struttura dei costi, e qui i due si collocano agli estremi opposti. Cloudflare ospita Clef Flash su Workers AI a $0,038 per milione di token di input, con i token di output fatturati a zero, perché non ce ne sono — circa un sesto dei $0,24 che lo stesso listino addebita per il Clef 27B più grande, e poco meno dei $0,042 che addebitiamo per un modello decisionale che risponde allo stesso tipo di richiesta. Beam 1.0 non ha alcun prezzo pubblicato per milione di token — la documentazione di Reflection contiene un'intera pagina sui limiti di frequenza e nessun listino prezzi. Il self-hosting è l'unico percorso a pagamento, e parte da quattro GPU NVIDIA B300.

Dove ciascuno trova il suo posto in un sistema reale

La risposta onesta è che Clef Flash sostituisce un passaggio che probabilmente stai svolgendo male, mentre Beam 1.0 sostituisce un passaggio che probabilmente stai svolgendo in modo dispendioso.

L'obiettivo di Clef Flash è la classificazione, il routing, il gating e il triage all'interno del ciclo di un agente — ovunque l'output corretto sia una delle etichette di un insieme noto e il costo di una risposta malformata sia un'eccezione a valle. Il suo profilo di latenza pubblicato, all'incirca 38,8 ms di mediana e 122,4 ms al p95, è la parte che conta in quel contesto, perché è misurato in un regime in cui il time-to-first-token di un modello testuale non lo è.

L'obiettivo di Beam 1.0 è il lavoro stesso: risolvere issue di GitHub, operare in una CLI, eseguire workflow di strumenti a più passaggi. La tesi che porta Reflection è l'efficienza dei token anziché la capacità di punta — la model card dichiara una qualità della soluzione comparabile a quella dei principali modelli aperti con circa un terzo dei token di ragionamento in fase di inferenza, e il supporto più forte a questo è Artificial Analysis che registra 79M token di output per Beam nell'Intelligence Index contro una mediana di 130M, decimo su quarantasei in quella misura. In una lunga esecuzione di un agente in cui ogni turno ripropone la conversazione precedente, è la voce che si accumula.

Nessuno dei due è nel nostro catalogo, e non abbiamo intenzione di insinuare il contrario. Clef Flash gira sulle GPU edge di Cloudflare e i pesi Apache-2.0 sono tuoi da self-hostare; i pesi di Beam 1.0 sono su Hugging Face sotto Apache 2.0 con un'API first-party che non ha un prezzo pubblicato.

Il motivo per mantenerli entrambi raggiungibili

Una pipeline che usa un modello decisionale al gate e un modello di ragionamento dietro di esso è un'architettura strettamente migliore di una che usa un unico modello di chat per entrambi, e il costo di costruirla in quel modo è il costo operativo di una seconda dipendenza — un secondo contratto, un secondo set di chiavi, una seconda modalità di guasto. È questa la parte che un router elimina, non la parte del modello.

Se i passaggi del gate nel tuo sistema sono quelli descritti da Clef Flash, l'equivalente già instradato più vicino è Jev 1.13 di TypeSafe — il modello che Cloudflare ha scelto come controparte di benchmark, compatibile a livello API con la struttura della richiesta di Clef Flash, e nel nostro catalogo a $0,042 per milione di token di input con output fatturato a zero e un contesto di 65.536 token.

Per la fase di ragionamento dietro il gate, il nostro catalogo include i modelli su cui Beam è dimensionato: GLM-5.2 a $1,40 e $4,40 per milione di token con una finestra di 1.000.000 di token, Kimi K3 a $3,00 e $15,00 con 1.048.576, e Qwen3.8-Max a $2,00 e $6,00. Una sola chiave compatibile con OpenAI li copre tutti, il prezzo di listino del provider viene applicato senza alcun ricarico, e il failover automatico fa sì che la fase del gate non vada a buio perché un provider ha avuto un minuto storto.

Puoi anche mantenere i due stadi su modelli diversi senza impegnarti in nessuno dei due: una regola di routing che invia il traffico di classificazione dello schema all'endpoint decisionale e il lavoro in testo libero a un modello di ragionamento è il caso ordinario del DSL di routing, e significa che l'accuratezza dello stadio decisionale e il costo dello stadio di ragionamento possono essere ottimizzati in modo indipendente invece di dover fare compromessi all'interno del numero di parametri di un singolo modello.

Per quale stai effettivamente facendo acquisti?

Se sei arrivato qui perché il tuo agente ogni tanto emette un blob JSON che il tuo parser rifiuta, non vuoi un modello da 501 miliardi di parametri. Vuoi il modello decisionale, e la domanda da porsi è se il tuo insieme di risposte è davvero enumerabile e qual è la tua politica di astensione — perché Clef Flash ti fornisce probabilità, non un rifiuto.

Se sei arrivato qui perché la fattura del tuo agente di codifica è dominata da token di ragionamento che non puoi vedere, non vuoi un classificatore da 9 miliardi di parametri. Vuoi Beam 1.0, o uno dei modelli con cui viene misurato, e la domanda da porsi è se puoi ospitarlo o se stai aspettando un listino prezzi che non è stato pubblicato.

L'unica cosa che un'impostazione di confronto diretto coglie correttamente è che entrambe sono scommesse sulla stessa tesi da estremità opposte: che la parte costosa di un agente non è la risposta, ma tutto ciò che le sta intorno. La risposta di Cloudflare è togliere la generazione dai passaggi che non ne hanno mai avuto bisogno. La risposta di Reflection è rendere la generazione più economica per token di pensiero. Distribuite insieme costano meno di quanto costerebbe ciascuna distribuita da sola, il che è un risultato migliore di quanto ti dirà la tabella di benchmark di uno qualunque dei due fornitori.

Niente di tutto ciò è ipotetico: i fallimenti documentati dell'IA e gli incidenti degli agenti alla base di rilasci come questo sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.