Clef-Flash vs Qwen3-8B: 38 millisekunder mot 8B-modellen som alla redan kör

Det finns ett specifikt, oglamoröst jobb som många team överlåter till Qwen3-8B: läs den här ärendebeskrivningen, den här loggraden, det här formuläret och säg mig vilken av mina fyra korgar den hör hemma i. Det är en klassificeringsuppgift utklädd till ett samtal, och Qwen3-8B är tillräckligt bra på det för att ingen har brytt sig om att ersätta den. Den 30 september 2026 publicerade Cloudflare vikterna för Cloudflare/clef-flash, en 9B-modell byggd för att göra just det jobbet och inget annat, och den intressanta frågan är inte om den är smartare än Qwen3-8B. Det handlar om huruvida det du för närvarande får från en 8B-generalist överhuvudtaget är värt att betala för i genererade tokens.

Clef-Flash svarar på den frågan med struktur i stället för ett benchmark. Den tar ett tillstånd och ett schema med upp till 64 typade frågor och returnerar en logit för varje tillåtet alternativ i en enda icke-autoregressiv genomkörning – ingen mellanliggande text, ingen parsning, ingen utdata förutom sannolikheter. Cloudflare uppmätte en medianfördröjning per begäran på 38,8 ms för den, jämfört med ungefär 500 ms för Jev, beslutsmodellen från TypeSafe som den jämfördes mot. Qwen3-8B finns inte med i den tabellen, eftersom Qwen3-8B inte spelar det spelet: den skriver ett svar, och du läser det.

Det som gör att den här kombinationen är värd en fullständig jämförelse, snarare än en sida med specifikationsrader, är att de två modellerna inte har en enda gemensam benchmark. Varje Clef-Flash-siffra som cirkulerar har tagits fram av Cloudflare, på ett index som publicerats av en konkurrent, och ingen utanför Cloudflare har reproducerat någon av dem. Qwen3-8B har tre generationer av oberoende användning bakom sig och ett offentligt underlag som går att diskutera. Det är den asymmetrin, inte latensgapet, som bör avgöra om du gör bytet.

Två utdatakontrakt, inte två storlekar

Parameterantalen här ligger tillräckligt nära för att vara en distraktion — 9B för Clef-Flash mot 8,2B för Qwen3-8B, varav 6,95B är icke-embedding. Skillnaden som spelar roll är vad varje modell tillåts ge ifrån sig.

Qwen3-8B är en kausal språkmodell. Ge den ett supportärende och den producerar tokens, och som standard producerar den först ett resonemangsblock, eftersom tankeläget är på om du inte stänger av det. Den kan klassificera, förklara, eskalera, utforma ett svar eller säga att din taxonomi saknar ett fall – allt från samma vikter, utan att något schema krävs. Dess modellkort uppger 36 lager, grupperad query-attention med 32 query-huvuden till 8 KV-huvuden, 100+ språk och en kontextlängd på 32 768 tokens inbyggt, utökningsbar till 131 072 via YaRN. Det är modellen som de flesta team vänder sig till, eftersom det är modellen som kan göra allt.

Clef-Flash är en eftertränad modell, inte en samtalspartner. Cloudflare frös Qwen3.5-9B-ryggraden – inklusive dess visionskodare – och tränade ett gemensamt schemahuvud ovanpå: 243,5 MB huvudvikter mot fyra shardade ryggradsfiler som uppgår till cirka 18,8 GB. Huvudet läser ryggradens slutliga dolda tillstånd, dirigerar evidens från tillståndet till varje fråga och poängsätter alla alternativ för alla frågor tillsammans. Begränsningarna är funktionen. Cloudflare begränsar den till att endast producera sannolikheter, vilket är anledningen till att basmodellen förekommer i dess härstamning men aldrig i dess utdata.

Notera vems härstamning det är. Clef-Flash härstammar från Qwen3.5-9B, generationen efter den Qwen3-linje som Qwen3-8B tillhör. Så detta är inte historien om finjustering av sin egen bas som en 9B-derivat vanligtvis får — det är en annan gren av samma släktträd, omskolad för ett annat kontrakt.

Samma jobb, kört på två sätt

Båda modellerna kan dirigera ett supportärende. De misslyckas på olika sätt, och det är fellägena som gör en migrering kostsam.

Med Qwen3-8B ligger arbetet i prompten och parsern. Du beskriver dina kategorier, ber om en av dem tillbaka och hanterar sedan fallet där modellen returnerar "det här ser ut som fakturering, även om det skulle kunna vara tekniskt" – ett verkligt svar på en verklig tvetydighet som din nedströmskod inte kan konsumera. Modellkortets egen vägledning är tydlig med att tankeläget bör inaktiveras för effektivitetsarbete och att girig avkodning försämrar utdata, och att när tänkandet är på bör du inte föra resonemangsblocket vidare i fleromgångshistoriken. Var och en av dessa instruktioner är ett beslut som en allmän modell tvingar på dig.

Med Clef-Flash flyttas arbetet till schemat. Du deklarerar mellan två och 26 alternativ per fråga för en valsfråga, eller mellan två och 26 nivåer för en poängfråga, och du får tillbaka det valda alternativet, en sannolikhet för varje alternativ och ett konfidensvärde. Tre detaljer i det kontraktet är värda mer än den framhävda latenssiffran. För det första: konfidens är inte korrekthet – Cloudflares dokumentation säger klart att det mäter hur koncentrerade sannolikheterna är, inte chansen att svaret är rätt. För det andra: oavgjorda fall avgörs i din deklarerade alternativordning, så om två alternativ verkligen överlappar har du tyst fattat beslutet genom att ordna listan. För det tredje, och det är den som biter hårdast, finns det inget "ingen av ovanstående" om du inte skrev in ett sådant. En beslutsmodell poängsätter de alternativ den fick; ett ärende om en integritetsbegäran, försett med ett schema för fakturering, teknik och försäljning, kommer tillbaka som det minst dåliga av dessa tre i stället för som en vägran.

Den sista punkten går åt båda hållen, och det är den ärliga kärnan i den här jämförelsen. Qwen3-8B kommer att säga att din taxonomi är trasig. Clef-Flash kommer inte att göra det, och i en pipeline är det en äkta regression – den sortens som du upptäcker en månad senare i en felroutad kö. Avvägningen är verklig latens och verklig determinism mot en modell som kan lyfta fram frågan du inte tänkte på att ställa.

Vad siffrorna säger och inte säger

De publicerade resultaten från Clef-Flash kommer från Cloudflares körning av testsviten Jev Decision Index 0.2.1, och samma körning ligger till grund för leverantörens blogginlägg. De starka cellerna förtjänar att anges exakt: BFCL fall-exakt 98,8, API-Bank-noggrannhet 93,1, simulatorn för hushållsapparater på 97,7, ContractNLI macro-F1 84,3, RouterBench vald kvalitet 79,9. På de fyra end-to-end-affärsarbetsflödena i TypeSafes egen utvärderingssvit vinner Clef-Flash kundservice med 77,0 mot Jevs 76,0 och den större 27B Clefs 76,3, och förlorar fakturahantering med 57,1 mot 61,8 för Jev och 64,7 för Clef.

De svaga cellerna är lika informativa som de starka. CLINC150 med hantering av out-of-scope ger Clef-Flash 66,8 i macro-F1, mot 97,4 för 27B Clef och 89,3 för Jev – ett trettiopunktsstup på exakt den benchmarkform som testar huruvida en modell vet när den bör avstå. When2Call, 65,6 mot Jevs 81,0. GPQA Diamond, 51,0 mot 78,3. POP909-CL landar på 1,6, en siffra som kortet inte förklarar.

Nu till den del som tabellerna inte kommer att berätta för dig: Qwen3-8B har ingen rad i någon av dem.Ingen av modellerna har poängsatts på den andras benchmarks. Clef-Flashs egen MMLU-siffra på 91,8 och GSM8K på 67,3 togs fram genom dess ramverk för typade beslut, vilket inte är det ramverk som Qwen rapporterade sina siffror genom, och att jämföra de två vore ett kategorifel förklätt till en jämförelse. Så den ärliga hållningen är att det inte finns någon gemensam resultattavla och att den här artikeln inte kommer att uppfinna någon. Det som finns är ett latensgap som leverantören mätte på sin egen infrastruktur, en kostnadsstruktur som är strukturellt annorlunda, och en samling Decision Index-celler som ingen utanför Cloudflare har reproducerat.

Vad ett enda beslut kostar

Cloudflares Workers AI-dokumentation listar Clef-Flash till 0,09 USD per miljon indatatokens och debiterar ingenting för utdata, eftersom det i praktiken inte finns någon utdata — det genomarbetade exemplet i dokumentationen returnerar tre utdatatokens för en begäran med tre frågor. Ett routningsbeslut för ett ärende med 1 500 tokens kostar därför cirka 0,000135 USD i indata och ingenting mätbart därefter. Kör man en miljon sådana om dagen hamnar man på ungefär 135 USD om dagen, och siffran ändras inte när ärendet blir mer komplicerat, bara när det blir längre.

En autoregressiv modell har inget motsvarande tak. Vart och ett av de där miljoner besluten debiterar också genererade tokens, och om tankeläget är på — vilket det är för Qwen3-8B som standard — kan modellen lägga hundratals tokens på att resonera kring vilken av fyra kategorier ett e-postmeddelande om lösenordsåterställning hör till innan den svarar. Att stänga av tankeläget med enable_thinking=False eller en /no_think-tagg är den enskilt mest avgörande raden i varje klassificeringsprompt byggd på den modellen, och den är lätt att utelämna. Jämförelsen är inte "billig modell mot dyr modell"; det är ett fast pris enbart för indata mot ett pris som skalar med hur mycket modellen väljer att säga.

Kontext, tre nummer från tre leverantörsytor

Clef-Flashs användbara kontext beror på vilken Cloudflare-yta du läser. Modellsidan för Workers AI dokumenterar ett kontextfönster på 65 536 token. Den släppta config.json anger max_position_embeddings på 262 144 för texttornet. Modellkortets egen kodningshjälpfunktion använder som standard max_length=16,384, med max_state_tokens tillgängligt för att begränsa tillståndet separat. En runtime-listning från tredje part som annonserar 256K läser konfigurationsvärdet, inte serveringsgränsen – vilket förklarar avvikelsen i stället för att lämna den som ett mysterium, men det praktiska antalet för den som anropar den hostade slutpunkten är 65 536.

Qwen3-8B:s siffror är dess egna och har varit stabila i ett och ett halvt år: 32 768 inbyggda, 131 072 med YaRN aktiverat, och en standardkonfiguration på 40 960 som reserverar 32 768 för utdata och 8 192 för prompter. Så om rå fönsterstorlek är din avgörande faktor kan den lilla autoregressiva modellen utökas till ungefär det dubbla av vad den hostade beslutsmodellen dokumenterar — medan beslutsmodellen behöver långt mindre av det, eftersom du skickar tillstånd, inte en konversation.

Vilka bör byta, och vilka bör inte

• Swap — du har en fast taxonomi, tre till 26 destinationer och en supportkö, ett triagesteg eller en agentgrind där 38,8 ms median och 122,4 ms p95 mot en halv sekunds generering förändrar vad din pipeline kan göra.

• Byt — du parsar för närvarande prosa ur en 8B och hanterar det ena av femtio svar som inte passade ditt format. En fördelning över deklarerade alternativ tar bort den felklassen helt.

• Byt inte — svarsuppsättningen är inte känd i förväg, eller så behöver du att modellen säger att den inte vet. Clef-Flash har ingen avståendeväg om du inte bygger in en i kriterierna, och dess svagaste publicerade cell är just fallet utanför tillämpningsområdet.

• Byt inte — arbetsbelastningen är resonemang, extrahering från ostrukturerade dokument, sammanfattning eller kod. Clef-Flash kan inte skriva en mening, så allt nedströms som förväntar sig en behåller Qwen3-8B.

• Byt inte än — du behöver få siffrorna granskade av någon annan än leverantören. Det finns ingen oberoende utvärdering av Clef-Flash, och sviten som tog fram dess poäng publiceras av leverantören av den modell som den överträffar.

Var man ska köra var och en av dem

Båda är Apache-2.0, så båda är dina att självhosta, och fotavtrycken är inte i närheten av varandra. Qwen3-8B i bf16 är cirka 16 GB och kvantiserade byggen är betydligt mindre — ett Q4-bygge är 5,2 GB i Ollama-biblioteket, där qwen3:8b listar 38,7 miljoner nedladdningar och ett kontextfönster på 40K. Clef-Flash behöver hela backbonen på 18,8 GB plus dess head på 243,5 MB, och dess Ollama-bibliotekssida lades upp inom några dagar efter lanseringen, med en kvantiserad tagg på 11 GB och ett antal delningar som fortfarande ligger i låga hundratal; Ollamas tabell läser konfigurationens 256K snarare än endpointens 65 536. Den nedladdningskvoten är inte en dom över någon av modellerna — en sida har varit uppe i arton månader och den andra i ungefär en dag — men den ger en rättvis bild av hur mycket driftshistorik som ligger bakom var och en.

Om du vill ha den hostade versionen kör Cloudflare Clef-Flash på Workers AI till priset 0,09 dollar per miljon som nämns ovan, och vikterna kan även laddas ner från Hub. Båda modellerna talar med Ollamas /v1/systemone endpoint för Clef-Flash (Ollama 0.35.1 eller senare) och den vanliga generate-sökvägen för Qwen3 – så ett byte är en klientändring, inte en arkitektonisk sådan.

Ingen av modellerna är för närvarande en av våra rutter: OrcaRouters offentliga katalog returnerar 404 för både clef-flash och Qwen3-8B, och inget här bör läsas som ett tillgänglighetsanspråk från oss. Det som ett routningslager förändrar är generationshalvan av pipelinen. Om en beslutsmodell till slut får styra din agent måste modellen som agerar på beslutet fortfarande vara nåbar, och det är där ett API för 200+ modeller bakom en enda API-nyckel förtjänar sin plats – leverantörens listpris förs vidare med 0 % påslag, så en leverantörsprissänkning landar här samma dag, och automatisk failover så att en enskild leverantörs dåliga eftermiddag inte slår ut en väg du just har byggt om. Qwen-serien har också gått vidare: Qwen3.8-27B kan routas här till $0.40 in och $4.21 ut per miljon tokens med ett fönster på 262 144 token, vilket är en annan modell än Qwen3-8B och inte en ersättning för den, men det är samma familj en generation upp.

Vad skulle ändra den här avläsningen?

Tre saker, i ordning.

En oberoende körning av out-of-scope-cellerna. Gapet mellan Clef-Flashs 97,7 på apparatsimulering och dess 66,8 på CLINC150+OOS beskriver inte en jämnt kompetent klassificerare; det beskriver en modell som är stark inom de former den tränades på och svag när det korrekta svaret är "inget av dessa". Om det håller under någon annans testrigg är det det viktigaste operativa faktumet om modellen, och det finns inte med på någons höjdpunktslista.

Ett uppmätt latensvärde från utanför Cloudflares edge. Medianen på 38,8 ms är imponerande, och den mättes av leverantören, på infrastruktur som leverantören kontrollerar, för en modell som hostas vid edge. Rangordningen mot Jev är förmodligen robust; den absoluta siffran är den man bör misstro.

Och en gemensam benchmark. Tills någon poängsätter Clef-Flash och en liten öppen LLM på samma klassificeringsuppgift med samma etiketter, vilar valet mellan dem på utdatakontrakt, prisstruktur och vems bevis man är beredd att agera utifrån. De tre är tillräckliga för att avgöra många pipelines idag – men de är ingen jämförelse av träffsäkerhet, och den här artikeln kommer inte att låtsas att de är det.