Clef-Flash vs. Qwen3-8B: 38 Millisekunden gegen das 8B, das alle bereits laufen lassen

Es gibt eine bestimmte, wenig glamouröse Aufgabe, die viele Teams an Qwen3-8B übergeben: Lies dieses Ticket, diese Logzeile, dieses Formular und sag mir, in welche meiner vier Kategorien es gehört. Es ist eine Klassifikationsaufgabe, die als Gespräch getarnt ist, und Qwen3-8B ist gut genug darin, dass niemand sich die Mühe gemacht hat, es zu ersetzen. Am 30. September 2026 veröffentlichte Cloudflare die Gewichte für Cloudflare/clef-flash, ein 9B-Modell, das genau diese eine Aufgabe und sonst nichts erledigt, und die interessante Frage ist nicht, ob es schlauer ist als Qwen3-8B. Die Frage ist, ob das, was du derzeit von einem 8B-Generalisten bekommst, überhaupt die Kosten in Form generierter Tokens wert ist.

Clef-Flash beantwortet diese Frage mit Struktur statt mit einem Benchmark. Es nimmt einen Zustand und ein Schema mit bis zu 64 typisierten Fragen entgegen und liefert in einem einzigen nicht-autoregressiven Durchlauf einen Logit für jede erlaubte Option zurück – kein Zwischentext, kein Parsing, keine Ausgabe außer Wahrscheinlichkeiten. Cloudflare hat dafür eine mediane Anfragelatenz von 38,8 ms gemessen, gegenüber rund 500 ms bei Jev, dem Entscheidungsmodell von TypeSafe, gegen das es verglichen wurde. Qwen3-8B steht nicht in dieser Tabelle, denn Qwen3-8B spielt dieses Spiel nicht: Es schreibt eine Antwort, und du liest sie.

Was diese Paarung einen vollständigen Vergleich wert macht – statt einer Seite voller Spec-Zeilen –, ist, dass die beiden Modelle keinen einzigen gemeinsamen Benchmark haben. Jede im Umlauf befindliche Clef-Flash-Kennzahl wurde von Cloudflare erzeugt, anhand eines von einem Wettbewerber veröffentlichten Index, und niemand außerhalb von Cloudflare hat auch nur eine davon reproduziert. Qwen3-8B hat drei Generationen unabhängiger Nutzung hinter sich und eine öffentliche Bilanz, über die man streiten kann. Diese Asymmetrie – nicht der Latenzunterschied – sollte entscheiden, ob Sie den Wechsel vollziehen.

Zwei Output-Verträge, nicht zwei Größen

Die Parameterzahlen hier liegen nah genug beieinander, um nur abzulenken – 9B für Clef-Flash gegenüber 8,2B für Qwen3-8B, davon 6,95B nicht-Embedding. Der entscheidende Unterschied ist, was jedes Modell ausgeben darf.

Qwen3-8B ist ein kausales Sprachmodell. Gib ihm ein Support-Ticket, und es erzeugt Tokens, und standardmäßig erzeugt es zuerst einen Reasoning-Block, weil der Thinking-Modus aktiv ist, sofern du ihn nicht ausschaltest. Es kann klassifizieren, erklären, eskalieren, eine Antwort entwerfen oder dir sagen, dass in deiner Taxonomie ein Fall fehlt – alles aus denselben Gewichten, ohne dass ein Schema erforderlich ist. Seine Modellkarte bewirbt 36 Schichten, Grouped-Query-Attention mit 32 Query-Heads zu 8 KV-Heads, 100+ Sprachen und eine Kontextlänge von 32.768 Tokens nativ, erweiterbar auf 131.072 durch YaRN. Es ist das Modell, zu dem die meisten Teams greifen, weil es das Modell ist, das alles kann.

Clef-Flash ist ein Post-Train, kein Gesprächspartner. Cloudflare fror das Qwen3.5-9B-Backbone ein – einschließlich seines Vision-Encoders – und trainierte darauf einen gemeinsamen Schema-Head: 243,5 MB Head-Gewichte gegenüber vier geshardeten Backbone-Dateien, die zusammen etwa 18,8 GB ergeben. Der Head liest die finalen Hidden States des Backbones, leitet Evidenz aus dem State an jede Frage weiter und bewertet alle Optionen aller Fragen gemeinsam. Einschränkungen sind das Feature. Cloudflare beschränkt es darauf, nur Wahrscheinlichkeiten auszugeben, weshalb das Basismodell in seiner Abstammung, aber nie in seiner Ausgabe erscheint.

Beachte, von welcher Abstammungslinie es stammt. Clef-Flash stammt von Qwen3.5-9B ab, der Generation, die auf die Qwen3-Linie folgt, zu der Qwen3-8B gehört. Das ist also nicht die übliche Geschichte vom Fine-Tuning auf der eigenen Basis, die ein 9B-Abkömmling bekommt — es ist ein anderer Zweig desselben Stammbaums, für einen anderen Vertrag neu trainiert.

Dieselbe Aufgabe, auf zwei Arten ausgeführt

Beide Modelle können ein Support-Ticket weiterleiten. Sie scheitern auf unterschiedliche Weise, und die Fehlerarten sind das, was eine Migration kostet.

Mit Qwen3-8B liegt die Arbeit im Prompt und im Parser. Du beschreibst deine Kategorien, bittest um eine davon zurück und behandelst dann den Fall, dass das Modell „Das sieht nach Abrechnung aus, könnte aber auch technisch sein“ zurückgibt – eine echte Antwort auf eine echte Mehrdeutigkeit, die dein nachgelagerter Code nicht verarbeiten kann. Die Anleitung der Karte selbst sagt ausdrücklich, dass der Denkmodus für Effizienzarbeit deaktiviert werden sollte und dass Greedy-Decoding die Ausgabe verschlechtert, und dass du, wenn das Denken aktiviert ist, den Reasoning-Block im Multi-Turn-Verlauf nicht weiterreichen solltest. Jede einzelne dieser Anweisungen ist eine Entscheidung, die ein Allzweckmodell dir aufzwingt.

Mit Clef-Flash verlagert sich die Arbeit auf das Schema. Sie deklarieren zwischen zwei und 26 Optionen pro Frage für eine choice-Frage oder zwischen zwei und 26 Stufen für eine score-Frage, und Sie erhalten die gewählte Option, eine Wahrscheinlichkeit für jede Option und einen Konfidenzwert zurück. Drei Details in diesem Vertrag sind mehr wert als die viel zitierte Latenzzahl. Erstens ist Konfidenz nicht Korrektheit – die Dokumentation von Cloudflare sagt schlicht, dass sie misst, wie konzentriert die Wahrscheinlichkeiten sind, nicht wie wahrscheinlich es ist, dass die Antwort richtig ist. Zweitens werden Gleichstände in der von Ihnen deklarierten Optionsreihenfolge aufgelöst; wenn sich zwei Optionen tatsächlich überschneiden, haben Sie die Entscheidung stillschweigend durch die Reihenfolge der Liste getroffen. Drittens, und das ist der Punkt, der am härtesten zuschlägt: Es gibt kein „Nichts davon“, es sei denn, Sie haben eines mit angegeben. Ein Entscheidungsmodell bewertet die Optionen, die ihm vorgelegt wurden; ein Ticket zu einer Datenschutzanfrage, dem ein Schema aus Abrechnung, Technik und Vertrieb vorgelegt wird, kommt als das am wenigsten schlechte dieser drei zurück statt als Ablehnung.

Dieser letzte Punkt ist zweischneidig, und er ist der ehrliche Kern dieses Vergleichs. Qwen3-8B wird Ihnen sagen, dass Ihre Taxonomie kaputt ist. Clef-Flash wird das nicht tun, und in einer Pipeline ist das eine echte Regression – die Art, die man einen Monat später in einer fehlgeleiteten Warteschlange entdeckt. Der Kompromiss lautet: echte Latenz und echter Determinismus gegen ein Modell, das die Frage aufwerfen kann, auf die Sie nicht gekommen sind.

Was die Zahlen sagen und was nicht

Die veröffentlichten Ergebnisse von Clef-Flash stammen aus Cloudflares Durchlauf der Suite Jev Decision Index 0.2.1, und derselbe Durchlauf dient als Grundlage für den Blogbeitrag des Anbieters. Die starken Zellen verdienen eine präzise Nennung: BFCL Case-Exact 98,8, API-Bank-Genauigkeit 93,1, der Haushaltsgeräte-Simulator bei 97,7, ContractNLI Macro-F1 84,3, RouterBench ausgewählte Qualität 79,9. Bei den vier durchgängigen Geschäftsworkflows in TypeSafes eigener Eval-Suite erreicht Clef-Flash im Kundenservice 77,0 gegenüber 76,0 von Jev und 76,3 des größeren 27B Clef und verliert bei der Rechnungsverarbeitung mit 57,1 gegenüber 61,8 für Jev und 64,7 für Clef.

Die schwachen Zellen sind genauso informativ wie die starken. CLINC150 mit Out-of-Scope-Behandlung setzt Clef-Flash auf 66,8 Macro-F1, gegenüber 97,4 für den 27B Clef und 89,3 für Jev – ein Dreißig-Punkte-Absturz genau bei der Benchmark-Form, die prüft, ob ein Modell weiß, wann es sich enthalten muss. When2Call, 65,6 gegenüber 81,0 von Jev. GPQA Diamond, 51,0 gegenüber 78,3. POP909-CL landet bei 1,6, eine Zahl, die die Karte nicht erklärt.

Nun der Teil, den die Tabellen Ihnen nicht verraten werden: Qwen3-8B hat in keiner von ihnen eine Zeile. Keines der beiden Modelle wurde anhand der Benchmarks des anderen bewertet. Clef-Flashs eigene MMLU-Zahl von 91,8 und GSM8K von 67,3 wurden mit seinem typisierten Entscheidungs-Harness erzeugt, und das ist nicht der Harness, mit dem Qwen seine Zahlen gemeldet hat; die beiden zu vergleichen wäre ein als Vergleich verkleideter Kategorienfehler. Die ehrliche Haltung ist also, dass es keine gemeinsame Bestenliste gibt, und dieser Artikel wird keine erfinden. Was es gibt, ist eine Latenzlücke, die der Anbieter auf seiner eigenen Infrastruktur gemessen hat, eine strukturell andere Kostenstruktur und eine Reihe von Decision-Index-Zellen, die niemand außerhalb von Cloudflare reproduziert hat.

Was eine einzige Entscheidung kostet

In der Workers-AI-Dokumentation von Cloudflare wird Clef-Flash mit 0,09 $ pro einer Million Input-Tokens angegeben, und für Output wird nichts berechnet, weil es praktisch keinen Output gibt – das durchgerechnete Beispiel in der Dokumentation liefert drei Output-Tokens für eine Anfrage mit drei Fragen. Eine Routing-Entscheidung über ein Ticket mit 1.500 Tokens kostet daher etwa 0,000135 $ an Input und danach nichts Messbares. Lässt man davon eine Million pro Tag laufen, landet man bei ungefähr 135 $ pro Tag, und die Zahl ändert sich nicht, wenn das Ticket komplizierter wird, sondern nur, wenn es länger wird.

Ein autoregressives Modell hat keine entsprechende Obergrenze. Jede dieser eine Million Entscheidungen stellt auch generierte Token in Rechnung, und wenn der Denkmodus aktiv ist – was bei Qwen3-8B standardmäßig der Fall ist –, kann das Modell Hunderte von Token damit verbringen, darüber nachzudenken, in welche von vier Kategorien eine Passwort-Reset-E-Mail gehört, bevor es antwortet. Das Ausschalten des Denkens mit enable_thinking=False oder einem /no_think-Tag ist die wirkungsvollste einzelne Zeile in jedem Klassifizierungs-Prompt, der auf diesem Modell aufbaut, und sie lässt sich leicht vergessen. Der Vergleich lautet nicht „günstiges Modell versus teures Modell“; es ist ein fester reiner Input-Preis gegen einen Preis, der damit skaliert, wie viel das Modell zu sagen beschließt.

Kontext, drei Zahlen von drei Anbieteroberflächen

Der nutzbare Kontext von Clef-Flash hängt davon ab, welche Cloudflare-Oberfläche man heranzieht. Die Workers-AI-Modellseite dokumentiert ein Kontextfenster von 65.536 Token. Die veröffentlichteconfig.json deklariert max_position_embeddings von 262.144 für den Text-Tower. Der eigene Encoding-Helper der Modellkarte verwendet standardmäßig max_length=16,384, wobei max_state_tokens verfügbar ist, um den State separat zu begrenzen. Eine Drittanbieter-Runtime-Auflistung, die mit 256K wirbt, liest den Konfigurationswert, nicht das Serving-Limit — was diese Diskrepanz auflöst, statt sie als Rätsel stehen zu lassen, doch die praktische Zahl für alle, die den gehosteten Endpoint aufrufen, ist 65.536.

Die Werte von Qwen3-8B sind seine eigenen und seit eineinhalb Jahren stabil: 32.768 nativ, 131.072 mit aktiviertem YaRN und ein Konfigurationsstandardwert von 40.960, der 32.768 für die Ausgabe und 8.192 für Prompts reserviert. Wenn also das rohe Kontextfenster dein entscheidender Faktor ist, kann das kleine autoregressive Modell auf etwa das Doppelte dessen erweitert werden, was das gehostete Entscheidungsmodell dokumentiert – während das Entscheidungsmodell weit weniger davon benötigt, weil du Zustand sendest, keine Konversation.

Wer tauschen sollte und wer nicht

• Swap — Sie haben eine feste Taxonomie, drei bis 26 Ziele und eine Support-Warteschlange, einen Triage-Schritt oder ein Agenten-Gate, bei denen 38,8 ms im Median und 122,4 ms p95 gegenüber einer halben Sekunde Generierung verändern, was Ihre Pipeline leisten kann.

• Tauschen — Sie parsen derzeit Fließtext aus einem 8B-Modell heraus und behandeln die eine von fünfzig Antworten, die nicht in Ihr Format passt. Eine Verteilung über deklarierte Optionen beseitigt diese Fehlerklasse vollständig.

• Nicht vertauschen – die Antwortmenge ist nicht im Voraus bekannt, oder Sie brauchen, dass das Modell Ihnen mitteilt, dass es etwas nicht weiß. Clef-Flash hat keinen Enthaltungspfad, es sei denn, Sie bauen einen in die Kriterien ein, und seine schwächste veröffentlichte Zelle ist genau der Out-of-Scope-Fall.

• Nicht austauschen — die Arbeitslast ist Reasoning, Extraktion aus uneingeschränkten Dokumenten, Zusammenfassung oder Code. Clef-Flash kann keinen Satz schreiben, daher behält alles Nachgelagerte, das einen Satz erwartet, Qwen3-8B.

• Noch nicht wechseln – die Zahlen müssen von jemand anderem als dem Anbieter überprüft werden. Es gibt keine unabhängige Bewertung von Clef-Flash, und die Suite, die seine Ergebnisse erzeugt hat, wird vom Anbieter des Modells veröffentlicht, das es übertrifft.

Wo man sie jeweils ausführt

Beide stehen unter Apache-2.0, Sie können also beide selbst hosten, und ihre Footprints sind nicht annähernd vergleichbar. Qwen3-8B in bf16 umfasst etwa 16 GB, und quantisierte Builds fallen deutlich kleiner aus — ein Q4-Build belegt in der Ollama-Bibliothek 5,2 GB, wo qwen3:8b 38,7 Millionen Downloads und ein 40K-Kontextfenster verzeichnet. Clef-Flash braucht das gesamte 18,8 GB große Backbone plus seinen 243,5 MB großen Head, und seine Ollama-Bibliotheksseite ging innerhalb weniger Tage nach dem Release online, mit einem 11 GB großen quantisierten Tag und einer Anzahl an Shares, die noch im niedrigen Hunderterbereich liegt; Ollamas Tabelle gibt die 256K aus der Config an statt der 65.536 des Endpoints. Dieses Download-Verhältnis ist kein Urteil über eines der beiden Modelle — eine Seite ist seit achtzehn Monaten online, die andere seit etwa einem Tag —, aber es vermittelt ein faires Bild davon, wie viel Betriebsgeschichte hinter jedem steckt.

Wenn Sie die gehostete Version möchten, betreibt Cloudflare Clef-Flash auf Workers AI zu dem oben genannten Wert von 0,09 $ pro Million, wobei die Gewichte auch vom Hub heruntergeladen werden können. Beide Modelle sprechen mit Ollamas /v1/systemone-Endpunkt für Clef-Flash (Ollama 0.35.1 oder höher) und dem Standard-generate-Pfad für Qwen3 — ein Austausch ist also eine Client-Änderung, keine architektonische.

Keines der beiden Modelle ist derzeit eine unserer Routen: OrcaRouters öffentlicher Katalog liefert einen 404 für clef-flash und ebenso für Qwen3-8B, und nichts hier sollte als Verfügbarkeitsaussage von uns gelesen werden. Was eine Routing-Schicht ändert, ist die Generierungshälfte der Pipeline. Wenn ein Entscheidungsmodell schließlich als Gate für Ihren Agenten fungiert, muss das Modell, das auf die Entscheidung hin handelt, weiterhin erreichbar sein, und genau hier eine API für 200+ Modelle hinter einem einzigen API-Schlüssel ihren Platz verdient — Anbieter-Listenpreis zu 0 % Aufschlag durchgereicht, sodass eine Preissenkung eines Anbieters hier am selben Tag ankommt, und automatisches Failover, damit ein schlechter Nachmittag eines einzelnen Anbieters nicht einen Pfad lahmlegt, den Sie gerade neu aufgebaut haben. Auch die Qwen-Reihe hat sich weiterentwickelt: Qwen3.8-27B ist hier für $0.40 Input und $4.21 Output pro Million Tokens routbar mit einem Fenster von 262.144 Tokens, was ein anderes Modell als Qwen3-8B und kein Ersatz dafür ist, aber es ist dieselbe Familie eine Generation höher.

Was würde diese Lesart ändern?

Drei Dinge, der Reihe nach.

Ein unabhängiger Lauf der Out-of-Scope-Zellen. Die Kluft zwischen Clef-Flashs 97,7 bei der Gerätesimulation und seinen 66,8 auf CLINC150+OOS beschreibt keinen durchweg leistungsfähigen Klassifikator; sie beschreibt ein Modell, das innerhalb der Formen, auf die es trainiert wurde, stark und schwach ist, wenn die richtige Antwort „keine davon“ lautet. Wenn das unter dem Prüfrahmen von jemand anderem Bestand hat, ist es die wichtigste operative Tatsache über das Modell, und sie steht auf niemandes Highlight-Liste.

Ein gemessener Latenzwert von außerhalb des Cloudflare-Edge. Der Median von 38,8 ms ist beeindruckend, und er wurde vom Anbieter gemessen, auf Infrastruktur, die der Anbieter kontrolliert, für ein am Edge gehostetes Modell. Die Rangfolge gegenüber Jev ist wahrscheinlich robust; die absolute Zahl ist die Zahl, der man misstrauen sollte.

Und ein gemeinsamer Benchmark. Bis jemand Clef-Flash und ein kleines offenes LLM auf derselben Klassifikationsaufgabe mit denselben Labels bewertet, beruht die Wahl zwischen ihnen auf Output-Vertrag, Preisstruktur und darauf, auf wessen Evidenz man zu handeln bereit ist. Diese drei reichen heute aus, um bei vielen Pipelines eine Entscheidung zu treffen – aber sie sind kein Genauigkeitsvergleich, und dieser Artikel wird nicht vorgeben, dass sie es sind.