Clef-Flash kontra Qwen3-8B: 38 milisekund przeciwko 8B, które wszyscy już uruchamiają

Istnieje jedno konkretne, mało efektowne zadanie, które wiele zespołów zleca Qwen3-8B: przeczytaj to zgłoszenie, tę linię logu, ten formularz i powiedz mi, do którego z moich czterech koszyków to należy. To zadanie klasyfikacyjne przebrane za rozmowę, a Qwen3-8B radzi sobie w nim wystarczająco dobrze, że nikomu nie chciało się go zastąpić. 30 września 2026 r. Cloudflare opublikował wagi Cloudflare/clef-flash, modelu o 9 mld parametrów zbudowanego do wykonywania tego jednego zadania i niczego więcej — a ciekawe pytanie nie brzmi, czy jest mądrzejszy od Qwen3-8B. Brzmi ono: czy to, co obecnie otrzymujesz od 8-miliardowego modelu ogólnego przeznaczenia, jest w ogóle warte płacenia w generowanych tokenach.

Clef-Flash odpowiada na to pytanie strukturą, a nie benchmarkiem. Przyjmuje stan i schemat obejmujący do 64 pytań typowanych, po czym zwraca logit dla każdej dozwolonej opcji w pojedynczym przebiegu nieautoregresyjnym — bez tekstu pośredniego, bez parsowania, bez żadnych danych wyjściowych poza prawdopodobieństwami. Cloudflare zmierzył dla niego medianę opóźnienia żądania wynoszącą 38,8 ms, wobec około 500 ms dla Jev, modelu decyzyjnego od TypeSafe, z którym go porównywano. Qwen3-8B nie ma w tej tabeli, ponieważ Qwen3-8B nie gra w tę grę: pisze odpowiedź, a ty ją czytasz.

To, co sprawia, że ta para zasługuje na pełne porównanie, a nie tylko stronę wierszy ze specyfikacją, to fakt, że oba modele nie mają ani jednego wspólnego benchmarku. Każda liczba dotycząca Clef-Flash w obiegu została wygenerowana przez Cloudflare, na indeksie opublikowanym przez konkurenta, i nikt spoza Cloudflare nie odtworzył żadnej z nich. Qwen3-8B ma za sobą trzy generacje niezależnego użycia i publiczny zapis, z którym można polemizować. To właśnie ta asymetria, a nie różnica w opóźnieniach, powinna decydować o tym, czy dokonasz zamiany.

Dwa kontrakty wyjściowe, nie dwa rozmiary

Liczby parametrów są tutaj na tyle zbliżone, że mogą rozpraszać uwagę — 9B dla Clef-Flash w porównaniu z 8,2B dla Qwen3-8B, z czego 6,95B to parametry niebędące embeddingami. Znaczenie ma różnica w tym, co każdemu modelowi wolno emitować.

Qwen3-8B to przyczynowy model językowy. Daj mu zgłoszenie do wsparcia, a wygeneruje tokeny, i domyślnie najpierw tworzy blok rozumowania, ponieważ tryb myślenia jest włączony, chyba że go wyłączysz. Potrafi klasyfikować, wyjaśniać, eskalować, przygotować odpowiedź albo powiedzieć, że w Twojej taksonomii brakuje przypadku — wszystko na podstawie tych samych wag, bez wymaganego schematu. Jego karta reklamuje 36 warstw, grouped-query attention w układzie 32 głów zapytań na 8 głów KV, ponad 100 języków i długość kontekstu wynoszącą natywnie 32 768 tokenów, rozszerzalną do 131 072 dzięki YaRN. To model, po który sięga większość zespołów, ponieważ to model, który potrafi wszystko.

Clef-Flash to model po douczeniu, a nie partner do rozmowy. Cloudflare zamroził szkielet Qwen3.5-9B — w tym jego enkoder wizyjny — i wytrenował na nim wspólną głowicę schematu: 243,5 MB wag głowicy w porównaniu z czterema podzielonymi na shardy plikami szkieletu, które składają się na około 18,8 GB. Głowica odczytuje końcowe stany ukryte szkieletu, kieruje dowody ze stanu do każdego pytania i ocenia wszystkie opcje wszystkich pytań łącznie. Ograniczenia są cechą. Cloudflare ogranicza go do zwracania wyłącznie prawdopodobieństw, dlatego model bazowy pojawia się w jego rodowodzie, ale nigdy w jego wynikach.

Zauważ, czyj to rodowód. Clef-Flash wywodzi się z Qwen3.5-9B, generacji następującej po linii Qwen3, do której należy Qwen3-8B. Nie jest to więc historia o dostrajaniu własnej bazy, jaką zwykle otrzymuje pochodna 9B — to inna gałąź tego samego drzewa genealogicznego, przetrenowana dla innego kontraktu.

To samo zadanie, wykonane na dwa sposoby

Oba modele potrafią skierować zgłoszenie do wsparcia. Zawodzą na różne sposoby, a te tryby awarii to właśnie koszt migracji.

W przypadku Qwen3-8B cała praca leży w prompcie i parserze. Opisujesz swoje kategorie, prosisz o zwrócenie jednej z nich, a potem obsługujesz przypadek, w którym model zwraca „to wygląda na rozliczenia, choć może to być kwestia techniczna” — prawdziwą odpowiedź na prawdziwą niejednoznaczność, której Twój dalszy kod nie jest w stanie przetworzyć. Sama karta modelu wyraźnie wskazuje, że tryb myślenia powinien być wyłączony w pracy nad wydajnością, że zachłanne dekodowanie pogarsza wyniki, a gdy tryb myślenia jest włączony, nie należy przenosić bloku rozumowania dalej w historii wielu tur. Każda z tych instrukcji to decyzja, którą wymusza na Tobie model ogólnego przeznaczenia.

W Clef-Flash praca przenosi się na schemat. Deklarujesz od dwóch do 26 opcji na pytanie dla pytania typu wybór, albo od dwóch do 26 poziomów dla pytania typu ocena, a w zamian otrzymujesz wybraną opcję, prawdopodobieństwo dla każdej opcji oraz wartość pewności. Trzy szczegóły w tym kontrakcie są warte więcej niż nagłówkowa liczba dotycząca opóźnienia. Po pierwsze, pewność to nie poprawność — dokumentacja Cloudflare mówi wprost, że mierzy ona, jak skupione są prawdopodobieństwa, a nie szansę, że odpowiedź jest prawidłowa. Po drugie, remisy rozstrzygają się w kolejności zadeklarowanych opcji, więc jeśli dwie opcje faktycznie na siebie nachodzą, po cichu podjąłeś decyzję, porządkując listę. Po trzecie — i to jest ten, który boli najbardziej — nie ma opcji „żadna z powyższych”, chyba że sam ją wpiszesz. Model decyzyjny ocenia opcje, które mu podano; zgłoszenie dotyczące żądania ochrony prywatności, któremu podano schemat rozliczeń, spraw technicznych i sprzedaży, wróci jako najmniej zła z tych trzech, a nie jako odmowa.

Ten ostatni punkt działa w obie strony i stanowi uczciwy rdzeń tego porównania. Qwen3-8B powie ci, że twoja taksonomia jest błędna. Clef-Flash tego nie zrobi, a w potoku to prawdziwa regresja — taka, którą odkryjesz miesiąc później w źle skierowanej kolejce. Kompromis to prawdziwe opóźnienie i prawdziwy determinizm w zamian za model, który potrafi wydobyć pytanie, którego nie przyszło ci do głowy zadać.

Co liczby mówią, a czego nie mówią

Opublikowane wyniki Clef-Flash pochodzą z uruchomienia zestawu Jev Decision Index 0.2.1 przez Cloudflare, a to samo uruchomienie leży u podstaw wpisu na blogu dostawcy. Warto precyzyjnie podać mocne komórki: BFCL dokładność na poziomie przypadku 98,8, dokładność API-Bank 93,1, symulator AGD 97,7, makro-F1 ContractNLI 84,3, wybrana jakość RouterBench 79,9. W czterech kompleksowych przepływach biznesowych we własnym zestawie ewaluacyjnym TypeSafe Clef-Flash zajmuje pierwsze miejsce w obsłudze klienta z wynikiem 77,0 wobec 76,0 dla Jev i 76,3 dla większego 27B Clef, a przegrywa w przetwarzaniu faktur z wynikiem 57,1 wobec 61,8 dla Jev i 64,7 dla Clef.

Słabe komórki są równie pouczające jak mocne. CLINC150 z obsługą przypadków poza zakresem daje Clef-Flash 66,8 macro-F1, wobec 97,4 dla 27B Clef i 89,3 dla Jev — trzydziestopunktowa przepaść na dokładnie takim kształcie benchmarku, który sprawdza, czy model wie, kiedy się wstrzymać. When2Call, 65,6 wobec 81,0 Jev. GPQA Diamond, 51,0 wobec 78,3. POP909-CL osiąga 1,6, liczby, której karta nie wyjaśnia.

A teraz część, której tabele ci nie powiedzą: Qwen3-8B nie ma wiersza w żadnej z nich.Żaden z modeli nie został oceniony na benchmarkach drugiego. Własne wyniki Clef-Flash – 91,8 w MMLU i 67,3 w GSM8K – uzyskano za pomocą jego środowiska testowego opartego na typowanych decyzjach, które nie jest środowiskiem, w którym Qwen raportował swoje liczby, a porównywanie obu byłoby błędem kategorialnym przebranym za porównanie. Uczciwe stanowisko jest więc takie, że nie istnieje wspólna tablica wyników, a ten artykuł jej nie wymyśli. Istnieje natomiast luka w opóźnieniach, którą dostawca zmierzył na własnej infrastrukturze, struktura kosztów, która jest strukturalnie odmienna, oraz zbiór komórek Decision Index, których nikt spoza Cloudflare nie odtworzył.

Ile kosztuje jedna decyzja

Dokumentacja Cloudflare Workers AI podaje Clef-Flash na 0,09 USD za milion tokenów wejściowych i nie nalicza nic za dane wyjściowe, ponieważ efektywnie nie ma żadnych danych wyjściowych — przykładowe obliczenia w dokumentacji zwracają trzy tokeny wyjściowe dla zapytania zawierającego trzy pytania. Decyzja o routingu dla zgłoszenia o długości 1500 tokenów kosztuje zatem około 0,000135 USD na wejściu i nic mierzalnego po tym. Uruchom milion takich dziennie, a znajdziesz się na poziomie około 135 USD dziennie, a ta liczba nie zmienia się, gdy zgłoszenie staje się bardziej skomplikowane, lecz tylko gdy staje się dłuższe.

Model autoregresyjny nie ma równoważnego pułapu. Każda z tych miliona decyzji również nalicza opłatę za wygenerowane tokeny, a jeśli tryb myślenia jest włączony — a dla Qwen3-8B jest domyślnie — model może zużyć setki tokenów na zastanawianie się, do której z czterech kategorii należy e-mail o resecie hasła, zanim odpowie. Wyłączenie myślenia za pomocą enable_thinking=False lub /no_think-znacznik jest pojedynczą linią o największym wpływie w każdym promptcie klasyfikacyjnym zbudowanym na tym modelu, a łatwo go pominąć. To porównanie nie polega na „tanim modelu kontra drogim modelu”; to stała cena tylko za wejście przeciwko cenie, która skaluje się z tym, ile model zdecyduje się powiedzieć.

Kontekst, trzy liczby z trzech powierzchni dostawców

Użyteczny kontekst Clef-Flash zależy od tego, który obszar Cloudflare odczytujesz. Strona modelu Workers AI dokumentuje okno kontekstu o rozmiarze 65 536 tokenów. Udostępniony config.json deklaruje max_position_embeddings o wartości 262 144 dla wieży tekstowej. Własny helper kodowania karty modelu domyślnie przyjmuje max_length=16,384, a max_state_tokens pozwala niezależnie ograniczyć stan. Wpis środowiska uruchomieniowego podmiotu trzeciego, który reklamuje 256K, odczytuje wartość konfiguracji, a nie limit serwowania — co wyjaśnia tę rozbieżność, zamiast pozostawiać ją jako zagadkę, ale praktyczna liczba dla każdego, kto wywołuje hostowany endpoint, to 65 536.

Liczby Qwen3-8B są jego własne i pozostają stabilne od półtora roku: 32 768 natywnie, 131 072 z włączonym YaRN oraz domyślna wartość konfiguracji 40 960, która rezerwuje 32 768 na wyjście i 8 192 na prompty. Więc jeśli surowe okno jest twoim czynnikiem decydującym, mały model autoregresyjny można rozszerzyć do około dwukrotności tego, co dokumentuje hostowany model decyzyjny — podczas gdy model decyzyjny potrzebuje go znacznie mniej, ponieważ wysyłasz stan, a nie rozmowę.

Kto powinien dokonać zamiany, a kto nie

• Swap — masz stałą taksonomię, od trzech do 26 miejsc docelowych oraz kolejkę wsparcia, etap triage lub bramkę agenta, gdzie mediana 38,8 ms i p95 122,4 ms wobec pół sekundy generowania zmieniają to, co może robić twój potok.

• Zamień — obecnie parsujesz prozę z modelu 8B i obsługujesz co pięćdziesiątą odpowiedź, która nie pasowała do twojego formatu. Rozkład po zadeklarowanych opcjach całkowicie usuwa tę klasę błędów.

• Nie zamieniaj — zbiór odpowiedzi nie jest znany z góry albo potrzebujesz, aby model powiedział, że nie wie. Clef-Flash nie ma ścieżki wstrzymania się od odpowiedzi, chyba że wbudujesz ją w kryteria, a jego najsłabsza opublikowana komórka to właśnie przypadek poza zakresem.

• Nie zamieniaj — obciążenie to rozumowanie, ekstrakcja z nieograniczonych dokumentów, streszczanie lub kod. Clef-Flash nie potrafi napisać zdania, więc wszystko poniżej, co oczekuje zdania, zachowuje Qwen3-8B.

• Nie podmieniaj jeszcze — potrzebujesz, by te liczby sprawdził ktoś inny niż dostawca. Nie ma niezależnej oceny Clef-Flash, a zestaw testów, który wygenerował jego wyniki, jest publikowany przez dostawcę modelu, który Clef-Flash przewyższa.

Gdzie uruchomić każde z nich

Oba są na licencji Apache-2.0, więc oba możesz hostować samodzielnie, a ich rozmiary znacznie się różnią. Qwen3-8B w bf16 zajmuje około 16 GB, a skwantyzowane wersje są znacznie mniejsze — wersja Q4 to 5,2 GB w bibliotece Ollama, gdzie qwen3:8b odnotowuje 38,7 miliona pobrań i okno kontekstowe 40K. Clef-Flash potrzebuje całego szkieletu o rozmiarze 18,8 GB oraz głowicy 243,5 MB, a jego strona w bibliotece Ollama pojawiła się w ciągu kilku dni od wydania, z tagiem skwantyzowanym o rozmiarze 11 GB i liczbą udostępnień wciąż w niskich setkach; tabela Ollama odczytuje 256K z konfiguracji, a nie 65 536 z endpointu. Ten stosunek pobrań nie jest werdyktem w sprawie żadnego z modeli — jedna strona jest dostępna od osiemnastu miesięcy, a druga od około dnia — ale to rzetelny obraz tego, ile historii operacyjnej kryje się za każdym z nich.

Jeśli chcesz hostowaną wersję, Cloudflare uruchamia Clef-Flash na Workers AI w cenie 0,09 USD za milion (jak wyżej), a wagi można również pobrać z Hub. Oba modele komunikują się z endpointem Ollamy /v1/systemone dla Clef-Flash (Ollama 0.35.1 lub nowsza) oraz standardową ścieżką generate dla Qwen3 — więc zamiana to zmiana po stronie klienta, a nie architektury.

Żaden z tych modeli nie jest obecnie jedną z naszych tras: publiczny katalog OrcaRouter zwraca 404 zarówno dla clef-flash, jak i dla Qwen3-8B, i niczego tutaj nie należy odczytywać jako deklaracji dostępności z naszej strony. To, co warstwa routingu faktycznie zmienia, to część potoku odpowiadająca za generowanie. Jeśli model decyzyjny zaczyna pełnić rolę bramy dla twojego agenta, model, który wykonuje tę decyzję, nadal musi być osiągalny, i tu właśnie jedno API do ponad 200 modeli za jednym kluczem API zasługuje na swoje miejsce — cena katalogowa dostawcy przekazywana bez marży (0%), więc obniżka ceny u dostawcy trafia tutaj tego samego dnia, a automatyczne przełączanie awaryjne sprawia, że złe popołudnie jednego dostawcy nie położy ścieżki, którą właśnie odbudowałeś. Rodzina Qwen również poszła naprzód: Qwen3.8-27B jest tu dostępny w routingu za 0,40 USD na wejściu i 4,21 USD na wyjściu za milion tokenów z oknem 262 144 tokenów; to inny model niż Qwen3-8B i nie jest jego zamiennikiem, ale to ta sama rodzina o jedną generację wyżej.

Co zmieniłoby ten odczyt?

Trzy rzeczy, po kolei.

Niezależne uruchomienie komórek spoza zakresu. Przepaść między wynikiem 97,7 modelu Clef-Flash w symulacji urządzeń a jego 66,8 na CLINC150+OOS nie opisuje klasyfikatora, który radzi sobie równomiernie dobrze wszędzie; to model silny w obrębie wzorców, na których został wytrenowany, a słaby, gdy poprawną odpowiedzią jest „żadna z tych”. Jeśli to się utrzyma w cudzym środowisku testowym, jest to najważniejszy operacyjny fakt dotyczący tego modelu i nie ma go na niczyjej liście najważniejszych wniosków.

Zmierzona wartość opóźnienia z zewnątrz edge'a Cloudflare. Mediana 38,8 ms robi wrażenie, a została zmierzona przez dostawcę, na infrastrukturze kontrolowanej przez dostawcę, dla modelu hostowanego na edge'u. Uszeregowanie względem Jev jest prawdopodobnie solidne; to liczba bezwzględna jest tym, czemu nie należy ufać.

A do tego wspólny benchmark. Dopóki ktoś nie oceni Clef-Flash i małego otwartego LLM na tym samym zadaniu klasyfikacji, z tymi samymi etykietami, wybór między nimi opiera się na kontrakcie wyjściowym, strukturze cen i tym, na czyich dowodach jesteś gotów opierać decyzje. Te trzy elementy wystarczą, by rozstrzygnąć o wielu pipeline'ach już dziś — ale nie są porównaniem dokładności i ten artykuł nie będzie udawał, że są.