Beam 1.0 kontra Clef Flash: jeden pisze kod, drugi nie potrafi napisać zdania

Postaw Beam 1.0 i Clef Flash obok siebie, a porównanie wygląda absurdalnie, dopóki nie zauważysz, o co tak naprawdę chodzi. Beam 1.0 to 501,3-miliardowy model typu mixture-of-experts od Reflection, udostępniony z wagami na licencji Apache 2.0 16 października 2026 i stworzony do kodowania, rozumowania oraz długoterminowej pracy agentowej; czyta tekst i pisze tekst. Clef Flash od Cloudflare to 9-miliardowy model, który nie ma w ogóle ścieżki wyjściowej dla tekstu — nie zdegradowanej, po prostu żadnej. Przyjmuje stan oraz schemat typowanych pytań i zwraca prawdopodobieństwo dla każdej dozwolonej odpowiedzi. Każda strona, która zestawia te dwa modele przeciwko sobie na podstawie wyników benchmarków, źle zrozumiała oba. Użyteczne pytanie brzmi: które miejsce w potoku zajmuje każdy z nich, ponieważ w dobrze zbudowanym systemie nie są rywalami; to sąsiednie etapy.

Warto dokładnie zrozumieć to sąsiedztwo, ponieważ wyjaśnia ono klasę awarii produkcyjnych, których nie ujawnia żaden benchmark pojedynczego modelu: parser, który przykręciłeś do modelu czatu, bo był jedyną rzeczą, jaką miałeś, oraz pięćdziesiąta pierwsza odpowiedź na sto, która nie pasowała do twojego schematu.

Co tak naprawdę zwraca każdy model

Zacznij od kształtu wyjścia, ponieważ wszystko inne z niego wynika.

• Beam 1.0 — dowolny tekst z obowiązkowym rozumowaniem. Obsługiwane poziomy wysiłku to low, medium, high, xhigh i max, a domyślnie ustawiony jest max, więc konfiguracja domyślna rozumuje najdłużej. Rozumowanie, wywoływanie narzędzi i ustrukturyzowane dane wyjściowe są obsługiwane, a ustrukturyzowane dane wyjściowe plus schemat JSON to najbliższy odpowiednik ograniczonego zwrotu, jaki oferuje Beam.

• Clef Flash — rozkład na zadeklarowanym zbiorze odpowiedzi. Dokumentacja Cloudflare opisuje przebieg w przód, który ocenia każdą dozwoloną opcję; nie ma etapu generowania, a zatem nie ma etapu parsowania. Sam dostawca ujmuje to jako model decyzyjny, a drugim produktem w wydaniu była platforma do dostrajania z uczeniem ze wzmocnieniem, służąca do budowania kolejnych takich modeli.

Praktyczna różnica polega na tym, co się dzieje, gdy dane wejściowe są poza zakresem. Model tekstowy zapytany o coś spoza swoich kompetencji wygeneruje pewny siebie tekst, a twój system musi to zauważyć. Clef Flash wygeneruje prawdopodobieństwa sumujące się do jedynki wśród wyborów, które mu podałeś, co oznacza, że dane wejściowe poza zakresem ujawnią się jako płaski rozkład, a nie wiarygodne zdanie — pod warunkiem że zbudowałeś dla tego próg, którego dostawca nie zapewnia. Opublikowana przez Cloudflare tabela pokazuje ten przypadek jako najsłabszą komórkę modelu.

Ewaluacje nie nakładają się, i to jest ustalenie.

Wyniki Clef Flash pochodzą z Jev Decision Index oraz zestawu testów specyficznych dla decyzji, wszystkie uruchamiane przez Cloudflare, a kilka z nich jest testowanych na własnym benchmarku konkurenta — Jev jest publikowany przez TypeSafe, dostawcę modelu, z którym porównywany jest Clef Flash. W tych zestawach wyniki są mocne: BFCL case-exact 98,8, API-Bank 93,1, symulacja sprzętu AGD na poziomie 97,7, ContractNLI macro-F1 84,3, RouterBench 79,9. Clef Flash przewyższa większy model 27B Clef w BFCL, w API-Bank i w zestawie dotyczącym sprzętu AGD, w tym ostatnim o czternaście punktów. Żadne z tych wyników nie zostało niezależnie powtórzone.

Sposób oceny Beama różni się co do istoty. Karta modelu Reflection podaje wyniki benchmarków agentowych i z zakresu inżynierii oprogramowania — SWEBench Verified 81.6, Terminal Bench v2.1 80.1, DeepSWE v1.1 43.3, GPQA Diamond 90.6 na punkcie kontrolnym BF16 — wszystkie raportowane przez dostawcę. Jedyną zewnętrzną liczbą jest Artificial Analysis, które umieszcza Beam 1.0 z Intelligence Index równym 30, na dziewiętnastym miejscu spośród 120 modeli w wersji indeksu v4.3.2, i nie odnotowuje żadnej ceny ani prędkości, ponieważ nadal widzi „No publicly available API" dla tego modelu. W kolumnie Clef Flash nie ma nic, co odpowiadałoby Intelligence Index, a w kolumnie Beama nie ma nic, co odpowiadałoby wynikowi routera dokładnemu względem przypadku. Nie znajdują się na tej samej osi.

To, co można porównać, to struktura kosztów, a tutaj oba rozwiązania znajdują się na przeciwnych biegunach. Cloudflare hostuje Clef Flash na Workers AI za 0,038 USD za milion tokenów wejściowych, przy czym tokeny wyjściowe są rozliczane jako zero, ponieważ ich nie ma — to około jednej szóstej kwoty 0,24 USD, jaką ten sam cennik pobiera za większy model 27B Clef, i nieco poniżej 0,042 USD, które pobieramy za model decyzyjny odpowiadający na ten sam kształt żądania. Beam 1.0 nie ma w ogóle publikowanej ceny za milion tokenów — dokumentacja Reflection zawiera pełną stronę dotyczącą limitów szybkości i żadnego cennika. Samodzielne hostowanie to jedyna wyceniona ścieżka, a zaczyna się od czterech GPU N​VIDIA B300.

Gdzie każde z nich ma swoje miejsce w rzeczywistym systemie

Szczera odpowiedź brzmi: Clef Flash zastępuje krok, który prawdopodobnie wykonujesz źle, a Beam 1.0 zastępuje krok, który prawdopodobnie wykonujesz kosztownie.

Celem Clef Flash jest klasyfikacja, routing, bramkowanie i triage wewnątrz pętli agenta — wszędzie tam, gdzie poprawnym wynikiem jest jedna z etykiet znanego zestawu, a kosztem nieprawidłowo sformułowanej odpowiedzi jest wyjątek w dalszym przetwarzaniu. Jego publikowany profil opóźnień, około 38,8 ms mediany i 122,4 ms przy p95, jest tym, co ma tam znaczenie, ponieważ mierzy się go w reżimie, w którym nie mierzy się czasu do pierwszego tokenu modelu tekstowego.

Celem Beam 1.0 jest sama praca: rozwiązywanie zgłoszeń na GitHubie, działanie w CLI, uruchamianie wieloetapowych przepływów pracy z narzędziami. Argument, jaki wysuwa Reflection, dotyczy efektywności tokenowej, a nie szczytowych możliwości — karta modelu twierdzi, że jakość rozwiązań jest porównywalna z wiodącymi otwartymi modelami przy około trzykrotnie mniejszej liczbie tokenów rozumowania w czasie wnioskowania, a najsilniejszym potwierdzeniem tego jest to, że Artificial Analysis odnotowuje 79 mln tokenów wyjściowych dla Beam w Intelligence Index wobec mediany 130 mln, co daje dziesiąte miejsce na czterdzieści sześć w tym pomiarze. W długim przebiegu agenta, w którym każda tura odtwarza poprzednią rozmowę, to właśnie ta pozycja się kumuluje.

Ani jedno nie znajduje się w naszym katalogu i nie zamierzamy sugerować inaczej. Clef Flash działa na własnych brzegowych GPU Cloudflare, a wagi na licencji Apache-2.0 są Twoje do samodzielnego hostowania; wagi Beam 1.0 są dostępne na Hugging Face na licencji Apache 2.0 wraz z API pierwszej strony, które nie ma opublikowanej ceny.

Powód, aby utrzymać oba dostępne

Potok, w którym przy bramie stosuje się model decyzyjny, a za nią model rozumujący, jest architekturą zdecydowanie lepszą od takiej, która używa jednego modelu czatu do obu tych zadań, a koszt zbudowania go w ten sposób to koszt operacyjny drugiej zależności — drugiego kontraktu, drugiego zestawu kluczy, drugiego trybu awarii. To właśnie tę część eliminuje router, a nie część modelową.

Jeśli etapy bramki w Twoim systemie to te, które opisuje Clef Flash, najbliższym już routowanym odpowiednikiem jest Jev 1.13 firmy TypeSafe — model, który Cloudflare wybrał jako swój odpowiednik benchmarkowy, kompatybilny pod względem API z kształtem żądań Clef Flash, a w naszym katalogu w cenie 0,042 USD za milion tokenów wejściowych, z wyjściem rozliczanym po zerowej stawce i kontekstem 65 536 tokenów.

Na potrzeby etapu rozumowania za bramką nasz katalog zawiera modele, z którymi porównywany jest Beam: GLM-5.2 w cenie $1.40 i $4.40 za milion tokenów z oknem 1 000 000 tokenów, Kimi K3 w cenie $3.00 i $15.00 z oknem 1 048 576 oraz Qwen3.8-Max w cenie $2.00 i $6.00. Jeden klucz zgodny z OpenAI obejmuje je wszystkie, cena katalogowa dostawcy jest przekazywana bez doliczania czegokolwiek, a automatyczne przełączanie awaryjne sprawia, że etap bramy nie gaśnie tylko dlatego, że jednemu dostawcy przytrafiła się zła minuta.

Możesz również utrzymać oba etapy na różnych modelach, nie wiążąc się z żadnym z nich: reguła routingu, która kieruje ruch klasyfikacji schematów do punktu końcowego decyzyjnego, a pracę z tekstem swobodnym do modelu rozumującego, to zwykły przypadek DSL-a routingu; oznacza to, że dokładność etapu decyzyjnego i koszt etapu rozumowania można dostrajać niezależnie, zamiast szukać kompromisu w obrębie liczby parametrów jednego modelu.

Którego z nich właściwie szukasz?

Jeśli trafiłeś tutaj, ponieważ Twój agent od czasu do czasu emituje obiekt JSON, który Twój parser odrzuca, nie chcesz modelu o 501 miliardach parametrów. Chcesz model decyzyjny, a pytanie, które należy zadać, brzmi: czy Twój zbiór odpowiedzi jest naprawdę przeliczalny i jaka jest Twoja polityka wstrzymywania się — ponieważ Clef Flash daje prawdopodobieństwa, a nie odmowę.

Jeśli trafiłeś tutaj, ponieważ rachunek twojego agenta kodującego jest zdominowany przez tokeny rozumowania, których nie widzisz, nie chcesz klasyfikatora z 9 miliardami parametrów. Chcesz Beam 1.0 albo jednego z modeli, z którymi jest porównywany, a pytanie, które trzeba zadać, brzmi: czy możesz go hostować, czy czekasz na cennik, który nie został opublikowany.

Jedyna rzecz, którą ujęcie w formie bezpośredniego starcia ujmuje trafnie, to to, że oba są zakładami o tę samą tezę z przeciwnych stron: że kosztowną częścią agenta nie jest odpowiedź, lecz wszystko wokół niej. Odpowiedzią Cloudflare jest usunięcie generowania z kroków, które nigdy go nie potrzebowały. Odpowiedzią Reflection jest uczynienie generowania tańszym w przeliczeniu na token myślenia. Wdrożone razem kosztują mniej niż którekolwiek z nich wdrożone osobno, co jest lepszym wynikiem, niż powie ci tabela benchmarków któregokolwiek z dostawców.

Nic z tego nie jest hipotetyczne: udokumentowane awarie AI i incydenty z agentami stojące za takimi wydaniami jak to są zebrane w the OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, stopień ważności, ocenę pewności i oznaczenie sporne.