Flint v1.0 kontra Qwen3.8 27B: model Recursive poddał sam siebie benchmarkowi

Recursive opublikował jedno zdanie w swoim Recursive Flint v1.0 materiale premierowym, które pominęła większość relacji: według własnej średniej firmy z sześciu testów tylko Qwen3.8 27B uzyskał wyższy wynik niż Flint. To nietypowa rzecz, jaką dostawca publikuje w dniu premiery. To także najbardziej użyteczne zdanie w komunikacie, ponieważ wskazuje, które porównanie należy sprawdzić. Qwen3.8 27B to gęsty model z otwartymi wagami, udostępniony 14 sierpnia 2026 r. na licencji Apache 2.0, i jedyny model w zestawie porównawczym Recursive, który pokonał Flint w zagregowanym wyniku skonstruowanym przez samego dostawcę. Ciekawym pytaniem nie jest więc to, czy Flint jest dobry. Jest nim to, gdzie dokładnie Qwen3.8 27B jest lepszy, i czy ta różnica przetrwa wnikliwą analizę użytych harnessów.

Przeczytaj oświadczenie klasy, zanim przeczytasz wynik.

Sztandarowe twierdzenie Flint jest starannie ograniczone: prowadzi wśród modeli typu mixture-of-experts o łącznej liczbie parametrów poniżej 50 miliardów w testach SWE-bench Pro v2, Terminal-Bench 2.1 i SWE-bench Verified. Qwen3.8 27B nie jest modelem typu mixture-of-experts. Jest gęsty — 27 miliardów parametrów, wszystkie aktywne przy każdym tokenie, 28 miliardów z wliczonym enkoderem wizyjnym, 64 warstwy przy wymiarze ukrytym wynoszącym 5 120. Tak więc z samej konstrukcji znajduje się poza klasą porównawczą Flint, a Recursive mógł swobodnie całkowicie pominąć go w tym twierdzeniu.

Warto doprecyzować, ile kosztuje i co daje „gęsty” model. Każdy z 27 miliardów parametrów Qwena uczestniczy w przetwarzaniu każdego tokenu, dlatego potrzebuje około 55,6 GB w BF16 i prawdziwego GPU, a jego ślad pamięciowy aktywacji jest około jedenastokrotnie większy niż w przypadku Flinta. To także powód, dla którego gęsty model 27B może przewyższać dokładnością rzadki model z 2,5B aktywnych parametrów: wykonuje więcej obliczeń na token i każe sobie za to płacić.

Terminal-Bench 2.1: osiemnastopunktowa różnica

To najczystsze dostępne porównanie, ponieważ oba laboratoria raportują tę samą wersję benchmarku, a różnica jest wystarczająco duża, że szum harnessa raczej nie wyjaśni jej w całości.

• Flint — 54.9% na Terminal-Bench 2.1, uruchomiony na harnessie Terminus 2 z włączonym internetem, przy czym każde rozwiązanie uzyskane poprzez wyszukiwanie w sieci jest traktowane jako porażka.

• Qwen3.8 27B — 73,0% w Terminal-Bench 2.1, według karty modelu Alibaba.

To 18,1-punktowa różnica na korzyść Qwen, w benchmarku, który najbardziej przypomina agentową pracę w terminalu — czyli dokładnie to zadanie, do którego sprzedawane są oba modele. Dwa zastrzeżenia ciągną w przeciwnych kierunkach i oba trzeba wyraźnie przedstawić.

Pierwszy sprzyja Flintowi. Recursive zastosowało utrudnienie, którego jego konkurenci mogli nie zastosować: jeśli agent znalazł odpowiedź w sieci, Recursive oceniało ją jako błędną. Model, któremu pozwolono by wyszukiwać i cytować, uzyskałby wyższy wynik w tym samym środowisku testowym. O ile wyższy, nie wiadomo, a Recursive nie publikuje wyniku bez tego utrudnienia.

Druga obserwacja przeczy wszelkiej jednoznacznej interpretacji. Strona trzecia, PrismML, oceniła Qwen3.8 27B na 69,7 w Terminal-Bench 2.1, a nie na 73,0 według Alibaby. Rozbieżność wynosząca 3,3 punktu w przypadku tego samego modelu i benchmarku to użyteczna kalibracja: mówi ona, że różnice kilku punktów w tej tabeli to szum, a różnica 18 punktów prawdopodobnie nie.

Nawet biorąc niższą wartość Qwen, 69,7 wobec 54,9 daje 14,8 punktu. Kierunek nie budzi wątpliwości.

LiveCodeBench v6: druga luka, na czystszym benchmarku

Programowanie konkursowe jest najmniej wrażliwym na harness spośród benchmarków raportowanych przez oba laboratoria, ponieważ model otrzymuje zadanie, tworzy kod, a sędzia go uruchamia. Nie ma tu pętli agentowej, która mogłaby się różnić.

• Flint — 80,3% w LiveCodeBench v6.

• Qwen3.8 27B — 90,3% w LiveCodeBench v6.

To 10-punktowa różnica i to jej przypisałbym największą wagę, właśnie dlatego, że najtrudniej ją zbagatelizować. Wynik 80,3 Flint to przyzwoita liczba dla modelu aktywującego 2,5 miliarda parametrów. Wynik 90,3 Qwen to mocna liczba dla modelu aktywującego 27 miliardów parametrów. Żaden z nich nie jest zaskakujący. Rzecz w tym, że przewaga wydajnościowa, którą sprzedaje Flint, nie jest darmowa — i właśnie w tym benchmarku widać cenę.

Benchmark, który wygląda jak zwycięstwo Flint, ale nim nie jest

Tu właśnie większość stron porównawczych popełnia błąd — i warto się na chwilę zatrzymać.

Flint raportuje 89,7% w SWE-bench Pro v2. Qwen3.8 27B raportuje 61,7% w SWE-bench Pro. Na pierwszy rzut oka wygląda to na 28-punktowe zwycięstwo Flint. To wcale nie jest porównanie. „v2” to inny benchmark niż ten, który podaje Alibaba, z innym zestawem zadań i innym protokołem ewaluacji, więc tych dwóch liczb nie można odejmować. Każda strona, która umieszcza je w sąsiednich kolumnach i ogłasza zwycięzcę, mówi coś o swoim autorze, a nie o modelach.

Ta sama pułapka znajduje się o wiersz niżej. Flint podaje 74,2% w SWE-bench Verified. Qwen3.8 27B nie publikuje wyniku SWE-bench Verified — karta modelu Alibaba podaje SWE-bench Pro, QwenSWEBench na poziomie 79,0, DeepSWE 1.1 na poziomie 42,2, Terminal-Bench 2.1 na poziomie 73,0, LiveCodeBench v6 na poziomie 90,3 i NL2Repo-Bench na poziomie 42,3. Nie ma żadnego wyniku Verified, z którym można by go porównać. Krążące liczby dla Qwen3.8 27B w Verified są albo odziedziczone po wcześniejszym modelu z rodziny, albo pochodzą ze źródła wtórnego, które jednocześnie stoi w sprzeczności z kartą modelu w przypadku kilku innych benchmarków. Traktuj je jako niezweryfikowane.

Jeszcze jedno zastrzeżenie po stronie Alibaby: jej uruchomienia SWE-bench Pro i QwenSWEBench wykorzystywały zewnętrzny harness agentowy, a nie sam model, więc nawet porównania z wynikiem SWE-bench Pro innego laboratorium są niepewne. Nie jest to specyfika wyłącznie Alibaby. Taki jest ogólny stan benchmarków kodowania agentowego i dlatego wiersze Terminal-Bench i LiveCodeBench mają tu większe znaczenie niż wiersze SWE-bench.

Gdzie Flint wygrywa, i to bezapelacyjnie

Dokładność to nie jedyna oś, a na pozostałych kolejność odwraca się diametralnie.

• Pamięć — Flint działa w około 24 GB, a na dysku znajduje się wersja NVFP4 o rozmiarze 22,86 GB. Qwen3.8 27B potrzebuje około 55,6 GB w BF16. Jedna mieści się na wysokiej klasy laptopie lub pojedynczej karcie konsumenckiej; druga wymaga rzeczywistej alokacji GPU.

• Aktywne obliczenia na token — Flint aktywuje około 2,5 miliarda parametrów. Qwen aktywuje wszystkie 27 miliardów. Ten stosunek jest przyczyną różnicy w szybkości i powodem, dla którego Flint jest tańszy w obsłudze przy dużym wolumenie.

• Szybkość — Recursive twierdzi, że osiąga ponad 125 tokenów na sekundę na M4 Pro MacBook Pro oraz ponad 150 na 64 GB RTX Spark przy krótkim kontekście. Gęsty model 27B na tym samym laptopie nie mieści się w tym zakresie. Donoszono również, że Qwen3.8 27B jest wolny lokalnie i nietypowo pochłania tokeny — Artificial Analysis zmierzyło około 160 milionów tokenów wyjściowych w ramach testów swojego indeksu, co jest mnożnikiem kosztów w każdej pętli agenta.

• Kontekst — oba natywnie deklarują 262 144 tokeny, a Qwen dzięki skalowaniu YaRN rozszerza ten limit do 1 000 000. Ogłoszenie Flinta podaje do 512 tys. Na papierze przy natywnym oknie to remis; w praktyce przepustowość Flinta w długim kontekście wypada słabiej — niezależne testy donoszą o spadku do około 9 tokenów na sekundę przy blisko 115 000 tokenów.

• Multimodalność — Qwen3.8 27B przyjmuje obrazy i wideo, a także tekst, dzięki hybrydowemu układowi uwagi obejmującemu 48 warstw liniowej uwagi Gated DeltaNet i 16 warstw pełnej uwagi w stosunku 3:1, co sprawia, że obsługa okna 262K jest opłacalna. Flint obsługuje wyłącznie tekst.

Co tak naprawdę wybierasz

• Jeśli celem jest maksymalna dokładność kodowania i masz odpowiedni sprzęt, Qwen3.8 27B jest mocniejszym modelem na każdym benchmarku, na którym można je rzetelnie porównać. To samo mówi również średnia z sześciu testów samego Recursive.

• Jeśli model musi działać na laptopie, pozostawać offline, mieć kod źródłowy na maszynie lub obsługiwać wystarczająco duży wolumen, by aktywne parametry dominowały w kosztach, Flint wygrywa na osi, która decyduje o wdrożeniu. Model z 2.5B aktywnych parametrów przy 125 tokenach na sekundę to inny produkt niż gęsty model 27B wymagający węzła GPU.

• Jeśli chcesz oba, dobrze się uzupełniają: model lokalny do rutynowych i wrażliwych zadań, model hostowany do trudnych zadań. To jest podział, na który decyduje się większość zespołów, i właśnie wtedy warstwa routingu przestaje być detalem.

Qwen3.8 27B to jedyny model w tym porównaniu, który OrcaRouter udostępnia bezpośrednio — jego identyfikator to qwen/qwen3.8-27b na naszej bieżącej liście modeli, a obsługuje tekst, obrazy i wideo z pełnym oknem 262 144 pozycji. Ponieważ cena katalogowa dostawcy jest przekazywana bez doliczania marży, zmiana ceny po stronie Alibaba jest widoczna u nas tego samego dnia, a nie dopiero przy kolejnym odnowieniu. OrcaRouter nie udostępnia modelu Flint; ten trzeba pobrać. Opisana powyżej konfiguracja hybrydowa jest więc naprawdę hybrydowa: jedna ścieżka prowadzi do hostowanego modelu klasy frontier, a lokalny plik obsługuje wszystko, co nie może opuścić maszyny.

Eksperyment, którego nikt nie przeprowadził

Każda liczba w tym artykule pochodzi z laboratorium mierzącego własny model, z jednym wyjątkiem: 3,3-punktowa rozbieżność PrismML z Alibabą w Terminal-Bench, która jest jedyną dostępną wskazówką, jak bardzo te liczby się zmieniają, gdy ktoś inny trzyma stoper.

To, co by to rozstrzygnęło, jest proste i nie miało miejsca: oba modele, jedno środowisko testowe, jeden zestaw zadań, jedna maszyna, opublikowane ślady. Do tego czasu możliwa do obrony pozycja to ta wąska. Na benchmarkach, które oba laboratoria raportują uczciwie, Qwen3.8 27B jest dokładniejszym koderem. Na osiach wdrożeniowych, które decydują, czy model może w ogóle działać, Flint jest bardziej wydajny. Recursive powiedział to pierwszy, we własnym wpisie premierowym, i to jest najbardziej godna zaufania rzecz w całym wydaniu.