SWE-2 Flash kontra Flint v1.0: Jeden uczciwy wiersz benchmarku i mnóstwo szumu

Dwa małe modele kodujące typu mixture-of-experts z małą liczbą aktywnych parametrów, wydane w odstępie piętnastu dni, oba deklarujące ten sam poziom wydajności za ułamek kosztu flagowca. SWE-2 Flash od Cognition, z 4 listopada 2026 r., ma łącznie 276B parametrów, z czego 12B aktywnych. Flint v1.0 od Recursive, z 21 października 2026 r., ma łącznie 39,8B parametrów, z czego około 2,5B aktywnych. To ten sam zakład architektoniczny w bardzo różnych skalach — a uczciwy sposób ich porównania polega na tym, by od razu przyznać, że ich opublikowane tabele pokrywają się dokładnie w jednym wierszu.

Ten wiersz to Terminal-Bench 2.1: 89,2 dla SWE-2 Flash wobec 54,9 dla Flint v1.0. To 34-punktowa różnica, najwyższa pojedyncza wartość, jaką którakolwiek z firm uzyskała w tym zestawieniu, i wiążą się z nią dwa zastrzeżenia na tyle duże, że zmieniają sposób jej odczytania. Wszystko inne, co mogłoby cię skusić do porównania, jest albo inną wersją benchmarku, albo innym podzbiorem tego samego benchmarku.

Ten sam zakład, przeciwna licencja

Wspólna teza jest taka, że koszt wnioskowania zależą od parametrów aktywnych, a nie całkowitych — dzięki temu można zbudować duży rzadki model i płacić tylko za tę część, która się aktywuje. Flint angażuje na token 6 z 256 ekspertów routowanych plus jednego eksperta współdzielonego, w 49 warstwach, z których 35 to warstwy z oknem przesuwnym o rozmiarze 513 tokenów, a 14 to pełna uwaga. SWE-2 Flash dziedziczy tę strukturę po swojej bazie Inkling-Small: 276B łącznie, 12B aktywnych, dotrenowany z etapem treningu pośredniego, którego Cognition wcześniej nie stosowało.

Różnica, która ma większe znaczenie niż jakikolwiek szczegół architektury, polega na tym, co możesz zrobić z wynikiem:

• Wagi — Flint v1.0 jest udostępniany na licencji Apache 2.0 na Hugging Face w formatach BF16, FP8 oraz w wersjach skwantyzowanych. SWE-2 Flash jest całkowicie wstrzymany — obiecano program udostępniania partnerom, ale nie został on jeszcze sprecyzowany.

• Dystrybucja — Flint działa w środowiskach llama.cpp, Ollama, LM Studio, vLLM i SGLang na sprzęcie, który posiadasz. SWE-2 Flash działa w Devin Desktop i Devin CLI i nigdzie indziej.

• Cena — koszt krańcowy Flint to Twój GPU. SWE-2 Flash jest bezpłatny do 30 listopada 2026 i nie ma publikowanej stawki za token po tej dacie.

• Kontekst — Flint publikuje 262 144 tokeny, konfigurowalne do około 512K. SWE-2 Flash nie publikuje nic.

To nie jest niewielka różnica w podejściu. Jeden to artefakt, który możesz zbadać, skwantyzować, dostroić i uruchomić na laptopie. Drugi to produkt z darmowym miesiącem.

Jedyny wiersz, który możesz porównać

Terminal-Bench 2.1 to jedyny benchmark, w przypadku którego obie firmy podają wynik dla tej samej wersji. Wynik 54,9 modelu Flint uzyskano przez Terminus 2, przy pass@1 uśrednionym po co najmniej pięciu próbach. Wynik 89,2 modelu SWE-2 Flash uzyskano na harnessie, którego Cognition nie wymienia, przy nieujawnionym ustawieniu effort, na podstawie wpisu premierowego, który pomija aneks metodologiczny obecny u jego wrześniowego poprzednika.

Zatem ta 34-punktowa różnica jest realna w tym sensie, że obie liczby zgłoszono na tym samym zestawie zadań, a miękka w tym sensie, że jedna strona ujawniła, jak do niej doszła, a druga nie. Model oceniany w ramach współprojektowanego szkieletu agentowego — którym jest Devin — z reguły przebije ten sam model oceniany przez ogólne środowisko testowe. Liczba Flinta jest tą ostrożniejszą właśnie dlatego, że Recursive opublikowało metodę.

Jeśli chcesz ująć to w jednym zdaniu: w jedynym wspólnym wierszu SWE-2 Flash znacznie wyprzedza, a żadna z firm nie umożliwiła niezależnemu podmiotowi sprawdzenia tego.

Dwa wyniki Pro, które wyglądają identycznie, ale identyczne nie są

To jest pułapka w tym pojedynku i warto się na chwilę zatrzymać. Recursive podaje, że Flint v1.0 osiąga 89,7 w SWE-bench Pro v2. Cognition podaje, że SWE-2 Flash osiąga 89,9 w SWE-Bench Pro v2 Hard. Dwie liczby różniące się o 0,2 punktu, stojące obok siebie w każdej agregacji, jaką znajdziesz.

To nie są te same pomiary. „Hard” jest podzbiorem — przefiltrowanym wycinkiem zestawu zadań, a nie jego całością. Wynik Flinta to pełny przebieg Pro v2 pod mini-swe-agent, przy czym rozwiązania pozyskane z sieci są liczone jako porażki, co jest surowszą konwencją punktacji niż przyjmowana przez większość dostawców. Zestawianie 89,9 z 89,7 i nazywanie tego remisem to rodzaj porównania, który prowadzi do pewnych siebie, błędnych wniosków.

Ta sama ostrożność dotyczy wiersza, którego nie zawiera żadna z tabel. Flint podaje wynik SWE-bench Verified na poziomie 74,2. SWE-2 Flash w ogóle nie podaje wyniku Verified — zamiast tego podaje Pro v2 Hard, DeepSWE 1.1 i SWE-Atlas QA. Zatem benchmark, względem którego większość zespołów ma intuicję, jest niedostępny dla nowszego modelu, co sprawia, że „Flint jest w tyle na SWE-bench” to twierdzenie niepoparte danymi, a nie ustalenie.

Kontekst to specyfikacja, która decyduje.

W przypadku kodowania agentowego okno kontekstu nie jest przypisem — decyduje o tym, czy model może utrzymać istotną powierzchnię repozytorium w jednym kroku planowania, czy trzeba dostarczać mu ją kawałkami. Flint podaje 262,144 tokeny. SWE-2 Flash nie podaje nic, a po trzech dniach relacji żadne medium nie ustaliło tego.

Kontekst Flinta wiąże się z własnym zastrzeżeniem. Pomiary społeczności pokazują załamanie przepustowości przy długim kontekście — około 110 tokenów na sekundę przy krótkich promptach, spadające w stronę 9 tokenów na sekundę w pobliżu 115 000 tokenów. Okno 262K działające z prędkością 9 tok/s to okno, którego używa się świadomie, do jednego dużego odczytu, a nie takie, które pozostawia się otwarte przez długą sesję. Kwantyzacja łagodzi koszt obliczeniowy, ale nie tę krzywą.

Niepublikowane okno SWE-2 Flash jest większą niewiadomą, ponieważ Devin to produkt przeznaczony do długich sesji. Jeśli wybierasz między nimi przy założeniu, że model zamknięty lepiej radzi sobie z większymi repozytoriami, to decydujesz na podstawie liczby, której nikt nie opublikował.

Prędkość, którą możesz zweryfikować, kontra prędkość, której nie możesz.

Cognition twierdzi, że SWE-2 Flash działa z prędkością około 200 tokenów na sekundę wobec 60 tokenów na sekundę w przypadku SWE-2. Liczba ta pochodzi z odtwarzania skróconych transkrypcji sesji przy symulowanych szybkościach, a nie z pomiaru czasu działania aktywnego endpointu. To demonstracja, a nie pomiar, i obecnie nikt spoza Cognition nie ma sposobu, aby to sprawdzić.

Twierdzenia Flinta dotyczące przepustowości są w porównaniu skromne i znacznie łatwiejsze do obalenia: około 125–131 tokenów na sekundę na M4 Pro MacBook Pro, powyżej 150 na RTX Spark z 64 GB. Zmierzono je na sprzęcie, który można kupić, przez osoby, które opublikowały konfigurację. Podaje się, że skwantyzowana kompilacja NVFP4 osiąga w benchmarkach wynik w granicach około 0,7 punktu od BF16, co jest tego rodzaju twierdzeniem, które społeczność może i będzie testować.

Jedna prawdziwa wada, o której warto wiedzieć: ścieżka GGUF miała w llama.cpp błąd szablonu czatu, a model ma niewielki dorobek społeczności w porównaniu z czymkolwiek z dużego laboratorium. Wcześni użytkownicy zajmują się debugowaniem.

Ile faktycznie kosztuje cię każda z opcji

Flint v1.0 można pobrać bezpłatnie, a kosztuje tyle, ile kosztuje Twoja inferencja. Model 39.8B z 2.5B aktywnych parametrów będzie działać z użyteczną prędkością na dobrze skonfigurowanym laptopie — i to jest cały sens tej architektury. Koszt wdrożenia jest operacyjny: to Ty odpowiadasz za stos obsługi, wybór kwantyzacji i tryby awarii.

SWE-2 Flash nic nie kosztuje do 30 listopada 2026 r., a potem kosztuje nieznaną kwotę, ponieważ Cognition opublikowało proporcję — jedną piątą ceny SWE-2 — a nie stawkę. Jeśli proces planowania w Twoim zespole wymaga liczby do wpisania w arkusz kalkulacyjny, to właśnie to jest problemem blokującym, a nie luka w wynikach benchmarku.

Żadnego z tych modeli nie ma dziś w katalogu OrcaRouter i nie zamierzamy sugerować inaczej. W tym zestawieniu przydatne nie jest routowanie między tymi dwoma, lecz porównanie z resztą stawki: ponad 200 modeli stoi za jednym kluczem OrcaRouter przy 0% marży ponad cennik dostawcy, dzięki czemu uruchomienie tego samego zadania na repozytorium przez dwunastu kandydatów to kwestia zmiany jednego ciągu znaków. Gdy decydujesz między dwoma modelami, z których jedna strona opublikowała swój harness, a druga nie, twoja własna ewaluacja jest warta więcej niż tabela któregokolwiek z dostawców.

Kto powinien wybrać, które

Wybierz Flint v1.0, jeśli potrzebujesz wag. Jeśli Twoim ograniczeniem jest rezydencja danych, działanie offline, dostrajanie lub koszt za token, który nie zależy od decyzji cenowej innej firmy, 34-punktowa różnica w Terminal-Bench to cena, którą możesz być całkiem skłonny zapłacić — a kontekst 262K i opublikowany harness Flinta dają model, o którym można rozumować, a nie czarną skrzynkę.

Wybierz SWE-2 Flash, jeśli jesteś już w Devin i darmowe okno wystarczy, aby odpowiedzieć na Twoje pytanie. To lepiej działający model w jedynym wierszu zmierzonym przez obie firmy, z dużą przewagą, a wypróbowanie go nic nie kosztuje do końca listopada.

Nikt nie powinien wybierać jednego z nich w oparciu o liczby SWE-bench Pro. 89,7 i 89,9 to nie ten sam test, a różnica między nimi jest mniejsza niż różnica między którąkolwiek z tych liczb a tym, co faktycznie wygeneruje twoje repozytorium.