SWE-2 Flash kontra SWE-2: ile naprawdę warte jest zwycięstwo o 0,2 punktu

Własna tabela porównawcza Cognition daje SWE-2 Flash dokładnie jedno zwycięstwo nad SWE-2: 24,0 do 23,8 na FrontierCode 2.0. Dwie dziesiąte punktu, na własnym benchmarku Cognition, w tabeli, którą Cognition zbudowała, by pokazać mniejszy model w najlepszym wydaniu. To także najbardziej użyteczna liczba w całym wydaniu — ze względu na to, co robią wiersze pod nią, i ze względu na to, co po cichu pomija ten jeden wiersz powyżej.

Krótka wersja dla kogoś, kto podejmuje decyzję przy biurku, zamiast czytać do końca: Flash nie jest mniejszym SWE-2. To inny model z innej bazy, dostrojony do ograniczonego zakresu pracy i wyceniony na jedną piątą ceny w ramach tego samego produktu. Przewaga 0,2 punktu jest prawdziwa i znaczy mniej, niż się wydaje.

Dwie edycje tego samego benchmarku nie zgadzają się ze sobą, a to jest pierwsze odkrycie

Zestaw ze sobą dwa wiersze FrontierCode, a tabela przestaje być opowieścią o małym modelu nadrabiającym zaległości.

• FrontierCode 2.0 — SWE-2 Flash 24.0 vs SWE-2 23.8

• FrontierCode 1.1 Main — 45,5 vs 50,0

To samo narzędzie, dwie edycje, przeciwne werdykty. W nowszej edycji Flash jest minimalnie z przodu; w starszej jest o 4,5 punktu z tyłu. Jeden z tych wierszy trafi na slajd prezentacji premierowej, a drugi nie, a to, który zostanie wybrany, mówi więcej o prezentującym niż o modelu.

Istnieje możliwa do obrony interpretacja, w której oba wiersze są prawdziwe i żaden nie jest sprzeczny: wydanie 2.0 jest trudniejsze, wyniki bezwzględne ulegają kompresji, a nowszy zestaw zadań może nagradzać to, do czego Flash był dostrajany po treningu. Jest też mniej pochlebna interpretacja: wahnięcie o 4,5 punktu między dwoma wydaniami jednego benchmarku jest miarą tego, jak czułym instrumentem jest to narzędzie, a margines 0,2 punktu mieści się w tej czułości. Cognition nie publikuje przedziałów ufności ani powtórzonych przebiegów, więc różnicy między 24,0 a 23,8 nie można na podstawie podanych informacji odróżnić od szumu. Można powiedzieć coś węższego, a wciąż użytecznego — na najnowszym benchmarku Cognition oba modele są na tym samym poziomie, a nie rozdzielone.

Dokąd trafia trzynaście punktów

Pozostała część tabeli nie jest zbliżona, a kształt tej luki jest tym, co niesie informację.

• DeepSWE 1.1 — SWE-2 Flash 60,1 vs SWE-2 73,0

• Terminal-Bench 4.0 — 20,0 kontra 27,3

• SWE-Atlas QA — 50,0 vs 56,3

• Terminal-Bench 2.1 — 89,2 vs 92,8

• SWE-Bench Pro v2 Hard — 89,9 vs 90,6

• ExploitBench — 34,8 vs 36,1

Uporządkuj je według tego, ile swobody zadanie daje agentowi, a pojawi się pewien wzorzec. W SWE-Bench Pro v2 Hard — dobrze określonym zagadnieniu z zdefiniowanym rozwiązaniem — Flash jest 0,7 punktu z tyłu. W Terminal-Bench 2.1 jest 3,6 z tyłu. W Terminal-Bench 4.0 różnica wynosi 7,3, a w DeepSWE 1.1, w wierszu długiego horyzontu, wynosi 12,9. Im bardziej zadanie wymaga od modelu decydowania, co robić dalej, tym większa różnica.

To wiarygodny mechanizm, ale nie udowodniony. Model z jedną dziesiątą aktywnych parametrów ma mniejszą zdolność do utrzymania spójności długiego planu, a benchmarki długiego horyzontu są pierwszym miejscem, w którym to widać. Ale Cognition nie publikuje liczby tur, liczby tokenów ani rozbicia na zadania dla Flasha tak, jak zrobiło to dla SWE-2 — gdzie podało, że średnia liczba kroków spada ze 127 do 53 przy średnim wysiłku — więc mechanizm jest wywnioskowany z kształtu tabeli, a nie zademonstrowany. Traktuj go jako hipotezę, która pasuje do twojego własnego doświadczenia albo nie.

Cena i szybkość, w jedynej walucie, jaką podaje Cognition

Żaden z modeli nie ma ceny za token, ponieważ żaden nie ma punktu końcowego. To, co publikuje Cognition, to stosunek: SWE-2 Flash kosztuje jedną piątą ceny SWE-2 i działa trzy razy szybciej — 200 tok/s w porównaniu z 60. Obie liczby pochodzą z tej samej metodologii odtwarzania — uruchomienia każdego modelu na zadaniu gsea-proteomics w Terminal-Bench 4.0, odtworzone przy symulowanych szybkościach z transkryptami skróconymi do równej długości — więc obie opisują zamierzony profil obsługi, a nie zmierzony.

Współczynnik nadal jest najbardziej istotną dla decyzji liczbą w wydaniu, pod warunkiem że wykonasz następny krok. Cena za jednostkę pracy to nie to samo co koszt na rozwiązane zadanie, a to drugie jest tym, co zespół faktycznie płaci. Jeśli piąta jest jedną piątą kosztu zadania — jedyne odczytanie, które czyni to twierdzenie sensownym w produkcie subskrypcyjnym — to arytmetyka jest prosta.

• W DeepSWE 1.1 — Flash rozwiązuje 82% tylu zadań przy jednej piątej kosztu, co oznacza około 4,1 razy niższy koszt na rozwiązane zadanie, nawet w wierszu, w którym wypada najgorzej.

• W przypadku FrontierCode 2.0 — rozwiązuje nieco więcej zadań przy jednej piątej kosztu, co oznacza, że jest około 5 razy tańszy w przeliczeniu na rozwiązane zadanie.

• W Terminal-Bench 4.0 — rozwiązuje 73% tyle zadań przy jednej piątej kosztu, około 3,7 razy taniej na rozwiązane zadanie.

Każda z tych liczb zakłada, że piąta dotyczy kosztu zadania, a nie tokenu, oraz że wskaźniki rozwiązywania przenoszą się na Twoją kolejkę. Cognition nie mówi która, a to założenie odgrywa dużą rolę. Jeśli piąta to cena tokenu w modelu, który emituje więcej tokenów na zadanie, przewaga maleje i może się odwrócić w wierszach długiego horyzontu. Ta arytmetyka to test wrażliwości, a nie pomiar, i należy ją ponownie przeprowadzić na własnych logach.

To, co nie budzi wątpliwości, to okno promocyjne. SWE-2 Flash jest bezpłatny w Devin Desktop i CLI do 30 listopada 2026 r. Własne bezpłatne okno SWE-2 zakończyło się 10 października. Przez najbliższe kilka tygodni porównanie cen w Devin to jedna piąta przeciwko zeru, co wcale nie jest porównaniem — to okres oceny z terminem.

Nie należą do tej samej linii, a różnica parametrów jest ich najmniej interesującym aspektem.

SWE-2 powstał w wyniku dotrenowania modelu Kimi K3: 2,8 biliona parametrów, 104 mld aktywnych na token, baza, która przeszła już rozległe RL na potrzeby kodowania agentowego. SWE-2 Flash powstał w wyniku dotrenowania modelu Inkling-Small: łącznie 276 mld, 12 mld aktywnych, Apache 2.0, od Thinking Machines. Własna tabela rozmiarów Cognition określa Flash jako 1x, a SWE-2 jako 10,1x. W parametrach aktywnych stosunek jest bliższy dziewięciu do jednego.

Teraz zestaw to z wynikami. 8,5-krotna różnica w liczbie aktywnych parametrów daje 4,5 punktu w FrontierCode 1.1 Main i zupełnie nic w FrontierCode 2.0. Tymczasem sam etap post-trainingu jest wart znacznie więcej niż różnica parametrów: tabela Cognition pokazuje Inkling-Small z wynikiem 21,5 w FrontierCode 1.1 Main oraz Flash z wynikiem 45,5, co daje wzrost o 24 punkty dzięki mid-trainingowi i RL na tej samej podstawie. Wariancja przypisywana post-trainingowi jest około pięciokrotnie większa niż wariancja przypisywana całej różnicy parametrów między oboma modelami.

To jest odkrycie, które ta para wypracowuje wspólnie, i jest ono większe niż każdy z modeli osobno. Wyjaśnia to również, dlaczego Cognition jest gotowe sprzedawać mniejszy model za jedną piątą ceny: drogą częścią SWE-2 nigdy nie był model bazowy. Były to dane, weryfikatory i środowiska RL, a Flash wykorzystuje tę inwestycję na tańszej bazie.

Należy tu poczynić dwa zastrzeżenia. Porównanie to tabela jednego dostawcy dotycząca benchmarków kontrolowanych przez tego dostawcę, a nic z niej nie zostało niezależnie odtworzone. Poza tym modele bazowe nie są równoważnymi danymi wejściowymi — Kimi K3 ma milion tokenów kontekstu i natywne przetwarzanie obrazu, podczas gdy Inkling-Small to inna architektura z odmiennym wsparciem multimodalnym — więc „ten sam post-training, tańsza baza” to sposób ujęcia przez Cognition, a nie wyizolowana zmienna.

Asymetria ustalania wysiłku

SWE-2 został wydany z trzema udokumentowanymi poziomami wysiłku rozumowania — medium, high i max — a wrześniowa premiera Cognition wyjaśniała, do czego służy każdy z nich: medium szybciej przechodzi do działania, natomiast high i max więcej planują, eksplorują większą część bazy kodu i przeznaczają więcej na weryfikację. Stwierdzono również, że raportowano najlepszy wynik każdego modelu w różnych ustawieniach wysiłku.

SWE-2 Flash nie dokumentuje żadnej kontroli poziomu wysiłku. Wpis premierowy o tym nie wspomina, a tabela benchmarków nie zawiera kolumny z ustawieniami. Opublikowane porównanie zestawia więc SWE-2 w najlepszym wydaniu z Flash w nieokreślonej konfiguracji — jest to porównanie równorzędne tylko wtedy, gdy Flash ma jedno ustawienie, a niesprawiedliwe w nieznanym kierunku, jeśli ma ich kilka.

Jeśli Flash naprawdę nie ma kontroli poziomu wysiłku, to jest to różnica produktowa warta nazwania, a nie luka w dokumentacji. Wysiłek to sposób, w jaki wymieniasz koszt na głębokość w przypadku poszczególnych zadań, a model bez niego daje jedno ustawienie dla kolejki zawierającej zarówno trywialne, jak i trudne zadania. To dokładnie ta wymiana, którą ten współczynnik ma umożliwiać.

Do której kolejki należy każdy z nich

Sposób, w jaki Cognition ujmuje tę kwestię, jest tu najuczciwszym przewodnikiem. Firma twierdzi, że mniejsze modele „coraz częściej potrafią obsłużyć znaczną część pracy wykonywanej przez agentów programistycznych, takiej jak automatyzacje, przeglądy kodu, rozwijanie funkcji i aktualizowanie dokumentacji”, a SWE-2 Flash opracowano właśnie do takiej pracy. Zestaw tę listę z kształtem benchmarku, a oba elementy się zgadzają: zadania o ograniczonym zakresie, jasna definicja ukończenia, duży wolumen, niska tolerancja na opóźnienia.

• Jeśli zadanie mieści się w jednym prompcie, a definicja ukończenia jest jednoznaczna — przegląd, aktualizacja dokumentacji, niewielka funkcja, zaplanowana automatyzacja — właściwym domyślnym wyborem jest Flash, a przedstawiona powyżej arytmetyka kosztu na rozwiązane zadanie mówi, że jest on kilkukrotnie tańszy, nawet tam, gdzie rozwiązuje mniej zadań.

• Jeśli agent musi zdecydować, co robić dalej, więcej niż kilka razy — migracja, refaktoryzacja obejmująca wiele repozytoriów, sesja debugowania, w której pierwsza hipoteza zwykle okazuje się błędna — to 13-punktowa luka w DeepSWE jest dokładnie tym, co kupujesz wraz z SWE-2, a stosunek tego nie rekompensuje.

• Jeśli nie potrafisz stwierdzić, którym z nich jest zadanie, rozpocznij je na Flashu i eskaluj. To właśnie decyzja, dla której Cognition stworzył poziomy wysiłku w SWE-2, a brak kontroli wysiłku w Flashu sprawia, że eskalacja jest decyzją routingu, a nie parametrem.

Błędem, którego należy unikać, jest wykorzystywanie wygranej o 0,2 punktu jako podstawy do przesunięcia trudnej kolejki. To jeden benchmark, jedna edycja, jeden dostawca, a wynik mieści się w granicach czułości samego instrumentu.

Poza Devinem żaden z nich nie jest kandydatem.

Żaden z modeli nie udostępnia API. Żaden nie ma publicznie dostępnych wag. Jeśli twoje środowisko testowe jest własne, ta para nie jest wyborem, którego możesz dokonać, a darmowe okno ci nie pomoże — to okres próbny w produkcie, który musisz kupić.

Osiągalna połowa tego stosu to baza. Kimi K3 jest kierowany przez OrcaRouter jako kimi/kimi-k3 w cenie 3,00 USD za milion tokenów wejściowych i 15,00 USD za milion tokenów wyjściowych, z oknem kontekstu 1 mln tokenów i natywnym wywoływaniem narzędzi, w cenie katalogowej dostawcy, bez doliczanej marży. Jedno API obejmuje ponad 200 modeli, co sprawia, że podział kolejki opisany powyżej da się wdrożyć poza Devinem: reguła routingu może kierować zadania o ograniczonym zakresie do taniego modelu, a zadania długoterminowe eskalować do mocniejszego, przy czym klient nie wie, który model odpowiedział. Automatyczny failover powinien znajdować się za ścieżką eskalacji, ponieważ model, do którego eskalujesz, to ten, którego niedostępności nie możesz sobie pozwolić.

To inny produkt niż SWE-2 Flash i nie jest jego zamiennikiem. To jest to, co robisz, gdy rzecz, którą chcesz ocenić, nie ma punktu końcowego.

Co by to rozstrzygnęło

Trzy ujawnienia zamieniłyby to porównanie z tabeli dostawcy w dowód. Niezależne uruchomienie DeepSWE 1.1 i Terminal-Bench 4.0 na obu modelach, przeprowadzone przez kogoś, kto nie jest Cognition i nie korzysta z harnessu Cognition. Podanie ustawienia wysiłku i scaffoldingu stojącego za każdym wierszem w tabeli Flash, zgodne z tym, co zapewniła premiera SWE-2. Oraz powtórzone uruchomienie, aby margines 0,2 punktu można było odróżnić od wariancji między uruchomieniami.

Do tego czasu możliwa do obrony interpretacja jest wąska. SWE-2 Flash to zoptymalizowany kosztowo brat zbudowany na znacznie mniejszej bazie, na równi z SWE-2 w najnowszym benchmarku i wyraźnie w tyle w pracy długoterminowej, oferowany w relacji cenowej, która na podstawie dostępnych dowodów czyni go kilkukrotnie tańszym na rozwiązane zadanie. To dobra decyzja produktowa i skromne twierdzenie techniczne. Wygrana 0,2 punktu nie jest dowodem, że cokolwiek zastąpiła — jest dowodem, że na jednym instrumencie, jednego dnia, luka zmniejszyła się wystarczająco, by zniknąć w szumie.