SWE-2 Flash vs North Mini Code: Benchmark wewnątrz benchmarku

Oto niezręczne zestawienie. SWE-2 Flash to 276-miliardowy model po treningu wydany 4 listopada 2026 r., z ośmioma wierszami benchmarków i bez możliwości jego wywołania. North Mini Code to 30-miliardowy model, który Cohere udostępnił w czerwcu 2026 r. na licencji Apache 2.0, z tabelą benchmarków pokrywającą się z SWE-2 Flash dokładnie w zerowej liczbie wierszy — oraz niezależnym wynikiem, którego SWE-2 Flash w ogóle nie ma. Na papierze nowszy, większy model wygrywa wszystko. W świetle dowodów starszy, mniejszy jest jedynym z tych dwóch, który został zmierzony przez stronę trzecią.

Ta inwersja to cały artykuł i jest bardziej użyteczna niż porównanie wyników, ponieważ porównania wyników tak naprawdę nie da się dokonać.

Dwa modele MoE o przeciwnych budżetach parametrów

Oba to rzadkie modele mieszanki ekspertów zbudowane wokół tego samego argumentu kosztowego: płacisz za aktywne parametry, a nie za wszystkie. Znajdują się na niemal przeciwnych krańcach zakresu.

• Łączna liczba parametrów — SWE-2 Flash 276B vs North Mini Code 30B

• Aktywne na token — SWE-2 Flash 12B vs North Mini Code 3B

• Układ ekspertów — SWE-2 Flash dziedziczy strukturę Inkling-Small; North Mini Code kieruje do 8 z 128 ekspertów

• Kontekst — niepublikowany SWE-2 Flash kontra North Mini Code 256K, z maksymalnym wyjściem 64K

• Maksymalna wydajność — niepublikowany SWE-2 Flash vs North Mini Code 64K

• Licencja — SWE-2 Flash nieujawniona vs North Mini Code Apache 2.0 w BF16, FP8 i W4A16

Dziewięciokrotna różnica w liczbie aktywnych parametrów to liczba, która wyjaśnia wszystko inne. SWE-2 Flash może sobie pozwolić na to, by być większym modelem, którego trenowanie trwa dłużej, a który działa tanio w przeliczeniu na token, ponieważ uruchamia się tylko 12B jego parametrów. North Mini Code działa na ułamku tego, dlatego Cohere może umieścić go we wdrożeniu klasy laptopowej i dlatego jego pułap w benchmarkach jest niższy.

Dlaczego nie można umieścić 89.2 obok 36.0

Porównanie, które będzie krążyć, to Terminal-Bench: SWE-2 Flash z wynikiem 89,2 i North Mini Code z wynikiem 36,0. 53-punktowa różnica, która sprawiłaby, że nie byłby to artykuł. To nie jest jednak poprawne odejmowanie — z powodu, który łatwo przeoczyć.

North Mini Code podaje „Terminal-Bench v2” na poziomie 36,0 i „Terminal-Bench Hard” na poziomie 31,1. SWE-2 Flash podaje „Terminal-Bench 2.1” na poziomie 89,2 i „Terminal-Bench 4.0” na poziomie 20,0. „v2” i „2.1” to sąsiadujące etykiety dotyczące tego, co może, ale nie musi być tym samym zestawem zadań, a żaden z dostawców nie podaje liczby zadań, środowiska testowego ani konwencji punktacji w porównywanym materiale.

Wewnętrzne dowody wskazują, że te wersje to zupełnie różne narzędzia. Dwa własne wiersze SWE-2 Flash w Terminal-Bench różnią się o 69 punktów — 20,0 w 4.0, 89,2 w 2.1. Kiedy jeden model uzyskuje 20 i 89 w dwóch benchmarkach o tej samej nazwie i różnych numerach, to wersja jest miarą. Zestawianie wyniku 2.x z wynikiem v2 i nazywanie różnicy luką w możliwościach to najczęstszy błąd w tej przestrzeni porównań.

Pozostałe wiersze wyglądają, jakby były wspólne, ale nie są. North Mini Code podaje SWE-bench Pro na poziomie 40,2; SWE-2 Flash podaje SWE-Bench Pro v2 Hard na poziomie 89,9. Inna generacja benchmarku i filtrowany podzbiór. North podaje SWE-bench Verified na poziomie 67,6; SWE-2 Flash w ogóle nie podaje Verified. North podaje SciCode 38,2 i LiveCodeBench v6 70,3; SWE-2 Flash nie podaje żadnego z nich.

Zostaje więc DeepSWE 1.1, w przypadku którego SWE-2 Flash podaje 60,1, a North Mini Code nie podaje nic.

Niezależny numer, który ma tylko jeden z nich

North Mini Code ma Artificial Analysis Intelligence Index wynoszący 27,6 oraz Coding Index wynoszący 33,4. Są to pomiary stron trzecich oparte na spójnej metodologii, przeprowadzone na modelu, który każdy może pobrać i uruchomić ponownie.

SWE-2 Flash nie ma wpisu w Artificial Analysis, ponieważ Artificial Analysis mierzy modele przez API, a SWE-2 Flash nie ma API. Każda przypisana mu liczba — 60,1, 89,2, 20,0, 24,0 w FrontierCode 2.0 — pochodzi od samej Cognition, została uzyskana w nieujawnionych ramach testowych, a FrontierCode to własny benchmark Cognition. To nie oznacza, że te liczby są błędne. Oznacza to, że czytelnik nie ma sposobu odróżnić rzeczywistej zdolności od szczodrze zaprojektowanego otoczenia pomocniczego.

Dla modelu 30B z otwartymi wagami z czerwca wynik AA Coding Index 33,4 to skromny rezultat — powyżej 25,9 modelu GLM-4.7-Flash, poniżej 35,2 modelu Qwen3.6 35B-A3B. To także wynik, który można zweryfikować, a to jest warte więcej niż wiersz dostawcy, którego zweryfikować nie można.

Szybkość i to, które twierdzenie jest sprawdzalne

Cohere podaje około 199 tokenów wyjściowych na sekundę w swoim API, czyli około 2,8 razy więcej niż przepustowość Devstral Small 2. To pomiar na udostępnionym punkcie końcowym: żądanie trafia na wejście, tokeny wychodzą, a każdy z dostępem może to odtworzyć.

Cognition podaje około 200 tokenów na sekundę dla SWE-2 Flash wobec 60 dla SWE-2; liczby te uzyskano przez odtwarzanie skróconych transkrypcji sesji przy symulowanych szybkościach. Obie liczby różnią się od siebie o nie więcej niż jeden token na sekundę i oznaczają zupełnie różne rzeczy. Jedna jest pomiarem przepustowości; druga jest demonstracją tego, jak model wyglądałby przy tej szybkości.

Taki schemat powtarza się w całym porównaniu. Starszy model publikuje mniej imponujące twierdzenia, do których dołączono więcej metodyki. Nowszy model publikuje lepiej wyglądające twierdzenia bez żadnej.

W czym North Mini Code jest naprawdę słaby

Nie wszystko przemawia na korzyść Cohere. North Mini Code to specjalista od kodowania i zachowuje się jak taki: uzyskuje 14% w GDPval-AA i 37% w τ²-Bench Telecom, obu niekodujących ewaluacjach agentowych, w których model ogólnego przeznaczenia poradziłby sobie znacznie lepiej. Jeśli Twój agent musi robić coś innego niż pisanie i testowanie kodu — obsługiwać przepływ pracy klienta, prowadzić rozumowanie dotyczące procesu biznesowego — North Mini Code to niewłaściwe narzędzie, a szersza baza SWE-2 Flash jest prawdopodobnie lepszym wyborem.

Jego okno kontekstowe jest publicznie podane i duże — 256 000 tokenów z limitem wyjścia 64 000 tokenów — choć użyteczne okno wciąż zależy od stosu obsługi. A model 30B z 3B aktywnych ma niższy pułap niż model 276B z 12B aktywnych; żadna ilość przejrzystości metodologicznej tego nie zniweluje.

Koszt i argumenty za warstwą routingu

North Mini Code można pobrać bezpłatnie na licencji Apache 2.0, z opłatą za hostowanie we własnym API Cohere i dostępnością za pośrednictwem kilku platform zewnętrznych. SWE-2 Flash jest bezpłatny w Devin do 30 listopada 2026 r., a po tej dacie bez ustalonej ceny, bez możliwości pobrania w jakimkolwiek przewidywalnym horyzoncie.

Żaden z nich nie znajduje się w katalogu OrcaRouter. Model Cohere każdy dysponujący odpowiednim sprzętem może hostować samodzielnie, a model Cognition nie ma punktu końcowego, do którego można by kierować ruch — więc uczciwie mówiąc, ta decyzja i tak zapada poza naszym katalogiem. To, co warstwa routingu rzeczywiście zmienia, to koszt pomyłki. OrcaRouter przekazuje cenę listową dostawcy bez marży (0%) i automatycznie przełącza się w razie awarii, więc aplikacja napisana pod jeden identyfikator modelu nie jest aplikacją napisaną pod dostępność jednego dostawcy. W przypadku pary, w której jedna strona może zostać objęta nową ceną 1 grudnia, a druga może nigdy nie dać się wywołać, to przenośność jest tym, o co warto zadbać na poziomie inżynierii.

Jak podjąć decyzję

Jeśli chcesz model, który możesz samodzielnie uruchomić, sprawdzić, skwantyzować i zbenchmarkować, North Mini Code jest jedyną opcją w tej parze, a jego opublikowane okno kontekstu i budżet 3B aktywnych parametrów czynią go praktycznym na skromnym sprzęcie. Zaakceptuj niższy pułap możliwości i wąskie skupienie na kodowaniu.

Jeśli korzystasz z Devina i kluczowe jest dla Ciebie darmowe okno, SWE-2 Flash jest wyraźnie mocniejszym modelem według jego własnych wyników, a koszt wypróbowania go do 30 listopada wynosi zero.

Nie należy zestawiać 89,2 z 36,0 i wyciągać jakichkolwiek wniosków. Te liczby pochodzą z różnych narzędzi pomiarowych, podanych przez różne firmy, w przypadku rodziny benchmarków, w której numer wersji jest miarą. Jedynym możliwym do obrony stwierdzeniem o tej parze jest to, które brzmi najmniej jak werdykt: jeden z nich został oceniony niezależnie, a drugi nie — i to jest większa różnica niż jakikolwiek wiersz w którejkolwiek z tabel.