SWE-2 Flash vs. North Mini Code: Der Benchmark im Benchmark

Hier ist eine unangenehme Gegenüberstellung. SWE-2 Flash ist ein am 4. November 2026 veröffentlichtes Post-Train-Modell mit 276 Mrd. Parametern, acht Benchmark-Zeilen und keiner Möglichkeit, es aufzurufen. North Mini Code ist ein 30-Mrd.-Parameter-Modell, das Cohere im Juni 2026 unter Apache 2.0 ausgeliefert hat, mit einer Benchmark-Tabelle, die sich mit SWE-2 Flash in exakt null Zeilen überschneidet – und mit einem unabhängigen Score, den SWE-2 Flash überhaupt nicht hat. Auf dem Papier gewinnt das neuere, größere Modell alles. Den Belegen nach ist das ältere, kleinere das einzige der beiden, das ein Dritter gemessen hat.

Diese Umkehrung macht den ganzen Artikel aus, und sie ist nützlicher als ein Punktevergleich, denn der Punktevergleich lässt sich tatsächlich nicht anstellen.

Zwei MoEs mit gegensätzlichen Parameterbudgets

Beide sind Sparse-Mixture-of-Experts-Modelle, die auf demselben Kostenargument basieren: für aktive Parameter zahlen, nicht für die Gesamtzahl. Sie liegen an nahezu entgegengesetzten Enden des Spektrums.

• Gesamtparameter — SWE-2 Flash 276B vs. North Mini Code 30B

• Aktiv pro Token — SWE-2 Flash 12B vs. North Mini Code 3B

• Experten-Layout — SWE-2 Flash übernimmt die Struktur von Inkling-Small; North Mini Code routet zu 8 von 128 Experten

• Kontext — SWE-2 Flash unveröffentlicht vs. North Mini Code 256K, mit maximal 64K Ausgabe

• Maximale Ausgabe — SWE-2 Flash unveröffentlicht vs. North Mini Code 64K

• Lizenz — SWE-2 Flash zurückgehalten vs. North Mini Code Apache 2.0 in BF16, FP8 und W4A16

Der neunfache Unterschied bei den aktiven Parametern ist die Zahl, die alles andere erklärt. SWE-2 Flash kann sich ein größeres, langsamer zu trainierendes Modell leisten, das pro Token günstig läuft, weil nur 12B davon aktiv werden. North Mini Code läuft mit einem Bruchteil davon, weshalb Cohere es in einer Bereitstellung der Laptop-Klasse anbieten kann und weshalb seine Benchmark-Obergrenze niedriger liegt.

Warum du 89,2 nicht neben 36,0 setzen kannst

Der Vergleich, der die Runde machen wird, ist Terminal-Bench: SWE-2 Flash bei 89,2, North Mini Code bei 36,0. Eine Differenz von 53 Punkten, die daraus einen Nicht-Artikel machen würde. Es ist keine gültige Subtraktion, aus einem Grund, der leicht übersehen wird.

North Mini Code meldet „Terminal-Bench v2“ mit 36,0 und „Terminal-Bench Hard“ mit 31,1. SWE-2 Flash meldet „Terminal-Bench 2.1“ mit 89,2 und „Terminal-Bench 4.0“ mit 20,0. „v2“ und „2.1“ sind benachbarte Bezeichnungen für möglicherweise dieselbe oder auch nicht dieselbe Aufgabensammlung, und keiner der Anbieter gibt in dem verglichenen Material die Anzahl der Aufgaben, die Testumgebung oder die Bewertungskonvention an.

Die internen Belege zeigen, dass diese Versionen völlig unterschiedliche Instrumente sind. SWE-2 Flashs eigene zwei Terminal-Bench-Zeilen liegen 69 Punkte auseinander – 20,0 auf 4.0, 89,2 auf 2.1. Wenn ein Modell 20 und 89 in zwei Benchmarks mit demselben Namen und unterschiedlichen Nummern erzielt, ist die Version der Messgegenstand. Eine 2.x-Punktzahl gegen eine v2-Punktzahl zu setzen und die Differenz als Fähigkeitslücke zu bezeichnen, ist der mit Abstand häufigste Fehler in diesem Vergleichsbereich.

Andere Zeilen sehen wie geteilt aus, sind es aber nicht. North Mini Code meldet SWE-bench Pro mit 40,2; SWE-2 Flash meldet SWE-Bench Pro v2 Hard mit 89,9. Unterschiedliche Benchmark-Generation und eine gefilterte Teilmenge. North meldet SWE-bench Verified mit 67,6; SWE-2 Flash meldet Verified überhaupt nicht. North meldet SciCode 38,2 und LiveCodeBench v6 70,3; SWE-2 Flash meldet keines von beiden.

Damit bleibt DeepSWE 1.1, wo SWE-2 Flash 60,1 meldet und North Mini Code nichts meldet.

Die unabhängige Nummer, die nur einer von ihnen hat

North Mini Code hat einen Artificial Analysis Intelligence Index von 27,6 und einen Coding Index von 33,4. Das sind Messungen von Drittanbietern nach einer einheitlichen Methodik, durchgeführt an einem Modell, das jeder herunterladen und erneut ausführen kann.

SWE-2 Flash hat keinen Eintrag bei Artificial Analysis, weil Artificial Analysis Modelle über eine API misst und SWE-2 Flash keine API hat. Jede ihm zugeordnete Zahl – die 60.1, die 89.2, die 20.0, die 24.0 bei FrontierCode 2.0 – stammt von Cognition selbst, wurde auf einer nicht offengelegten Testumgebung erzeugt, und FrontierCode ist Cognitions eigener Benchmark. Nichts hier besagt, dass diese Zahlen falsch sind. Es besagt, dass ein Leser keine Möglichkeit hat, eine echte Fähigkeit von einem großzügigen Gerüst zu unterscheiden.

Für ein 30B-Modell mit offenen Gewichten vom Juni ist ein AA Coding Index von 33,4 ein bescheidener Wert – höher als die 25,9 von GLM-4.7-Flash, niedriger als die 35,2 von Qwen3.6 35B-A3B. Es ist außerdem ein Wert, den man überprüfen kann, und das ist mehr wert als eine Herstellerzeile, die man nicht überprüfen kann.

Geschwindigkeit und welche Behauptung überprüfbar ist

Cohere gibt für die eigene API etwa 199 Ausgabe-Tokens pro Sekunde an, rund das 2,8-Fache des Durchsatzes von Devstral Small 2. Das ist eine Messung am bereitgestellten Endpunkt: Eine Anfrage geht hinein, Tokens kommen heraus, und jeder mit Zugriff kann sie reproduzieren.

Cognition gibt für SWE-2 Flash etwa 200 Tokens pro Sekunde an, gegenüber 60 bei SWE-2, erzeugt durch das Abspielen verkürzter Sitzungsprotokolle mit simulierten Raten. Die beiden Zahlen liegen nur ein Token pro Sekunde auseinander und bedeuten völlig unterschiedliche Dinge. Die eine ist eine Durchsatzmessung; die andere ist eine Demonstration, wie das Modell bei dieser Geschwindigkeit aussehen würde.

Dieses Muster zieht sich durch den gesamten Vergleich. Das ältere Modell veröffentlicht weniger beeindruckende Behauptungen, aber mit mehr Methodik. Das neuere Modell veröffentlicht besser aussehende Behauptungen ohne jede Methodik.

Wo North Mini Code wirklich schwach ist

Nicht alles spricht für Cohere. North Mini Code ist ein Programmier-Spezialist und verhält sich auch so: Es erzielt 14 % bei GDPval-AA und 37 % bei τ²-Bench Telecom – beides agentische Evaluierungen abseits des Programmierens, bei denen ein Allzweckmodell deutlich besser abschneiden würde. Wenn Ihr Agent etwas anderes tun muss, als Code zu schreiben und zu testen – einen Kundenworkflow abwickeln, einen Geschäftsprozess durchdenken –, ist North Mini Code das falsche Werkzeug, und die breitere Basis von SWE-2 Flash dürfte die bessere Wahl sein.

Sein Kontextfenster ist veröffentlicht und groß — 256.000 Token mit einer Ausgabegrenze von 64.000 Token —, obwohl das nutzbare Fenster weiterhin vom Serving-Stack abhängt. Und ein 30B-Modell mit 3B aktiven Parametern hat eine niedrigere Obergrenze als ein 276B-Modell mit 12B aktiven Parametern; kein Maß an methodischer Transparenz schließt diese Lücke.

Kosten und das Plädoyer für eine Routing-Schicht

North Mini Code ist unter Apache 2.0 kostenlos herunterladbar, mit einem Preis für die gehostete Nutzung über Coheres eigene API und Verfügbarkeit über mehrere Drittanbieterplattformen. SWE-2 Flash ist innerhalb von Devin bis zum 30. November 2026 kostenlos und danach ohne Preisangabe, wobei keine herunterladbare Version absehbar ist.

Keines von beiden ist im OrcaRouter-Katalog. Das Modell von Cohere kann von jedem mit der entsprechenden Hardware selbst gehostet werden, und das von Cognition hat keinen Endpunkt, an den geroutet werden könnte – die ehrliche Einordnung ist also, dass diese Entscheidung so oder so außerhalb unseres Katalogs getroffen wird. Was eine Routing-Schicht sehr wohl ändert, sind die Kosten einer Fehlentscheidung. OrcaRouter gibt den Listenpreis der Anbieter mit 0 % Aufschlag weiter und führt automatisch ein Failover durch, sodass eine Anwendung, die für eine Modell-ID geschrieben wurde, keine Anwendung ist, die auf die Verfügbarkeit eines einzigen Anbieters ausgelegt ist. Bei einem Paar, bei dem eine Seite am 1. Dezember neu bepreist werden kann und die andere möglicherweise nie aufrufbar sein wird, ist diese Portabilität der Teil, für den sich technischer Aufwand lohnt.

Wie man entscheidet

Wenn Sie ein Modell möchten, das Sie selbst ausführen, untersuchen, quantisieren und benchmarken können, ist North Mini Code die einzige Option in diesem Paar, und sein veröffentlichtes Kontextfenster und sein aktives 3B-Budget machen es auf bescheidener Hardware praktikabel. Akzeptieren Sie die niedrigere Leistungsobergrenze und den engen Fokus auf das Programmieren.

Wenn Sie sich in Devin befinden und es auf das kostenlose Zeitfenster ankommt, ist SWE-2 Flash gemessen an seinen eigenen Zahlen mit großem Abstand das stärkere Modell, und die Kosten für einen Test bis zum 30. November sind null.

Was Sie nicht tun sollten, ist, 89,2 neben 36,0 zu stellen und daraus irgendetwas zu schließen. Diese Zahlen stammen von unterschiedlichen Instrumenten, gemeldet von unterschiedlichen Unternehmen, auf einer Benchmark-Familie, deren Versionsnummer die Messgröße ist. Die einzige verteidigbare Aussage über dieses Paar ist die, die am wenigsten nach einem Urteil klingt: Eine der beiden wurde unabhängig bewertet und die andere nicht, und das ist ein größerer Unterschied als jede Zeile in einer der beiden Tabellen.