SWE-2 Flash vs. Flint v1.0: Eine ehrliche Benchmark-Zeile und jede Menge Lärm

Zwei kleine Mixture-of-Experts-Coding-Modelle mit geringer aktiver Parameterzahl, im Abstand von fünfzehn Tagen veröffentlicht, beanspruchen beide dieselbe Leistungsklasse zu einem Bruchteil der Kosten eines Flaggschiffs. SWE-2 Flash von Cognition vom 4. November 2026 hat insgesamt 276B Parameter bei 12B aktiven. Flint v1.0 von Recursive vom 21. Oktober 2026 hat insgesamt 39,8B bei rund 2,5B aktiven. Sie sind dieselbe architektonische Wette in sehr unterschiedlichen Größenordnungen — und die ehrliche Art, sie zu vergleichen, ist, von vornherein zuzugeben, dass sich ihre veröffentlichten Tabellen in genau einer Zeile überschneiden.

Diese Zeile ist Terminal-Bench 2.1: 89,2 für SWE-2 Flash gegenüber 54,9 für Flint v1.0. Es ist eine Differenz von 34 Punkten, es ist die stärkste einzelne Zahl, die eines der beiden Unternehmen in diesem Duell erzielt hat, und sie geht mit zwei Vorbehalten einher, die groß genug sind, um zu ändern, wie man sie liest. Alles andere, das man versucht sein könnte zu vergleichen, ist entweder eine andere Benchmark-Version oder eine andere Teilmenge derselben Benchmark.

Gleiche Wette, umgekehrte Lizenz

Die gemeinsame These lautet, dass aktive Parameter, nicht Gesamtparameter, die Inferenzkosten bestimmen — man kann also ein großes spärliches Modell bauen und zahlt nur für den Anteil, der aktiv wird. Flint setzt pro Token 6 von 256 gerouteten Experten plus einen geteilten Experten ein, über 49 Schichten hinweg, davon 35 mit Sliding-Window und einem Fenster von 513 Token sowie 14 mit voller Aufmerksamkeit. SWE-2 Flash erbt diese Struktur von seiner Basis Inkling-Small: 276B insgesamt, 12B aktiv, posttrainiert mit einer Mid-Training-Phase, die Cognition zuvor nicht verwendet hatte.

Der Unterschied, der mehr zählt als jedes Architekturdetail, ist, was man mit der Ausgabe machen darf:

• Gewichte — Flint v1.0 ist Apache 2.0 auf Hugging Face in BF16-, FP8- und quantisierten Formen. SWE-2 Flash wird vollständig zurückgehalten, wobei ein Partner-Sharing-Programm versprochen, aber noch nicht näher spezifiziert wurde.

• Verfügbarkeit — Flint läuft unter llama.cpp, Ollama, LM Studio, vLLM und SGLang auf Hardware, die Ihnen gehört. SWE-2 Flash läuft in Devin Desktop und der Devin CLI und nirgendwo sonst.

• Preis — Flints Grenzkosten sind Ihre GPU. SWE-2 Flash ist bis zum 30. November 2026 kostenlos und hat danach keinen veröffentlichten Preis pro Token.

• Kontext — Flint gibt 262.144 Tokens an, konfigurierbar auf ungefähr 512K. SWE-2 Flash gibt nichts an.

Das ist kein kleiner Unterschied in der Grundhaltung. Das eine ist ein Artefakt, das man inspizieren, quantisieren, feinabstimmen und auf einem Laptop ausführen kann. Das andere ist ein Produkt mit einem Gratismonat.

Die eine Zeile, die Sie vergleichen können

Terminal-Bench 2.1 ist der einzige Benchmark, bei dem beide Unternehmen eine Zahl für dieselbe Version melden. Flints 54,9 wurde mit Terminus 2 erzeugt, wobei pass@1 über mindestens fünf Versuche gemittelt wurde. SWE-2 Flashs 89,2 wurde auf einem Harness erzeugt, den Cognition nicht nennt, bei einer Effort-Einstellung, die es nicht offenlegt, aus einem Launch-Post, der den Methodik-Anhang auslässt, den sein September-Vorgänger enthielt.

Die 34-Punkte-Lücke ist insofern real, als beide Zahlen auf demselben Aufgabensatz berichtet wurden, und insofern unscharf, als die eine Seite erklärte, wie sie dorthin gelangte, die andere jedoch nicht. Ein Modell, das innerhalb eines gemeinsam entwickelten Agent-Scaffolds bewertet wird – und genau das ist Devin –, wird im Allgemeinen besser abschneiden als dasselbe Modell, das über einen generischen Harness bewertet wird. Flints Zahl ist gerade deshalb die konservative, weil Recursive die Methode veröffentlicht hat.

Wenn Sie einen einzigen Satz möchten: In der einzigen gemeinsamen Zeile liegt SWE-2 Flash weit vorne, und keines der beiden Unternehmen hat einer unabhängigen Partei die Möglichkeit gegeben, dies zu überprüfen.

Die beiden Pro-Wertungen, die identisch aussehen – und es nicht sind

Das ist die Falle in diesem Duell, und es lohnt sich, dafür kurz innezuhalten. Recursive meldet Flint v1.0 mit 89,7 auf SWE-bench Pro v2. Cognition meldet SWE-2 Flash mit 89,9 auf SWE-Bench Pro v2 Hard. Zwei Zahlen, 0,2 Punkte auseinander, die in jeder Aggregation, die Sie finden werden, nebeneinander stehen.

Sie sind nicht dieselbe Messung. „Hard“ ist eine Teilmenge – ein gefilterter Ausschnitt des Aufgabensatzes, nicht der gesamte. Flints Wert ist der vollständige Pro-v2-Lauf unter mini-swe-agent, bei dem über das Web abgerufene Lösungen als Fehlschläge gezählt werden, was eine strengere Bewertungskonvention ist als die meisten Anbieter sie verwenden. 89,9 neben 89,7 zu setzen und es als Gleichstand zu bezeichnen, ist die Art von Vergleich, die zu selbstsicheren, falschen Schlussfolgerungen führt.

Dieselbe Vorsicht gilt für eine Zeile, die keine der beiden Tabellen gemeinsam haben. Flint gibt SWE-bench Verified mit 74,2 an. SWE-2 Flash meldet Verified gar nicht – stattdessen meldet es Pro v2 Hard, DeepSWE 1.1 und SWE-Atlas QA. Der Benchmark, für den die meisten Teams ein Gespür haben, ist für das neuere Modell also nicht verfügbar, wodurch „Flint liegt bei SWE-bench zurück“ zu einer unbelegten Behauptung statt zu einem Befund wird.

Der Kontext ist die Spezifikation, die entscheidet.

Für agentisches Coding ist das Kontextfenster keine Fußnote – es entscheidet, ob ein Modell die relevante Oberfläche eines Repositories in einem einzigen Planungsschritt erfassen kann oder stückweise gefüttert werden muss. Flint gibt 262.144 Token an. SWE-2 Flash gibt nichts an, und nach drei Tagen Berichterstattung hat kein Medium dies belegt.

Flints Kontext bringt eine eigene Einschränkung mit sich. Messungen aus der Community zeigen, dass der Durchsatz bei langem Kontext einbricht – von etwa 110 Tokens pro Sekunde bei kurzen Prompts auf etwa 9 Tokens pro Sekunde bei nahezu 115.000 Tokens. Ein 262K-Fenster, das mit 9 Tok/s läuft, ist ein Fenster, das man bewusst für einen einzigen großen Lesevorgang nutzt, nicht eines, das man über eine lange Sitzung hinweg offen lässt. Quantisierung mildert die Rechenkosten, aber nicht diese Kurve.

Das unveröffentlichte Fenster von SWE-2 Flash ist die größere Unbekannte, denn Devin ist ein Produkt für lange Sitzungen. Wenn Sie zwischen beiden wählen, in der Annahme, dass das geschlossene Modell mit größeren Repositories besser umgeht, dann stützen Sie Ihre Wahl auf eine Zahl, die niemand veröffentlicht hat.

Geschwindigkeit, die Sie verifizieren können, gegen Geschwindigkeit, die Sie nicht verifizieren können

Cognition gibt an, dass SWE-2 Flash etwa 200 Token pro Sekunde erreicht, verglichen mit 60 bei SWE-2. Die Zahl stammt aus dem erneuten Abspielen verkürzter Sitzungsprotokolle mit simulierten Raten, nicht aus der Zeitmessung eines Live-Endpunkts. Es ist eine Demonstration, keine Messung, und derzeit gibt es für niemanden außerhalb von Cognition eine Möglichkeit, sie zu überprüfen.

Flints Durchsatzangaben sind im Vergleich bescheiden und deutlich leichter zu widerlegen: etwa 125 bis 131 Tokens pro Sekunde auf einem M4 Pro MacBook Pro, über 150 auf einer RTX Spark mit 64 GB. Diese wurden auf Hardware gemessen, die man kaufen kann, von Leuten, die die Konfiguration veröffentlicht haben. Vom NVFP4-quantisierten Build heißt es, er liege in den Benchmarks nur etwa 0,7 Punkte von BF16 entfernt, und das ist genau die Art von Behauptung, die eine Community testen kann und auch testen wird.

Ein echter Makel, den man kennen sollte: Der GGUF-Weg hatte in llama.cpp einen Chat-Template-Bug, und das Modell hat im Vergleich zu allem aus einem großen Labor nur eine dünne Community-Bilanz. Frühe Anwender übernehmen das Debugging.

Was jede Option dich tatsächlich kostet

Flint v1.0 ist kostenlos herunterladbar und kostet so viel, wie Ihre Inferenz kostet. Ein 39.8B-Modell mit 2.5B aktiven Parametern läuft auf einem gut ausgestatteten Laptop mit nutzbarer Geschwindigkeit – genau das ist der Sinn der Architektur. Die Einführungskosten sind operativer Natur: Sie tragen die Verantwortung für den Serving-Stack, die Wahl der Quantisierung und die Fehlermodi.

SWE-2 Flash kostet bis zum 30. November 2026 nichts und danach eine unbekannte Summe, weil Cognition ein Verhältnis veröffentlicht hat – ein Fünftel des Preises von SWE-2 – statt eines Tarifs. Wenn der Planungsprozess Ihres Teams eine Zahl benötigt, die in eine Tabellenkalkulation eingetragen werden kann, ist das das blockierende Problem, nicht die Benchmark-Lücke.

Keines der beiden Modelle befindet sich heute im OrcaRouter-Katalog, und wir werden nichts anderes suggerieren. Was an diesem Vergleich nützlich ist, ist nicht das Routing zwischen diesen beiden, sondern das Benchmarking des Umfelds um sie herum: mehr als 200 Modelle stehen hinter einem einzigen OrcaRouter-Schlüssel bei 0 % Aufschlag auf den Listenpreis des Anbieters, wodurch es nur einer Änderung einer Zeichenkette bedarf, dieselbe Repository-Aufgabe durch ein Dutzend Kandidaten laufen zu lassen. Wenn Sie zwischen zwei Modellen entscheiden, bei denen eine Seite ihre Testumgebung veröffentlicht hat und die andere nicht, ist Ihre eigene Evaluierung mehr wert als die Tabelle beider Anbieter.

Wer sollte was auswählen?

Wählen Sie Flint v1.0, wenn Sie die Gewichte benötigen. Wenn Ihre Einschränkung Datenresidenz, Offline-Betrieb, Fine-Tuning oder ein Preis pro Token ist, der nicht von der Preisentscheidung eines anderen Unternehmens abhängt, dann ist die 34-Punkte-Lücke bei Terminal-Bench ein Preis, den Sie durchaus zu zahlen bereit sein könnten — und Flints 262K-Kontext und die veröffentlichte Harness geben Ihnen ein Modell, über das Sie nachdenken können, statt eine Blackbox.

Wähle SWE-2 Flash, wenn du bereits in Devin bist und das kostenlose Zeitfenster ausreicht, um deine Frage zu beantworten. Es ist das leistungsstärkere Modell in der einen Zeile, die beide Unternehmen gemessen haben, und zwar mit großem Abstand, und es kostet nichts, es bis Ende November auszuprobieren.

Niemand sollte sich aufgrund der SWE-bench-Pro-Zahlen für eines von beiden entscheiden. 89,7 und 89,9 stehen nicht für denselben Test, und der Unterschied zwischen ihnen ist kleiner als der Unterschied zwischen einer der beiden Zahlen und dem, was Ihr Repository tatsächlich liefern wird.