SWE-2 Flash vs. SWE-2: Was ein Sieg mit 0,2 Punkten wirklich wert ist

Cognitions eigene Vergleichstabelle gibt SWE-2 Flash genau einen Sieg über SWE-2: 24,0 gegen 23,8 bei FrontierCode 2.0. Zwei Zehntelpunkte, in Cognitions eigenem Benchmark, in einer Tabelle, die Cognition erstellt hat, um das kleinere Modell von seiner besten Seite zu zeigen. Sie ist zugleich die nützlichste Zahl der Veröffentlichung – wegen dem, was die Zeilen darunter bewirken, und wegen dem, was die eine Zeile oberhalb des Falzes stillschweigend auslässt.

Die Kurzfassung für alle, die am Schreibtisch entscheiden, statt bis zum Ende zu lesen: Flash ist kein kleineres SWE-2. Es ist ein anderes Modell auf einer anderen Basis, abgestimmt auf den begrenzten Rand des Aufgabenspektrums und zum Fünftelpreis innerhalb desselben Produkts. Der Vorsprung von 0,2 Punkten ist real und bedeutet weniger, als es aussieht.

Zwei Ausgaben desselben Benchmarks widersprechen sich, und das ist die erste Erkenntnis.

Stellt man die beiden FrontierCode-Zeilen nebeneinander, erzählt die Tabelle keine Geschichte mehr darüber, wie ein kleines Modell aufholt.

• FrontierCode 2.0 — SWE-2 Flash 24.0 gegen SWE-2 23.8

FrontierCode 1.1 Main — 45,5 vs. 50,0

Dasselbe Instrument, zwei Editionen, gegensätzliche Urteile. Bei der neueren Edition liegt der Flash um einen Bruchteil vorn; bei der älteren liegt er 4,5 Punkte zurück. Eine dieser Zeilen wird es in eine Launch-Folie schaffen und die andere nicht, und welche gewählt wird, verrät mehr über den Präsentierenden als über das Modell.

Es gibt eine vertretbare Lesart, in der beide Zeilen zutreffen und sich nicht widersprechen: Die 2.0-Edition ist schwieriger, absolute Punktzahlen rücken zusammen, und ein neuerer Aufgabensatz kann genau das belohnen, worauf Flash nachtrainiert wurde. Es gibt auch eine weniger schmeichelhafte Lesart: Eine Schwankung von 4,5 Punkten zwischen zwei Editionen eines Benchmarks ist ein Maß dafür, wie empfindlich das Instrument ist, und ein Abstand von 0,2 Punkten liegt innerhalb dieser Empfindlichkeit. Cognition veröffentlicht keine Konfidenzintervalle und keine wiederholten Läufe, daher lässt sich der Unterschied zwischen 24,0 und 23,8 mit den gegebenen Informationen nicht vom Rauschen unterscheiden. Was sich sagen lässt, ist enger und dennoch nützlich — auf dem neuesten Benchmark von Cognition liegen die beiden Modelle gleichauf, nicht getrennt.

Wohin die dreizehn Punkte gehören

Der Rest der Tabelle liegt nicht dicht beieinander, und die Form der Lücke ist der aufschlussreiche Teil.

• DeepSWE 1.1 — SWE-2 Flash 60.1 vs. SWE-2 73.0

• Terminal-Bench 4.0 — 20,0 vs. 27,3

• SWE-Atlas QA — 50,0 vs. 56,3

• Terminal-Bench 2.1 — 89,2 vs. 92,8

• SWE-Bench Pro v2 Hard — 89,9 vs. 90,6

• ExploitBench — 34,8 vs. 36,1

Ordnet man diese danach, wie viel Freiheit die Aufgabe dem Agenten lässt, zeigt sich ein Muster. Bei SWE-Bench Pro v2 Hard – einem gut spezifizierten Issue mit einer definierten Lösung – liegt Flash 0,7 Punkte zurück. Bei Terminal-Bench 2.1 sind es 3,6 Punkte. Bei Terminal-Bench 4.0 beträgt der Abstand 7,3, und bei DeepSWE 1.1, der Zeile mit langem Horizont, sind es 12,9. Je stärker die Aufgabe vom Modell verlangt zu entscheiden, was als Nächstes zu tun ist, desto größer der Abstand.

Das ist ein plausibler Mechanismus, kein bewiesener. Ein Modell mit einem Zehntel der aktiven Parameter hat weniger Kapazität, einen langen Plan zusammenzuhalten, und bei Long-Horizon-Benchmarks zeigt sich das zuerst. Aber Cognition veröffentlicht für Flash keine Turn-Zahlen, Token-Zahlen oder Aufschlüsselungen pro Aufgabe – anders als für SWE-2, wo es bei mittlerem Aufwand einen Rückgang der durchschnittlichen Schritte von 127 auf 53 meldete –, sodass der Mechanismus aus der Form der Tabelle abgeleitet statt nachgewiesen wird. Behandle ihn als eine Hypothese, die zu deiner eigenen Erfahrung passt oder auch nicht.

Preis und Geschwindigkeit – in der einzigen Währung, die Cognition nennt.

Keines der beiden Modelle hat einen Preis pro Token, da keines einen Endpunkt besitzt. Was Cognition veröffentlicht, ist ein Verhältnis: SWE-2 Flash kostet ein Fünftel von SWE-2 und läuft mit dreifacher Geschwindigkeit, 200 tok/s gegenüber 60. Beide Werte stammen aus derselben Replay-Methodik – dem Lauf jedes Modells auf der gsea-proteomics-Aufgabe von Terminal-Bench 4.0, wiedergegeben mit simulierten Raten und auf gleiche Länge gekürzten Transkripten – daher beschreiben beide ein beabsichtigtes Serving-Profil und kein gemessenes.

Das Verhältnis ist nach wie vor die entscheidungsrelevanteste Zahl im Release, vorausgesetzt, man geht den nächsten Schritt. Der Preis pro Arbeitseinheit ist nicht dasselbe wie die Kosten pro gelöster Aufgabe, und Letzteres ist das, was ein Team tatsächlich zahlt. Wenn das Fünftel ein Fünftel der Kosten einer Aufgabe ist – die einzige Lesart, die die Behauptung innerhalb eines Abonnementprodukts sinnvoll macht –, dann ist die Rechnung einfach.

• Bei DeepSWE 1.1 – Flash löst 82 % so viele Aufgaben zu einem Fünftel der Kosten, was selbst in der Zeile, in der es am schlechtesten abschneidet, ungefähr 4,1-mal günstiger pro gelöster Aufgabe ist.

• Bei FrontierCode 2.0 — löst es etwas mehr Aufgaben zu einem Fünftel der Kosten, was pro gelöster Aufgabe etwa 5-mal günstiger ist.

• Bei Terminal-Bench 4.0 — löst es 73 % so viele bei einem Fünftel der Kosten, etwa 3,7-mal günstiger pro gelöster Aufgabe.

Jede einzelne dieser Zahlen geht davon aus, dass das Fünftel auf die Kosten einer Aufgabe und nicht auf ein Token entfällt und dass die Lösungsraten sich auf Ihre Queue übertragen lassen. Cognition sagt nicht, was davon gilt, und diese Annahme leistet eine Menge Arbeit. Wenn das Fünftel ein Tokenpreis bei einem Modell ist, das pro Aufgabe mehr Token ausgibt, verringert sich der Vorteil und könnte sich bei den Long-Horizon-Zeilen umkehren. Die Berechnung ist eine Sensitivitätsprüfung, keine Messung, und sollte erneut anhand Ihrer eigenen Logs durchgeführt werden.

Was außer Zweifel steht, ist der Aktionszeitraum. SWE-2 Flash ist in Devin Desktop und CLI bis zum 30. November 2026 kostenlos. Das eigene kostenlose Zeitfenster von SWE-2 endete am 10. Oktober. In den nächsten Wochen lautet der Preisvergleich innerhalb von Devin ein Fünftel gegen null – was überhaupt kein Vergleich ist, sondern ein Evaluierungszeitraum mit Frist.

Sie gehören nicht derselben Abstammungslinie an, und der Parameterunterschied ist das am wenigsten Interessante an ihnen.

SWE-2 wurde auf Basis von Kimi K3 nachtrainiert: 2,8 Billionen Parameter, 104 Mrd. aktive pro Token, eine Basis, die bereits umfangreiches RL für agentisches Coding durchlaufen hatte. SWE-2 Flash wurde auf Basis von Inkling-Small nachtrainiert: 276 Mrd. insgesamt, 12 Mrd. aktiv, Apache 2.0, von Thinking Machines. Cognitions eigene Größentabelle setzt Flash bei 1x und SWE-2 bei 10,1x an. Bei den aktiven Parametern liegt das Verhältnis eher bei neun zu eins.

Vergleichen Sie das nun mit den Punktwerten. Ein achtfacher Unterschied bei den aktiven Parametern bringt 4,5 Punkte auf FrontierCode 1.1 Main und überhaupt nichts auf FrontierCode 2.0. Der Post-Training-Schritt selbst ist indes weit mehr wert als der Parameterunterschied: Cognition's Tabelle zeigt Inkling-Small bei 21,5 auf FrontierCode 1.1 Main und das Flash bei 45,5 – ein Zugewinn von 24 Punkten durch Mid-Training und RL auf derselben Basis. Die Varianz, die auf das Post-Training zurückzuführen ist, ist etwa fünfmal so groß wie die Varianz, die auf die gesamte Parameterlücke zwischen den beiden Modellen zurückzuführen ist.

Das ist der Befund, den das Paar gemeinsam hervorbringt, und er ist größer als jedes der beiden Modelle. Es erklärt auch, warum Cognition bereit ist, das kleinere zum Fünftel des Preises zu verkaufen: Der teure Teil von SWE-2 war nie das Basismodell. Es waren die Daten, die Verifizierer und die RL-Umgebungen, und Flash nutzt diese Investition auf einer günstigeren Basis erneut.

Hier sind zwei Einschränkungen anzumerken. Der Vergleich ist eine Anbietertabelle zu Benchmarks, die der Anbieter kontrolliert, und nichts davon wurde unabhängig reproduziert. Und die Basismodelle sind keine gleichwertigen Eingaben – Kimi K3 kommt mit einem Kontext von einer Million Token und nativer Vision, während Inkling-Small eine andere Architektur mit anderer multimodaler Unterstützung ist –, sodass „gleiches Post-Training, günstigere Basis“ Cognitions Deutung und keine isolierte Variable ist.

Die Asymmetrie bei der Aufwandsfestlegung

SWE-2 wurde mit drei dokumentierten Reasoning-Effort-Stufen ausgeliefert – medium, high und max – und Cognitions September-Launch erklärte, wofür jede gedacht war: medium geht früher in die Umsetzung, während high und max mehr planen, mehr der Codebasis erkunden und mehr für die Verifikation aufwenden. Außerdem wurde angegeben, dass für jedes Modell die beste Punktzahl über alle Effort-Einstellungen hinweg gemeldet wurde.

SWE-2 Flash dokumentiert überhaupt keine Aufwandssteuerung. Der Launch-Post erwähnt keine, und die Benchmark-Tabelle enthält keine Spalte für Einstellungen. Der veröffentlichte Vergleich stellt also SWE-2 in Bestform gegen den Flash mit einer nicht genannten Konfiguration — was nur dann ein fairer Vergleich ist, wenn der Flash eine einzige Einstellung hat, und ein unfairer in unbekannte Richtung, wenn er mehrere hat.

Wenn der Flash wirklich keine Effort-Steuerung hat, ist das eine Produktdifferenz, die man benennen sollte, und keine Dokumentationslücke. Mit Effort wägt man pro Aufgabe Kosten gegen Tiefe ab, und ein Modell ohne Effort gibt dir nur eine einzige Einstellung für eine Warteschlange, die sowohl triviale als auch schwierige Arbeit enthält. Genau dieser Kompromiss ist es, den das Verhältnis dir eigentlich ermöglichen soll.

In welche Warteschlange jedes Einzelne gehört

Cognitions eigene Darstellung ist hier der ehrlichste Leitfaden. Darin heißt es, kleinere Modelle „seien zunehmend in der Lage, einen erheblichen Teil der Arbeit zu übernehmen, die Software-Agenten erledigen, etwa Automatisierungen, Code-Reviews, Feature-Entwicklung und das Aktualisieren von Dokumentation“, und dass SWE-2 Flash für diese Arbeit entwickelt wurde. Hält man diese Liste gegen den Zuschnitt des Benchmarks, stimmen beide überein: begrenzte Aufgaben, eine klare Definition von „erledigt“, hohes Volumen, geringe Latenztoleranz.

• Wenn die Aufgabe in einen Prompt passt und die Definition von „fertig“ eindeutig ist – ein Review-Durchgang, ein Dokumentations-Update, ein kleines Feature, eine geplante Automatisierung –, dann ist Flash die richtige Standardwahl, und die obige Rechnung zu den Kosten pro gelöster Aufgabe zeigt, dass er selbst dort um ein Vielfaches günstiger ist, wo er weniger Aufgaben löst.

• Wenn der Agent mehr als nur ein paar Mal entscheiden muss, was als Nächstes zu tun ist – eine Migration, ein repo-übergreifendes Refactoring, eine Debugging-Sitzung, bei der die erste Hypothese meist falsch ist –, dann ist die 13-Punkte-Lücke bei DeepSWE genau das, was man mit SWE-2 kauft, und das Verhältnis gleicht das nicht aus.

• Wenn du nicht erkennen kannst, um welche dieser Stufen es sich bei einer Aufgabe handelt, starte sie auf dem Flash und eskaliere. Genau dafür hat Cognition die Effort-Stufen auf SWE-2 eingebaut, und die fehlende Effort-Steuerung des Flash macht die Eskalation zu einer Routing-Entscheidung statt zu einem Parameter.

Der Fehler, den es zu vermeiden gilt, ist, den 0,2-Punkte-Vorsprung als Lizenz zu nehmen, die harte Warteschlange zu verschieben. Es ist ein Benchmark, eine Edition, ein Anbieter – und er liegt innerhalb der dem Instrument eigenen Sensitivität.

Außerhalb von Devin ist keiner von beiden ein Kandidat.

Keines der beiden Modelle hat eine API. Keines hat öffentliche Gewichte. Wenn dein Harness dein eigener ist, ist das Paar keine Wahl, die du treffen kannst, und das kostenlose Zeitfenster hilft dir nicht – es ist eine Testphase innerhalb eines Produkts, das du kaufen musst.

Die erreichbare Hälfte dieses Stacks ist die Basis. Kimi K3 wird über OrcaRouter als kimi/kimi-k3 zu 3,00 $ pro Million Eingabe-Token und 15,00 $ pro Million Ausgabe-Token geroutet, mit einem Kontextfenster von 1 Mio. Token und nativer Tool-Nutzung, zum Listenpreis des Anbieters ohne Aufschlag. Eine API deckt mehr als 200 Modelle ab, was die oben beschriebene Aufteilung der Warteschlange außerhalb von Devin umsetzbar macht: Eine Routing-Regel kann begrenzte Arbeit an ein günstiges Modell senden und die lang laufenden Jobs an ein leistungsfähigeres eskalieren, ohne dass der Client weiß, welches geantwortet hat. Automatisches Failover gehört hinter den eskalierten Pfad, denn das Modell, zu dem eskaliert wird, ist genau dasjenige, dessen Nichtverfügbarkeit du dir nicht leisten kannst.

Das ist ein anderes Produkt als SWE-2 Flash, und es ist kein Ersatz dafür. Es ist das, was man tut, wenn das, was man bewerten möchte, keinen Endpunkt hat.

Was würde es klären

Drei Offenlegungen würden diesen Vergleich von einer Anbietertabelle in einen Beleg verwandeln. Ein unabhängiger Lauf von DeepSWE 1.1 und Terminal-Bench 4.0 auf beiden Modellen, durchgeführt von jemandem, der nicht Cognition ist und nicht den Harness von Cognition verwendet. Eine Angabe der Effort-Einstellung und des Scaffolds hinter jeder Zeile in der Flash-Tabelle, die mit dem übereinstimmt, was der SWE-2-Launch bereitgestellt hat. Und ein wiederholter Lauf, damit ein Abstand von 0,2 Punkten von der Lauf-zu-Lauf-Varianz unterschieden werden kann.

Bis dahin ist die belastbare Lesart die enge. SWE-2 Flash ist ein kostenoptimiertes Geschwistermodell auf einer viel kleineren Basis, auf dem neuesten Benchmark gleichauf mit SWE-2 und bei langfristigen Aufgaben klar dahinter, angeboten zu einem Verhältnis, das es nach den verfügbaren Belegen pro gelöster Aufgabe um ein Mehrfaches billiger macht. Das ist eine gute Produktentscheidung und eine bescheidene technische Behauptung. Der Sieg um 0,2 Punkte ist kein Beleg dafür, dass es irgendetwas ersetzt hat – er ist ein Beleg dafür, dass an einem einzigen Messinstrument an einem einzigen Tag die Lücke weit genug schrumpfte, um im Rauschen zu verschwinden.