Cognition SWE-2: Frontier-nahes Coding mit 64 % Rabatt – und die Benchmark-Falle darunter

Cognition SWE-2 ist diese Woche mit einer Zahl auf den Markt gekommen, die dazu gemacht ist, sich zu verbreiten: 50,0 % auf FrontierCode 1.1 Main, nur einen Punkt von Claude Fable 5.1 bei 50,9 % entfernt, für 64 % weniger Geld. Das Modell ist ein Post-Train von Moonshot AIs Kimi K3 – der 2,8-Billionen-Parameter-Basis mit offenen Gewichten – und Cognition sagt, sein Reinforcement Learning habe über mehrere Benchmarks hinweg 5–6 Punkte hinzugefügt. Beide Zahlen stammen vom Anbieter selbst, und keine von beiden wurde unabhängig reproduziert. Die zweite ist jedoch die Behauptung, die ändern sollte, wie man die erste liest, denn „plus fünf oder sechs“ beschreibt offenbar fast alles, was SWE-2 tut, einschließlich der Stellen, an denen es deutlich verliert.

Das ist keine Kritik. Es ist das Nützlichste an dieser Veröffentlichung, und es ist der Punkt, den fast keine der Launch-Berichte laut ausspricht.

Was Cognition tatsächlich ausgeliefert hat

SWE-2 ist Devins Coding-Modell, kein Allzweck-API-Modell mit einer Preisliste. Es wurde ausgeliefert ab heute verfügbar in Devin Desktop und CLI, in den eigenen Worten von Cognition, mit einem Rollout, der bei Devin Web und Fusion im Gange ist. Berichterstattung von Drittanbietern datiert die Ankündigung auf den 10. September 2026; die Verfasserzeile im eigenen Blogbeitrag von Cognition lautet 09.11.26. So oder so ist es erst wenige Tage alt. Die Gewichte sind proprietär, und es gibt keine veröffentlichte Preistabelle pro Token. Wenn Sie SWE-2 nutzen möchten, nutzen Sie es innerhalb von Devin.

Die Basis ist Kimi K3, ein Mixture-of-Experts-Modell mit 2,8 Billionen Parametern, von denen pro Token rund 104 Mrd. Parameter aktiv sind – etwa dreimal so groß wie die Basis von SWE-1.7. Cognition merkt an, dass K3 bereits intensiv per RL für agentisches Coding trainiert worden war, bevor es dort ankam, und dass sein eigenes RL „noch erheblichen Spielraum findet“. Das spiegelt das Muster von SWE-1.7 wider, das ebenfalls auf einer Kimi-Basis nachtrainiert wurde.

Hier ist das Detail, das mehr zählt als jede einzelne Benchmark-Punktzahl: FrontierCode ist der Benchmark von Cognition. Das Unternehmen schreibt die Aufgaben – mit über 20 Open-Source-Maintainern, mehr als 40 Stunden pro Aufgabe, wobei jeder Maintainer definiert, was in seinem eigenen Repository als „mergeable“ gilt –, betreibt das Leaderboard und bewertet die Einsendungen. Es ist ein ernsthaftes Stück Evaluationsdesign und zugleich ein hausinternes Instrument. Cognition berichtet für jedes Modell den besten Wert über die Reasoning-Effort-Einstellungen hinweg, und laut dem eigenen Methodik-Anhang wurden die Open-Weight-Vergleichsmodelle, einschließlich Kimi K3, in Cognitions Devin CLI ausgeführt. Nichts davon macht die Zahlen falsch. All das gehört in den Satz, in dem man sie wiederholt.

Die Benchmark-Tabelle ehrlich lesen

Vier Benchmarks, alle vom Anbieter angegeben. Hier steht, was jede einzelne tatsächlich aussagt – eine Zeile pro Eintrag.

• FrontierCode 1.1 Main — SWE-2 50,0 %, gegenüber Kimi K3 44,2 %, Grok 4.6 48,0 %, GPT-5.6 Sol 47,5 %, Claude Fable 5.1 50,9 %, GPT-6 Astra 53,3 %, SWE-1.7 42,0 %. Nur einen Punkt von der Frontier entfernt, vor allem anderen in der Tabelle.

• DeepSWE 1.1 — SWE-2 73,0 %, vor Claude Fable 5.1 mit 67,4 % und Grok 4.6 mit 67,5 %, hinter GPT-6 Astra mit 74,1 %. Dies ist die Zeile, in der SWE-2 am glaubwürdigsten direkt ein Frontier-Modell übertrifft.

• Terminal-Bench 2.1 — SWE-2 92,8 %, die höchste Punktzahl in der Tabelle von Cognition, vor Claude Fable 5.1 mit 91,4 % und GPT-6 Astra mit 89,9 %. Das ist die Zahl, die in den meisten Launch-Schlagzeilen auftaucht.

• Terminal-Bench 4 — SWE-2 27,3 %, gegenüber Claude Fable 5.1 mit 55,8 % und GPT-6 Astra mit 57,9 %. Eine Lücke von rund 28 Punkten, und die Zeile, die am seltensten zitiert wird.

Der naheliegende Einwand ist, dass bei Terminal-Bench 4 alle abfallen – es ist ein schwierigerer Nachfolger mit längerem Horizont, also sinken die Punktzahlen natürlich. Der interessante Teil ist um wie viel, und der Abfall ist nicht proportional. Beim Wechsel von Terminal-Bench 2.1 zu 4 verliert Claude Fable 5.1 etwa 35,6 Punkte und GPT-6 Astra etwa 32,0. SWE-2 verliert etwa 65,5 und sein Basismodell Kimi K3 etwa 66,8. Bei langhorizontiger agentischer Arbeit liegt SWE-2 also nicht nur unter den Frontier-Modellen – es verschlechtert sich ungefähr doppelt so schnell wie diese, wenn die Aufgabe lange läuft.

Ob Terminal-Bench 4 die „live“-Version ist, sollte man klar sagen: Sie ist die aktuelle Edition, und 2.1 ist die abgelöste. Die Zeile, in der SWE-2 führt, ist der ausgemusterte Benchmark. Die Zeile, in der SWE-2 zurückliegt, ist der aktuelle. Beide Tatsachen stimmen, und die Launch-Berichterstattung neigte dazu, sich eine davon herauszupicken.

„Kimi K3 plus fünf“ – die Heuristik, die die Punktzahlen vorhersagt, die niemand veröffentlicht hat.

Stellt man die vier Benchmarks dem eigenen Basismodell von SWE-2 gegenüber, springt dabei etwas geradezu Mechanisches heraus. Gegenüber Kimi K3 gewinnt SWE-2 5,8 Punkte bei FrontierCode 1.1 Main, 4,5 bei DeepSWE 1.1, 4,5 bei Terminal-Bench 2.1 und 5,8 bei Terminal-Bench 4.

Vier Benchmarks, vier Lücken, alle zwischen 4,5 und 5,8. Das Post-Training hat das Niveau verschoben, nicht die Form. Wo K3 stark ist, ist SWE-2 stark plus etwa fünf. Wo K3 schwach ist – Terminal-Bench 4 ist der klare Fall – ist SWE-2 schwach plus etwa fünf.

Das gibt Ihnen eine brauchbare Prognose für jede Aufgabe, die Cognition nicht gebenchmarkt hat – und das ist die Mehrheit. Suchen Sie nach, wie Kimi K3 bei Ihrer Workload abschneidet, addieren Sie fünf Punkte, und Sie haben eine bessere Schätzung von SWE-2, als Ihnen irgendeine der Schlagzeilen-Zahlen liefern wird. Es erklärt auch die eigentliche These der Veröffentlichung: Cognition behauptet nicht, die Frontier geschlagen zu haben. Es behauptet, die gesamte Kosten-Leistungs-Kurve nach außen verschoben zu haben, während es auf jeder Achse, die Sie messen, einen festen Abstand zum besten Modell beibehält.

Die 64 % sind echt, aber man kann sie nicht kaufen.

„64 % günstiger als Claude Fable 5.1“ ist eine wahre Aussage über eine bestimmte Messgröße – und die Messgröße sind die durchschnittlich pro Rollout auf FrontierCode ausgegebenen US-Dollar, nicht ein Token-Preis. Es gibt keinen Preis pro Token für SWE-2, weil es keine SWE-2-API gibt. Die Kostenaussage beschreibt, was eine Aufgabe innerhalb von Devin kostet, wobei das Modell, das Harness, das Scaffolding und der Serving-Stack von Cognition in einer einzigen Rechnung gebündelt werden.

Diese Unterscheidung hat Gewicht. Man kann die Kosten von SWE-2 nicht mit einem Tokenpreis eines anderen Anbieters vergleichen, denn es sind nicht dieselben Einheiten. Und man kann SWE-2 nicht woandershin mitnehmen: proprietäre Gewichte, ein Anbieter, ein Agentenprodukt. Die Angabe „bis zu 70 % niedrigere Kosten“ in manchen Berichten ist der obere Wert der Spanne, die Cognition über Benchmarks hinweg nennt; der Wert für FrontierCode 1.1 Main liegt bei 64 %.

Die Effizienzwerte sind, wenn überhaupt, die praktischere Geschichte, und auch sie sind vom Anbieter angegeben. SWE-2 bei mittlerem Aufwand schlägt den FrontierCode-Score von SWE-1.7, während es 58 % weniger Turns benötigt und im Durchschnitt 81 % weniger kostet. Die durchschnittlichen Schritte pro Lauf sinken von 127 bei SWE-1.7 auf 53 bei mittlerem Aufwand (80 bei hohem, 98 bei maximalem), und der Median des ersten echten Code-Edits verschiebt sich von Schritt 48 auf Schritt 18. Das ist eine direkte Antwort auf die Beschwerde, dass SWE-1.7 einfache Aufgaben übermäßig explorierte, und es ist die Art von Verbesserung, die sich auf Ihrer Rechnung niederschlägt, lange bevor eine Benchmark-Lücke von einem Punkt es tut.

Der Trainings-Trick ist die eigentliche Nachricht.

Lässt man die Leaderboard-Positionierung beiseite, gibt es hier eine wirklich neuartige technische Leistung, weshalb die Veröffentlichung lesenswert ist, selbst wenn man Devin nie öffnet.

Cognition trainierte alle drei Reasoning-Effort-Stufen — mittel, hoch und maximal — in einem einzigen RL-Lauf. Der Mechanismus ist eine lineare Kostenstrafe pro Aufwandsstufe, wobei jede einzelne so abgestimmt ist, dass sie der Steigung der eigenen Kosten-Leistungs-Pareto-Kurve des Basismodells an diesem Punkt entspricht. Cognitions Argument dafür, warum die Strafe linear sein muss, ist der interessante Punkt: Nur eine lineare Strafe bewirkt, dass das Trainingsziel allein eine Funktion von durchschnittlichen Kosten und Lösungsrate bleibt, statt etwas, das von der Form der Verteilung abhängt.

Der übliche Ansatz trainiert Aufwandsstufen separat oder schraubt anschließend einen günstigeren Checkpoint daran. Sie gemeinsam in einem einzigen Lauf zu trainieren, ist das, was es dem Unternehmen erlaubt zu behaupten, es habe die gesamte Frontier vorangebracht statt nur einen Punkt darauf. Unterstützende Änderungen: eine längengewichtete Reward-Baseline, eine Verdreifachung der Anzahl der RL-Umgebungen, Instruction-Following-Overlays und ein Flywheel, das frühere SWE-2-Checkpoints nutzt, um die Verifier gegen Reward-Hacking zu härten. Auf der Serving-Seite: NVFP4- und FP8-Kernels mit quantisierungsbewusstem Training, ein DSpark-Draft-Modell für spekulative Dekodierung, das für 15 % längere Akzeptanzlängen neu trainiert wurde, und ein Prefill-Delayer, der 10–20 % Durchsatz pro GPU bringt – auf Kosten einer schlechteren Time-to-First-Token.

Wenn man Post-Training durchführt, ist dieses Rezept der übertragbare Teil dieser Veröffentlichung. Wenn nicht, ist die Erkenntnis einfacher: Der Grund, warum SWE-2 günstig ist, ist nicht, dass es ein kleineres Modell ist. Er liegt darin, dass die Kosten für seinen Betrieb in die Belohnungsfunktion geschrieben wurden.

Wenn Sie die Fähigkeit von Kimi K3 außerhalb von Devin möchten

SWE-2 ist nicht auf OrcaRouter vertreten und wird es auch nicht sein — proprietäre Gewichte, keine API, Vertrieb ausschließlich über Devin. Bei seinem Basismodell sieht die Sache anders aus. Kimi K3 ist auf OrcaRouter geroutet als kimi/kimi-k3, zu $3.00 pro 1M Input-Tokens und $15.00 pro 1M Output-Tokens ohne Aufschlag auf den Anbieterpreis, mit einem Kontextfenster von 1M Tokens, nativem Tool-Calling, Bildeingabe und einer Reasoning-Tiefe, die über einen Top-Levelreasoning_effort-Parameter statt über Sampling-Einstellungen gesteuert wird.

Das ist die ehrliche Version der praktischen Kernaussage dieses Releases. SWE-2 zeigt Ihnen, wie ein gut ausgeführter RL-Durchlauf auf K3 an der Spitze seines Bereichs aussieht – eine echte Steigerung um 4,5 bis 5,8 Punkte plus große Effizienzgewinne, zu echten Kosten. Was es Ihnen nicht bietet, ist ein Modell, das Sie aufrufen können. Wenn Sie die zugrunde liegende Fähigkeit auf Ihren eigenen Code, Ihr eigenes Harness oder Ihre eigene Pipeline richten möchten, ist K3 der Teil dieses Stacks, den Sie tatsächlich erreichen können, und er ist über einen einzigen OpenAI-kompatiblen Endpunkt erreichbar.

Es ist außerdem die sicherere Hälfte der Wette, solange die Zahlen nicht geprüft sind. SWE-2s Benchmarks stammen von Cognition selbst, und niemand außerhalb des Unternehmens hat sie reproduziert. Kimi K3s sind diejenigen, auf denen der Vergleich tatsächlich beruht — und wenn du über OrcaRouter routest, kannst du eine Fallback-Kette dahinterlegen, damit ein Modell, das du gerade testest, nicht an dem Tag, an dem es dich enttäuscht, zu einer Produktionsabhängigkeit wird.

Wer sollte handeln, und was würde es klären?

Wenn Sie bereits für Devin bezahlen, ist SWE-2 schlichtweg eine gute Nachricht: Es wird für Ihr Produkt ausgerollt, ist pro Aufgabe günstiger als das, was es ersetzt, und die Effizienzzahlen legen nahe, dass es bei einfachen Arbeiten weniger Durchgänge verschwendet. Testen Sie es zuerst am einfachen Ende Ihrer Warteschlange — das Design der Aufwandsstufen bedeutet, dass die mittlere Stufe dort liegt, wo der Kostenvorteil zu holen ist.

Wenn Sie ein Codemodell von außerhalb auswählen, warten Sie auf eine unabhängige Bewertung. Bislang gibt es keine: Artificial Analysis hat keinen SWE-2-Eintrag, und das FrontierCode-Leaderboard ist ein Instrument von Cognition selbst. Drei Dinge würden die Sache klären. Ein Drittanbieter-Durchlauf von SWE-2 auf Terminal-Bench 4 – der Wert, der entscheidet, ob dies ein frontier-nahes Modell oder ein schnelles ist. Jede unabhängige Reproduktion der FrontierCode-Lücke. Und ein Preis pro Token, was erfordern würde, dass Cognition das Modell außerhalb von Devin verkauft – die einzige Änderung, die die 64 % mit allem anderen vergleichbar machen würde, was Ihnen angeboten wird.

Bis dahin ist die faire Zusammenfassung die, die Ihnen die Base-Model-Lücke bereits liefert. SWE-2 ist Kimi K3 plus fünf Punkte, zu Kosten, die Cognition in die Reward-Funktion eingebaut hat. Das ist eine echte Trainingsleistung und ein wirklich gutes Geschäft innerhalb von Devin. Es ist noch kein Frontier-Modell, und der eine Benchmark, bei dem es alles zu schlagen scheint, ist derjenige, der nicht mehr gezählt wird.