
MAI Code 2 vs. SWE-2: Dieselben zwei Benchmarks, nur von einem der beiden veröffentlicht
- OrcaNEUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 pro 1 Mio. Tokens · 180 tok/s
- tencentNEUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 pro 1 Mio. Tokens · 223 tok/s
- GoogleNEUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 pro 1 Mio. Tokens · 89 tok/s
- AnthropicNEUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 pro 1 Mio. Tokens · 98 tok/s
- orcaNEUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 pro 1 Mio. Tokens · 88 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 pro 1 Mio. Tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 pro 1 Mio. Tokens · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 pro 1 Mio. Tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 pro 1 Mio. Tokens · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 pro 1 Mio. Tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 pro 1 Mio. Tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 pro 1 Mio. Tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligenz
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 pro 1 Mio. Tokens · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligenz
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 pro 1 Mio. Tokens · 114 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligenz
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 pro 1 Mio. Tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligenz
MAI Code 2 und SWE-2 nennen in ihrem Launch-Material nahezu exakt dieselben Benchmarks, und nur einer von ihnen verrät, was er erreicht hat. Microsofts Beitrag vom 17. November 2026 listet DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas und FrontierCode v1.1 auf und nennt dann Verhältnisse: 96 % der Leistung von Claude Opus 5.5 zu 5 % der Kosten. Cognitions SWE-2-Beitrag, veröffentlicht am 10. September 2026, listet dieselben ersten beiden Benchmarks auf und gibt für jede eine Zahl an: 73,0 % bei DeepSWE 1.1, 92,8 % bei Terminal-Bench 2.1, 27,3 % bei Terminal-Bench 4.0. Diese dritte Zahl sollte man sich merken, denn sie betrifft die Edition, die Microsoft nicht berichtet hat – und sie zeigt, was mit einem Coding-Modell passiert, wenn der Terminal-Benchmark schwieriger wird.
Beide Modelle teilen außerdem eine Vertriebsbeschränkung, die sie in dieser Kategorie ungewöhnlich macht: Keines von beiden hat eine öffentliche API pro Token. MAI Code 2 ist erreichbar, indem man es in einem GitHub Copilot-Client auswählt. SWE-2 läuft innerhalb von Devin. Zwei Modelle, die man nicht aus dem eigenen Code aufrufen kann, wobei eines davon seine Zahlen veröffentlicht.
Die Benchmark-Edition, die niemand zuerst nennt
Cognitions Tabelle ist das nützlichste Artefakt, das einer der beiden Anbieter veröffentlicht hat – und nicht, weil SWE-2 darauf irgendetwas gewinnt. Sie ist nützlich, weil sie dasselbe Modell zeigt, gemessen auf zwei Editionen desselben Benchmarks.
• Terminal-Bench 2.1 — SWE-2 bei 92,8 %, gegenüber 91,4 % für Claude Fable 5.1, 89,9 % für GPT-6 Astra und 88,3 % für Kimi K3
• Terminal-Bench 4.0 — SWE-2 bei 27,3 %, gegenüber 55,8 % für Claude Fable 5.1, 57,9 % für GPT-6 Astra und 21,5 % für Kimi K3
• DeepSWE 1.1 — SWE-2 bei 73,0 %, gegenüber 74,1 % für GPT-6 Astra, 72,7 % für GPT-5.6 Sol und 67,4 % für Claude Fable 5.1
• FrontierCode 1.1 Main — SWE-2 bei 50,0 %, gegenüber 53,3 % für GPT-6 Astra und 50,9 % für Claude Fable 5.1
Lies die ersten beiden Zeilen zusammen. SWE-2 steht auf 2.1 an zweiter Stelle und auf 4.0 an vorletzter Stelle, ein Rückgang von rund 65 Punkten, und damit ist es nicht allein: Kimi K3 fällt bei demselben Vergleich um 67 Punkte. Die Modelle, die standhalten, sind die für Arbeit mit langem Zeithorizont optimierten. Das ist keine Eigenheit des Harness eines einzelnen Labs — es ist die Benchmark-Ausgabe, die schwieriger wird, und genau deshalb ist „wir haben Terminal Bench 2.1 ausgeführt“ im November 2026 eine schwächere Behauptung als im September.
Microsoft hat Terminal Bench 2.1 ausgeführt. Microsoft veröffentlichte dafür keine Punktzahl. Microsoft veröffentlichte nichts zu 4.0. Diese drei Tatsachen zusammengenommen bedeuten, dass ein Käufer nicht sagen kann, welche Art von Coding-Modell MAI Code 2 ist: die Art, die standhält, wenn die Terminal-Aufgaben länger werden, oder die Art, die es nicht tut.
Was jeder Anbieter tatsächlich offengelegt hat
Die Offenlegungslücke ist größer als die Preise der Modelle, daher lohnt es sich, sie klar zu benennen.
Cognition veröffentlichte eine Tabelle mit sieben Modellen und vier Benchmarks, eine angegebene Vergleichsgruppe, einen Hinweis darauf, dass Konkurrenzmodelle in Cognitions eigener CLI mit ihrem jeweils besten Reasoning-Aufwand ausgeführt wurden, sowie eine ehrliche Offenlegung eines ausgeschlossenen Punkts: Claude Fable 5.1 erzielte bei maximalem Aufwand 50,3 % auf FrontierCode zu 12,83 US-Dollar pro Aufgabe – unter seinem eigenen Ergebnis bei mittlerem Aufwand – und wurde daher aus dem Diagramm entfernt. Ein Anbieter, der Ihnen sagt, welchen Datenpunkt er entfernt hat, gibt Ihnen die Werkzeuge an die Hand, seine Tabelle abzuwerten.
Microsoft veröffentlichte die Benchmark-Namen, den Harness – MSBench, seine interne Evaluierungsplattform, über die GitHub Copilot CLI mit deaktivierten Subagenten und jedes Modell mit maximalem Reasoning-Aufwand – sowie die Verhältniswerte, die diese Benchmarks im Durchschnitt ergeben. Es veröffentlichte keine Bestehensrate für MAI Code 2 für keinen der vier Benchmarks, keine Parameteranzahl, kein Ausgabelimit und keine Vergleichstabelle mit namentlich genannten Wettbewerbern über die beiden Verhältniswerte hinaus. Artificial Analysis hat Stand 18. November 2026 keine Zeile für das Modell, sodass es keinen unabhängigen Messwert gibt, der als Ersatz dienen könnte.
Eine dieser Offenlegungen ermöglicht es Ihnen, die Argumentation nachzuvollziehen. Die andere fordert Sie auf, eine Schlussfolgerung zu akzeptieren.
Keines der beiden Modelle ist ein Endpunkt, und das ändert die Kaufentscheidung.
SWE-2 hat keinen veröffentlichten Preis pro Token und keine öffentliche API. In Cognition's Beitrag heißt es, es sei in Devin Desktop und CLI verfügbar, mit Rollout auf Devin Web und Fusion, und die einzigen Kostenangaben darin sind Benchmark-Kosten pro Aufgabe – die Art von Zahl, die man nennt, um zu zeigen, dass ein Konkurrent teuer ist, nicht die Art, die man seiner Abrechnung zugrunde legt.
MAI Code 2 verfügt tatsächlich über eine Preiskarte, die von GitHub veröffentlicht wurde: 0,50 $ pro Million Eingabe-Token, 0,025 $ für gecachte, 2,50 $ für Ausgabe, als Aktionspreis bis zum 17. Mai 2027, danach 1,00 $ / 0,05 $ / 5,00 $. Es hat keine eigene API-Oberfläche. MAI Code 2 Flash, das kleinere Geschwistermodell, ist das einzige Modell der Familie mit einer solchen – eine Vorschau mit eingeschränktem Zugriff in Microsoft Foundry über eine OpenAI-kompatible Responses API.
• Preis — MAI Code 2 zu 0,50 $ / 0,025 $ / 2,50 $ pro Million Tokens, Aktionspreis bis 17. Mai 2027, gegenüber keinem veröffentlichten Preis pro Token für SWE-2
• Zugang — ein GitHub Copilot-Seat über Pro, Pro+, Max, Business und Enterprise hinweg, gegenüber einem Devin-Abonnement für Desktop und CLI
• Gewichte — auf keiner Seite verteilt
• Kontext — keine veröffentlichte Kontextangabe für SWE-2, gegenüber 1 Million Tokens bei MAI Code 2, die nur in Visual Studio Code und Copilot CLI verfügbar sind
• Veröffentlichte Benchmark-Ergebnisse – keine für MAI Code 2, im Vergleich zu vier für SWE-2
• Unabhängige Indexzeile — keines der Modelle hat eine
Der praktische Kern ist, dass es sich bei beiden Käufen um Seat-Käufe und nicht um Token-Käufe handelt und nur einer von beiden eine Messgröße mitbringt, die Sie modellieren können. Wenn Ihr Finanzteam Kosten pro Einheit benötigt, liefert MAI Code 2 diese, SWE-2 nicht. Wenn Ihr Engineering-Team wissen muss, ob das Modell Ihre Repositories verbessert, liefert SWE-2 eine Vergleichstabelle und MAI Code 2 ein Verhältnis.

Wofür jedes Modell entwickelt wurde
Microsofts Kurzbeschreibung für MAI Code 2 ist alltägliche Unternehmensarbeit: Code in die Produktion bringen, tiefgehendes Debugging, dateiübergreifende Implementierung, repositoryweites Reasoning, UI und Dashboards. Im Launch-Beitrag heißt es offen, die Modelle seien „ausdrücklich noch nicht für schwierigere Probleme wie Grundlagenforschung und sehr langfristige agentische Arbeit optimiert“ – ein Satz, der neben einer Angabe zu Terminal Bench 2.1 unangenehm fehl am Platz wirkt, denn Terminal-Bench ist ein langfristiger agentischer Benchmark. Microsofts eigene Positionierung besagt, dass es nicht auf das optimiert wurde, was dieser Benchmark misst.
Cognitions Kurzdarstellung zu SWE-2 geht in die entgegengesetzte Richtung: weniger Schritte, günstigere Rollouts, ein Modell, das gemeinsam mit dem Agenten entwickelt wurde, der es ausführt. Der Beitrag nennt durchschnittlich 53 Schritte pro Lauf bei SWE-2 medium gegenüber 127 bei SWE-1.7, Kosten für medium, die 81 % unter denen von SWE-1.7 liegen, sowie einen Median von 18 Schritten bis zur ersten echten Änderung gegenüber 48. Das sind technische Aussagen zur Effizienz des Agenten, und für einen Devin-Abonnenten zählen sie mehr als jede Benchmark-Zeile, denn sie entscheiden darüber, wie viel des monatlichen Kontingents eine Aufgabe verbraucht.
Also sind die beiden Modelle wieder auf unterschiedliche Ziele abgestimmt: das eine auf die alltägliche Aufgabe innerhalb einer IDE, das andere auf die Schrittzahl innerhalb eines autonomen Agenten. Keines ist eine bessere Version des anderen.
Wo ein Router seinen Platz verdient, wenn keines der Modelle routbar ist
Weder MAI Code 2 noch SWE-2 stehen im Katalog von OrcaRouter, und es gibt keine ehrliche Art, etwas anderes nahezulegen: Das eine ist ein Eintrag im Copilot-Modellauswähler, das andere steckt in Devin. Was eine Routing-Schicht ändert, ist nicht der Zugang zu diesen beiden, sondern der Aufwand für den Aufbau des Vergleichs. Die Kontrolle bei jeder Bewertung dieser beiden muss ein Modell sein, das man aufrufen und messen kann — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — und diese laufen über einen einzigen Key zum Listenpreis des Anbieters mit 0% Aufschlag, sodass ein Benchmark-Lauf gegen sie genau zum Tarif des Anbieters abgerechnet wird.
Das ist hier wichtiger als bei den meisten Vergleichen, denn die interessante Frage zu beiden Modellen ist vergleichend: Schlägt ein Alltags-Coder ein Frontier-Modell bei den Kosten pro Merge in Ihrem Code? Das lässt sich nicht beantworten, indem man zwei Anbietertabellen liest, die auf zwei Harnesses erzeugt wurden. Beantworten lässt es sich, indem man das messbare Modell neben dem der beiden laufen lässt, auf das Ihr Team tatsächlich Zugriff hat, und abgeschlossene Aufgaben statt Tokens zählt. Automatisches Failover sorgt dafür, dass dieser Vergleich weiterläuft, wenn mitten im Lauf ein Rate-Limit eines Anbieters eintrifft, und weil die Preise zum Listenpreis durchgereicht werden, werden die Kosten pro Aufgabe des Kontrollmodells nicht durch die Ebene aufgebläht, die Sie zum Messen verwenden.
Welche soll man wählen, angesichts dessen, was du verifizieren kannst?
• Ihr Team nutzt Devin und Sie möchten weniger Schritte pro Rollout – SWE-2, und die Zahlen zu Schrittanzahl und Kostensenkung im Beitrag von Cognition sind die, die den Ausschlag geben.
• Ihr Team nutzt Copilot und Sie möchten günstige Token für Routine-Reparaturen – MAI Code 2 zu 0,50 $ und 2,50 $, modelliert sowohl mit dem verdoppelten Satz von Mai 2027 als auch mit dem Aktionssatz.
• Sie müssen die Wahl mit einer Zahl verteidigen – SWE-2, weil es vier veröffentlicht und das andere Modell keine.
• Sie benötigen langfristig angelegte agentische Arbeit – auf Grundlage der verfügbaren Belege keines von beidem. Microsoft gibt an, nicht darauf optimiert zu haben; die eigene Tabelle von SWE-2 zeigt den 65-Punkte-Einbruch, wenn der Benchmark schwieriger wird.
• Sie benötigen ein Kostenmodell pro Token – MAI Code 2, da für SWE-2 kein veröffentlichter Tarif zur Modellierung vorliegt.

Worauf man achten sollte, ist, ob Microsoft jemals die Zahl veröffentlicht, die diesen Vergleich echt machen würde. Eine Bestehensrate bei Terminal Bench 2.1 würde es tun; eine Rate bei Terminal Bench 4.0 würde es endgültig klären, denn das ist die Ausgabe, in der die eigene Tabelle von SWE-2 zeigt, wie ein Programmiermodell aussieht, wenn die Aufgaben länger werden. Bis es eines davon gibt, ist MAI Code 2 eine Preisliste mit einem daran geknüpften Versprechen und SWE-2 eine Tabelle mit einer angehängten Schrittzahl, und nur eine von beiden lässt sich von außerhalb des Anbieters überprüfen.

In diesem Artikel verglichen1
Aus diesem Artikel erkannt · Benchmarks: Artificial Analysis · täglich aktualisiert
