Eine generierte Titelkarte mit der Überschrift '{{1}}Karpo Decision 31B vs Microsoft-Decision-1{{/1}}' und der Zeile '{{2}}Einer hat einen Leaderboard-Score und keinen Preis. Der andere hat eine Azure-Preisliste und keinen veröffentlichten Score.{{/2}}' Darunter zwei Karten: '{{3}}Karpo Decision 31B{{/3}}' mit '{{4}}73.86 Gesamtpunktzahl{{/4}}', '{{5}}kein Preis veröffentlicht{{/5}}' und '{{6}}Apache-2.0-Gewichte{{/6}}'; und '{{7}}Microsoft-Decision-1{{/7}}' mit '{{8}}62.07 bei Artificial Analysis{{/8}}', '{{9}}nur Azure-API{{/9}}' und '{{10}}keine Benchmark-Tabelle{{/10}}'.
Guides & Insights

Karpo Decision 31B vs. Microsoft-Decision-1: Das eine hat einen Preis, das andere einen Score

Autor

Gideon Frost

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Stellen Sie Karpo Decision 31B neben Microsoft-Decision-1, und das Erste, was Ihnen auffällt, ist, dass keines der beiden Unternehmen Ihnen das gegeben hat, was Sie für die Wahl zwischen ihnen brauchen. Karpo Decision 31B, der 31,3-Milliarden-Parameter-Fine-Tune von Gemma 4, den MachinePulse am 5. November 2026 ohne Launch-Post auf Hugging Face veröffentlichte, hat eine Leaderboard-Zahl und keinen Preis. Microsoft-Decision-1, seit dem 8. Oktober 2026 auf Microsoft Foundry, hat einen Preis, einen Azure-Vertrag, ein Responsible-AI-Paket und überhaupt keine veröffentlichte Benchmark-Tabelle. Das eine ist messbar und unverkäuflich. Das andere ist verkäuflich und – nach Wahl seines Anbieters – ungemessen.

Diese Umkehrung ist der ganze Vergleich, und es lohnt sich, dem Drang zu widerstehen, sie mit Arithmetik auflösen zu wollen. Der Wert von 73,86, den Karpo ausweist, und der Wert von 62,07, den Artificial Analysis Microsoft-Decision-1 zuordnet, sind nicht zwei Messungen ein und derselben Sache. Sie stammen von unterschiedlichen Leaderboards, unterschiedlichen Aufgabenmixen, unterschiedlichen Bewertungsformeln und unterschiedlichen Vorstellungen davon, wofür ein Entscheidungsmodell da ist. Die sinnvolle Frage ist nicht, welche Zahl größer ist. Sie lautet, welche der beiden Lücken – der fehlende Preis oder der fehlende Score – Ihr Deployment tatsächlich verkraften kann.

Was Microsoft genau verkauft

Microsoft-Decision-1 ist ein nachtrainiertes Qwen3.5-9B, das statt Prosa eine Verteilung über Optionen ausgibt. Der Vertrag ist eng gefasst: Ja/Nein, Multiple Choice, eine Bewertungsskala, eine Klassifizierungsmenge oder eine Rubrik, über bis zu 32.768 Token Text. Keine Bilder, kein Audio, kein Erklärungsfeld, keine generierten Token. Microsoft stellt ausdrücklich klar, dass es nicht für offene Fragen, Übersetzung oder Zusammenfassung gedacht ist, und empfiehlt, es nicht als alleinige Grundlage für Entscheidungen über Kredit, Beschäftigung, Wohnen, Versicherung, Bildung oder Gesundheitsversorgung zu verwenden.

Was er jedoch bietet, ist der Teil, den ein offener Checkpoint nicht bieten kann: eine Foundry-Bereitstellung im Portfolio „Direct from Azure“, serverlos oder als Unified Endpoint, Standard-SKU, Azure-Authentifizierung, eine Rechnung, bewusst deaktivierte Batch-Inferenz und kein Weg zum Herunterladen von Gewichten oder zum Fine-Tuning. Für eine Bank oder einen Klinikkonzern ist dieser letzte Faktenblock oft mehr wert als zwanzig Punkte auf einer Bestenliste, denn er entscheidet darüber, ob ein Platform-Team ein Modell freigeben kann oder ob es einen Serving-Stack darum herum bauen muss.

Der Preis ist real, aber schwer zu nennen. Die Modellseite gibt keinen Preis pro Token an; sie verweist auf Azures Preisübersicht. Was Artificial Analysis dafür erfasst, sind 143 US-Dollar pro Million Aufgaben zum Eingabetarif, gegenüber 345 US-Dollar pro Million Aufgaben für Googles Gemini Decision 1. Karpo hat keine vergleichbare Zahl, weil Karpo keinerlei Preisliste hat – keinen Host, keine Konsole, keine Testversion, keine veröffentlichten Kosten pro GPU.

Was der Vorstand gemessen hat – und was nicht.

A generated two-panel diagram titled 'Two numbers, two instruments'. The left panel is headed 'Karpo Decision 31B — Decision Index 0.4.1' and lists 'Full score 73.86 — private tests, board-computed', 'Same-skills 70.94', 'New-domains 61.5' and 'Public index 75.05 — vendor run, all 140,178 requests, 11 refused'. The right panel is headed 'Microsoft-Decision-1 — Artificial Analysis Decision Index v2.1' and lists 'Composite 62.07', 'When2Call 88.0', 'AA-Paperclip 51.8 — 20.9% document pass' and 'HLE-MultiChoice 39.4 — 8.6% raw'. The footer reads 'The two panels are different instruments and are not subtractable.'

Karpos Wert ist ein Community-Wert. Der Decision Index, das offene Board, das Reproduktionen von Jev von TypeSafe verfolgt, führt ihn mit 73,86 Full in Edition 0.4.1 – punktgleich Erster von 307 Zeilen im veröffentlichten Dump des Boards, gleichauf mit GLiDE 27B bei 73,37, weil das Board alles innerhalb von 0,9 Punkten des Spitzenreiters gruppiert. Dieser Full-Wert stammt in dem entscheidenden Sinne von Dritten: Die Betreiber des Boards führten private Tests durch, die der Anbieter nie sah, aufgeteilt auf grob 60 % gleiche Fähigkeiten und 40 % neue Domänen. Karpos Aufschlüsselung ergibt 70,94 bei den vertrauten Fähigkeiten und 61,5 bei den unvertrauten, was die übliche Form für ein Modell ist, das hart gegen eine bekannte Suite getunt wurde.

Die 75,05 auf der Modellkarte ist ein anderes Kaliber, und die Karte ist diesbezüglich ehrlich: Das ist MachinePulses eigener Durchlauf des offiziellen Bewertungskits, 140.178 bewertete Anfragen, von denen elf wegen Überschreitung des Fensters abgelehnt wurden, vom Board übernommen, nachdem eine erneute Bewertung mit dem Kit ein Ergebnis gleich der Behauptung ergab. Öffentlich und reproduzierbar, weiterhin aus erster Hand. Die eigene Zeile des Boards bestätigt die Übernahme und vermerkt, dass die Übereinstimmung im Privattest mit den eingereichten Zeilen über 827 Zeilen hinweg 100 % betrug.

Microsoft-Decision-1 hat nichts davon. Seine Katalogseite enthält einen Tab „Benchmarks“ mit einem Methodikabsatz und keinen Zahlen: öffentliche und gemeinschaftliche Entscheidungs-Benchmarks, zurückgehaltene interne Datensätze, Genauigkeit und Kalibrierungsfehler, variierte Reihenfolge der Optionen, angewendete gepaarte statistische Tests. Microsoft gibt an, das Modell schneide „auf Augenhöhe mit führenden Entscheidungsmodellen und vor anderen offenen Entscheidungsmodellen, die mit derselben Methodik evaluiert wurden,“ ab, und weigert sich dann, die Evaluation zu zeigen. Jede heutige Leistungsaussage darüber stammt vom Anbieter und ist nicht reproduziert.

Das einzige Instrument, das es mit einer Punktzahl bewertet hat, ist {{1}}Artificial Analysis{{/1}}, auf {{2}}Decision Index v2.1{{/2}}, und die Komponenten sind aussagekräftiger als der Gesamtwert. {{3}}Microsoft-Decision-1{{/3}} erzielt 88,0 auf {{4}}When2Call{{/4}}, nahe an den Spitzenreitern, und 86,8 auf {{5}}EvalSafe-O*NET{{/5}}. Es erzielt 51,8 auf {{6}}AA-Paperclip{{/6}} mit einer Alles-oder-nichts-Bestehensquote für Dokumente von 20,9 %, 54,9 auf {{7}}AA-Omniscience-Decision{{/7}} mit einer Nicht-Halluzinationsrate von 21,7 % und 39,4 auf {{8}}HLE-MultiChoice{{/8}} mit 8,6 % Rohgenauigkeit. Das Muster ist ein kompetenter Bewerter für Urteilsvermögen am Arbeitsplatz mit schwachem Wissensverhalten, und die Enthaltungsquote ist die Zahl, über die man nachdenken sollte: Ein Modell, das 78 % der Wissensfragen nicht beantwortet, schützt seine Kalibrierung auf Kosten seiner Nützlichkeit.

Die Anfrageformen nebeneinander

A generated two-column comparison titled 'The request shapes, side by side'. The Karpo Decision 31B column reads '31.3B bf16 plus fp32 readout — about 62.5 GB', 'text, JSON and images', '32,768 tokens, split by question, refuses overflow', 'choice up to 255 options, noul, score', '94 ms median per request' and 'Apache-2.0 weights'. The Microsoft-Decision-1 column reads '9B dense, API only, no weights', 'text only', '32,768 tokens, no way to raise it', 'yes/no, multiple choice, rating, classification, rubric', '274 ms per task' and 'no published rate on the model card'. A footer line reads 'Latency figures are not the same measurement: per request for one, per task over a document set for the other.'

• Parameter — Karpo 31.3B in bf16 plus ein 255 × 5.376 fp32-Readout, etwa 62,5 GB auf der Festplatte; Microsoft-Decision-1, ein dichtes 9B-Basismodell, das ausschließlich als API bereitgestellt wurde.

• Eingabe — Karpo akzeptiert Text, JSON und Bilder, wobei ein Screenshot als state.viewport_screenshot übergeben wird; Microsoft-Decision-1 akzeptiert nur Text, serialisiert in 32.768 Tokens.

• Kontext — 32.768 Token für beide, mit einem wichtigen Unterschied im Fehlerverhalten: Karpo teilt eine lange Anfrage nach Frage auf und lehnt alles ab, was immer noch nicht passt, während Microsofts Obergrenze aus der Eingabe plus dem Optionssatz besteht, ohne Möglichkeit, sie anzuheben.

• Fragetypen — Karpo-Auswahl mit bis zu 255 Optionen, noul für Wahr/Falsch, Score für eine geordnete Stufe; Microsoft Ja/Nein, Multiple Choice, Bewertung, Klassifizierung und Rubrik, wobei Enthaltungsoptionen wie „kann nicht sagen“ innerhalb des Sets unterstützt werden.

• Batching – Karpo kodiert einen Zustand und viele Fragen in einer einzigen Sequenz, sodass hundert Fragen zu einer Rechnung ungefähr einen Durchlauf über die Rechnung kosten; Microsofts veröffentlichter Vertrag ist ein Zustand und sein Fragensatz pro Aufruf, wobei die Breite aus der Gruppierung kommt.

Latenz — 94 ms Median pro Anfrage auf der Referenzhardware des Trackers, eine GPU, jeweils eine Anfrage gleichzeitig für Karpo; 274 ms pro Aufgabe für Microsoft-Decision-1 bei der Messung von AA, ein Pro-Aufgabe-Wert über einen Dokumentensatz statt eines Pro-Anfrage-Werts.

• Lizenz und Zugriff — für Karpo Apache-2.0-Gewichte, ergänzt durch die Bedingungen von Gemma 4; für Microsoft-Decision-1 überhaupt keine Gewichte, da ausschließlich als API unter Azure-Bedingungen verfügbar.

• Preis — kein veröffentlichter Tarif für Karpo; 143 US-Dollar pro Million Aufgaben im Tracking von AA für Microsoft-Decision-1, wobei der Eingabepreis pro Token auf der Preisgestaltungsseite von Azure statt auf der Modellkarte angegeben ist.

Kalibrierung ist die Achse, auf der beide etwas zu sagen haben.

Bei einem Modell, dessen gesamte Ausgabe eine Wahrscheinlichkeit ist, ist die Zahl, die den Einsatz bestimmt, nicht die Genauigkeit, sondern ob die Wahrscheinlichkeit das bedeutet, was sie sagt. Karpo's card meldet einen Kalibrierungsfehler von 4,8 Punkten: Über 34.411 bewertete Antworten hinweg lag die durchschnittliche Konfidenz bei 87,96 % gegenüber einer Genauigkeit von 83,19 %, und im obersten Konfidenzbereich – 68,5 % aller Antworten – lag es in 95,7 % der Fälle richtig, während es 98,7 % beanspruchte. Das ist ein Modell, das man mit einem Schwellenwert versehen kann, mit einer bekannten Drift am oberen Ende.

Microsoft veröffentlicht keinen Expected Calibration Error, keinen Brier-Score und keine Reliabilitätskurve. Was die Komponentenwerte von AA implizieren, ist ein Modell, dessen Konfidenz konservativ eingesetzt wird: Die hohen Nicht-Halluzinationsraten bei Omniscience und HLE bedeuten, dass es sich eher enthält, als zu antworten, wenn es unsicher ist – das ist das Verhalten, das ein Guardrail will und ein Klassifikator nicht. Ob seine 0,8 außerhalb von Microsofts eigener Evaluation 0,8 bedeutet, ist unbekannt, und Microsofts Dokumentation sagt dies auf ihre eigene Weise, indem sie Integratoren empfiehlt, auf repräsentativen Daten zu validieren und Schwellenwerte aus den Kosten ihrer Fehler abzuleiten.

Diese Asymmetrie hat eine praktische Konsequenz. Bei Karpo erbst du eine veröffentlichte Kalibrierungskurve und kannst eine Startschwelle festlegen, bevor du irgendetwas ausführst. Bei Microsoft-Decision-1 erbst du eine Methodik und ein Versprechen, und deine ersten zwei Wochen sind ein Messprojekt. Weder das eine noch das andere ist ein Ausschlusskriterium; es sind einfach unterschiedliche Arten von Arbeit.

Die Version, die in keinem Titel genannt wird

Microsoft-Decision-1 ist nicht mehr das aktuelle Modell seiner eigenen Familie. Microsoft-Decision-1.1 erschien am 17. November 2026 zur Ignite auf einer Gemma-4-26B-A4B-Mixture-of-Experts-Basis, zum gleichen Preis und mit derselben 32K-Obergrenze, und Artificial Analysis bewertet es mit 67,78 — 5,7 Punkte über Version 1, bei 123 ms pro Aufgabe statt 274 ms, wobei die Nicht-Halluzination bei Omniscience von 21,7 % auf 49,4 % gestiegen ist. Außerdem wurde es bei den Dingen schlechter, bei denen ein Scorer eigentlich stabil sein sollte: 6,29 % Rohgenauigkeit bei HLE-MultiChoice gegenüber 8,64 %, und 47,5 % der AA-Symmetry-Fragefamilien konsistent beantwortet gegenüber 51,7 %.

Wer Karpo Ende November mit dem „Entscheidungsmodell von Microsoft“ vergleicht, vergleicht es daher mit einer überholten Version. Das macht den Vergleich nicht gegenstandslos – Version 1 ist nach wie vor die Version, an der sehr viele Foundry-Bereitstellungen bemessen wurden –, aber es bedeutet, dass die zu schlagende Zahl auf Microsoft-Seite 67,78 lautet, und die Frage zweiter Ordnung ist, ob ein Modell, das Wissensgenauigkeit gegen Enthaltungsdisziplin eintauscht, überhaupt die richtige Form für Ihre Pipeline ist.

Was Ihnen jede Seite nicht geben kann

Karpo kann Ihnen keinen Vertrag geben. Es gibt keinen Endpoint, keine Preiskarte, keinen Supportpfad, kein SLA und keine Anbietererklärung außer einer Modellkarte und einer README. Wenn Ihre Organisation einen 62,5 GB großen Checkpoint nicht auf eigener Hardware ausführen kann, endet der Vergleich dort unabhängig von der Punktzahl. Auch das Laden als gewöhnliches Chat-Modell wird seine Antworten nicht reproduzieren: Die Branch-Attention und das 255-Code-Readout sind beide erforderlich, und das Python-Paket sowie der POST /v1/systemone-Server existieren genau deshalb, weil ein generischer Inferenz-Stack nicht ausreicht.

Microsoft-Decision-1 kann Ihnen keine Zahl liefern, die Sie nicht ungeprüft glauben müssen, kann nicht auf Ihre eigenen Entscheidungsdaten feinabgestimmt werden, kann keinen Screenshot lesen und nicht offline ausgeführt werden. Sie können es auch nicht mit demselben Instrument wie Karpo benchmarken, weil der Decision Index ein Register offener Reproduktionen ist und ein geschlossenes API-Modell keine Gewichte zum Reproduzieren hat. Die beiden Modelle werden sich weiterhin verfehlen: Eine Bestenliste wird Microsofts Bewertungsmodell nie aufführen, und Artificial Analysis hat keine Zeile für Karpo.

Es gibt eine dritte Position, die nützlicher ist als jede der beiden Spalten. Wenn Sie tatsächlich eine Entscheidungsschicht neben einer generativen Pipeline brauchen, ist der Generator die Hälfte, die Sie bereits standardisieren können. OrcaRouter hostet weder Karpo Decision 31B noch Microsoft-Decision-1, und keines von beiden gehört hinter eine Chat-Completions-Route. Was es jedoch hostet, sind die beiden Modelle, um die dieser Vergleich immer wieder kreist: Gemma 4 31B, das Basismodell, von dem Karpo feinabgestimmt wurde, und TypeSafe's Jev 1.14, das Modell, das das Open-Reproduction-Board einzuholen versucht. Beide sind über einen einzigen OpenAI-kompatiblen Key verfügbar, zusammen mit über 200 weiteren Modellen zu Anbieter-Listenpreisen, die ohne Aufschlag durchgereicht werden, sodass eine Preissenkung eines Anbieters noch am selben Tag bei uns ankommt, und automatisches Failover hält eine Scoring-Schleife am Leben, wenn ein Anbieter ins Schwanken gerät.

Zu welchem man greifen sollte

A generated decision card titled 'Which one to reach for'. The left card is headed 'Microsoft-Decision-1.1' with the subtitle 'when the estate is Azure' and the rows 'approval trail, one invoice', 'text that fits in 32K', 'budget a calibration study first' and '67.78 on Artificial Analysis'. The right card is headed 'Karpo Decision 31B' with the subtitle 'when you own the hardware' and the rows 'screenshots and JSON inputs', 'Apache-2.0 weights', 'published 4.8-point calibration error' and '73.86 Full score, private tests'. A wide strip underneath reads 'Do not choose on 73.86 versus 62.07. Different boards, different suites, no shared grading.'

Nehmen Sie Microsoft-Decision-1 – oder vernünftigerweise Microsoft-Decision-1.1 –, wenn die Entscheidungsschicht in einer Azure-Umgebung leben muss, wenn Sie eher ein Freigabeprotokoll als einen Platz im Leaderboard brauchen und wenn Ihre Eingaben Text sind, der in 32K passt. Planen Sie eine Kalibrierungsstudie ein, denn Microsoft hat Ihnen keine geliefert, und legen Sie Ihre Enthaltungsschwellen anhand der Kosten Ihrer Fehler fest und nicht anhand der Beschreibung des Anbieters.

Nimm Karpo Decision 31B, wenn du die GPU hast, wenn Screenshots oder JSON-Zustand Teil der Aufgabe sind, wenn Apache-2.0 für ein Produkt eine Rolle spielt, das du ausliefern willst, und wenn ein Private-Test-Score eines Drittanbieters plus eine veröffentlichte Kalibrierungskurve die Belege sind, die dein Team akzeptiert. Akzeptiere im Gegenzug, dass du jetzt der Anbieter bist: kein Support, kein SLA, kein Preis, gegen den du budgetieren kannst, und ein Modell, das zwei Wochen alt ist und dessen Repository am 16. November noch bearbeitet wurde.

Entscheiden Sie sich nicht allein aufgrund von 73,86 gegenüber 62,07 für das eine oder andere. Diese Zahlen stammen von Organisationen, die nie dieselbe Arbeit bewertet haben, auf Suiten mit unterschiedlichen Anteilen privater Tests und unterschiedlichen Bewertungsformeln, und die ehrliche Lesart ist, dass beide Modelle plausibel sind und keines gegenüber dem anderen bewiesen ist. Der Test, der das klären würde – Karpo auf einem unabhängigen Board, das auch Microsofts Modell bewertet, oder Microsoft, das die Ergebnistabelle veröffentlicht, die sein Methodikabschnitt beschreibt –, hat nicht stattgefunden. Bis dahin hängt die Entscheidung von Beschaffung, Hardware und Eingabemodalität ab, woran sie sich von Anfang an hätte orientieren sollen.