Eine generierte Titelkarte mit der Überschrift „Karpo Decision 31B vs Kev 27B“ und dem Untertitel „Dasselbe Board, vierzehn Punkte auseinander – und der Verlierer hat die bessere Kalibrierung“, vier Chips mit der Aufschrift „Karpo 73.9 Full“, „Kev 59.6 Full“, „Kalibrierungsfehler 4.8 vs. 2.18“ und „identische private Tests“ sowie zwei umrandete Karten mit der Beschriftung „Kev 27B“ und „Karpo Decision 31B“, die durch eine Linie mit der Aufschrift „beide vom Decision Index bewertet“ verbunden sind.
Guides & Insights

Karpo Decision 31B vs. Kev 27B: Das besser dokumentierte Modell verliert um 14 Punkte

Autor

Elias Hawthorne

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Dies ist der seltene direkte Vergleich, bei dem beide Modelle von denselben Leuten mit demselben Instrument bewertet wurden. Karpo Decision 31B und Kev 27B stehen beide im Decision Index, dem Community-Board, das offene Reproduktionen von TypeSafes Jev bewertet, und der Abstand zwischen ihnen ist nicht klein: 73,9 Full für das MachinePulse-Modell gegenüber 59,6 für Jared Palmers Kev 27B – eine Spanne von vierzehn Punkten bei identischen privaten Tests. Karpo führt das Board an. Kev liegt auf Platz 74 von 307.

Dieses Ergebnis ist unangenehm, denn Kev 27B ist mit großem Abstand das rigoroser dokumentierte Modell, und bei der einen Eigenschaft, für die ein Entscheidungsmodell tatsächlich eingesetzt wird – der Ehrlichkeit seiner Wahrscheinlichkeiten –, ist es messbar besser als das Modell, das es schlägt. Beide Aussagen stammen aus denselben zwei Quellen, und zu verstehen, warum sie sich nicht widersprechen, ist das Nützlichste an diesem Vergleich.

Was die einzelnen Modelle sind, bevor die Bewertungen kommen

Kev 27B ist ein Full-Weight-Fine-Tune von Qwen3.8-27B, veröffentlicht von Jared Palmer unter Apache-2.0. Seine zweite Version, herausgegeben am 30. September 2026, ist ein gewichteter Durchschnitt: Jeder Backbone-Tensor besteht aus 0,85 × dem feinabgestimmten Gewicht plus 0,15 × dem der vorherigen Version, wobei der Pointer-Head aus dem neuen Lauf beibehalten wird. Der ausgelieferte Checkpoint umfasst 25,6B im Backbone plus einen Head mit 2,6M Parametern, 51,3 GB in bf16, mit einer einzigen Kalibrierungstemperatur von 1,32, die in die Head-Datei eingebacken ist. Die Zustände reichen bis zu 65.536 Token bei mindestens 8.192 pro Frage, und dieser Wert ist validiert statt nur nominal — die Karte veröffentlicht die gepaarte Genauigkeitsdifferenz in jedem Bucket von 8k bis 64k gegenüber der 8k-Baseline, mit Konfidenzintervallen.

Karpo Decision 31B ist ein Fine-Tuning von Gemma 4 31B, instruction-getunt, veröffentlicht von MachinePulse am 5. November 2026, ebenfalls Apache-2.0. Es behält 31,3 Mrd. Parameter in bf16 plus ein fp32-Readout der Größe 255 × 5.376 — 62,5 GB auf der Festplatte — und antwortet über einen linearen Head über Optionscodes statt über einen Pointer-Head über Tokens. Der Kontext beträgt 32.768 Tokens pro Sequenz; wenn eine Anfrage überläuft, wird er nach Fragen aufgeteilt, und wenn eine einzelne Frage nicht hineinpasst, erfolgt eine klare Ablehnung statt einer Kürzung.

Gleiche Aufgabe, andere technische Umsetzung. Kev liest ein langes Dokument und erzeugt eine Verteilung. Karpo liest ein etwas kürzeres und erzeugt eine Verteilung – schneller.

Die 14 Punkte und was sie hervorbrachte

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

Beide Zeilen stammen von derselben Platine, daher ist dieser Abschnitt einer der wenigen Stellen, an denen eine direkte Subtraktion zulässig ist.

• Gesamtpunktzahl — Karpo 73,9, Kev 59,6.

• Öffentlicher Index — Karpo 75,05, Kev 56,69.

• Rang nach Full Score — Karpo auf Platz 1 (gleichauf mit GLiDE 27B bei 73,4), Kev auf Platz 74 von 307.

• Wissen und logisches Denken — Karpo 65,5 zufallskorrigierte Kompetenz, Kev 45,7.

• Werkzeuge und Automatisierung — Karpo 88,4, Kev 72,7.

• Kunst und menschlicher Geschmack — Karpo 68,2, Kev 42,7.

• Median-Latenz, eine GPU, jeweils eine Anfrage — Karpo 94 ms, Kev 135 ms.

Die Form des Verlusts ist in jeder Kategorie gleich, und die größte absolute Lücke besteht im Bereich Wissen mit fast zwanzig Punkten. Das ist der Punkt, der jeden beunruhigen sollte, der Kev für Dokumententscheidungen nutzen will: Das Modell wurde stark auf Dokument- und Entwickler-Tooling-Arbeit trainiert — 24.000 seiner 145.840 Trainingsdatensätze stammen aus lizenzierten Aufgabenfamilien, weitere 7.617 sind zusammengestellte lange Dokumente — und es erreicht immer noch zwei Drittel von Karpos Wissenskompetenz.

Kevs eigene Karte sagt offen, wohin die Reise geht. Gemessen auf seiner eigenen Breiten-Suite gegen TypeSafes Jev meldet sie einen Index von 52,3 mit einem Konfidenzintervall von [49,2; 55,4] gegenüber Jevs 54,0 [51,2; 57,0] — eine Niederlage, die sie klar benennt und nicht beschönigt. Ein Team, das sein eigenes Verlustintervall veröffentlicht, ist ein Team, dessen andere Zahlen den Vertrauensvorschuss verdienen. Genau das macht die 59,6 glaubwürdig statt peinlich.

Die Zahl, die andersherum läuft

Hier ist die Wendung. Der Kalibrierungsfehler – wie weit die angegebene Wahrscheinlichkeit von der beobachteten Trefferquote abweicht – spricht für Kev, und zwar nicht knapp.

Der Tracker verzeichnet einen erwarteten Kalibrierungsfehler von 2,18 Punkten für Kev 27B gegenüber 4,77 für Karpo Decision 31B. Im Klartext: Wenn Kev 0,8 sagt, liegt es etwa 80 % der Zeit richtig, mit einer durchschnittlichen Abweichung von zwei Punkten. Wenn Karpo 0,8 sagt, liegt die durchschnittliche Abweichung näher bei fünf Punkten. Kevs Modellkarte bestätigt dies aus eigener Sicht und veröffentlicht ECE-Werte pro Panel zwischen 0,014 und 0,053 sowie eine fünffache Kreuzvalidierung, die den Anpassungsfehler von 4,8 % auf 3,8 % senkt.

Also ist das Modell, das beim Beantworten schlechter ist, besser darin, zu wissen, wie gut seine Antworten sind. Das ist kein Paradoxon, es ist der Unterschied zwischen Genauigkeit und Kalibrierung, und es entscheidet, welches Modell wohin gehört:

• Wenn die Entscheidung an einem Schwellenwert automatisiert wird, ist die Kalibrierung die maßgebliche Eigenschaft. Eine auf 0,9 gesetzte Schwelle, die bei Karpos Antworten mit 0,9 auslöst, wird etwa doppelt so oft falsch liegen wie dieselbe Schwelle bei Kev. Kevs geringere Genauigkeit kostet Sie Durchsatz – mehr Fälle fallen unter den Schwellenwert und gehen in die Prüfung – und seine bessere Kalibrierung bedeutet, dass diejenigen, die die Hürde nehmen, sicherer sind.

• Wenn die Entscheidung überprüft oder bewertet wird, dominiert Genauigkeit. Ein Mensch oder ein nachgelagerter Prozess sieht die beste Antwort und die Wahrscheinlichkeit, und vierzehn Punkte Genauigkeit sind vierzehn Punkte korrekt erledigter Arbeit. Kevs Kalibrierungsvorteil bringt nichts, wenn niemand einen Schwellenwert anwendet.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Beide Modelle liefern dieselben drei Fragetypen – Choice mit bis zu 255 Optionen, noul für Wahr/Falsch, Score für eine geordnete Bewertungsrubrik – und beide bieten einen HTTP-Endpunkt nach Art von System One, sodass die Wahl im Code umkehrbar ist. Das ist die gute Nachricht: Sie können das an einem Nachmittag mit Ihren eigenen Daten messen, statt darüber zu diskutieren.

Die Dokumentlänge ist der Punkt, an dem die Spezifikationen tatsächlich voneinander abweichen.

Karpos Obergrenze von 32.768 Tokens gilt pro Sequenz, und die Aufteilungsregel lautet „nach Frage, wobei jeder Teil den vollständigen Zustand trägt“. Bei hundert Fragen zu einem 20k-Token-Vertrag ist das ein Durchlauf und kein Problem. Bei einer Frage zu einem 40k-Token-Vertrag wird die Anfrage abgelehnt — neun der 140.178 Anfragen in MachinePulses eigenem Lauf sind genau auf diese Weise fehlgeschlagen.

Kev liefert 65.536-Token-Zustände, validiert in Buckets, und sein Langdokument-Panel ist das Nützlichste auf der Karte für alle mit echten Verträgen. Bei CUAD-Handelsverträgen meldet es eine Genauigkeit von 0,874 über 2.194 Fragen, wobei die Werte pro Bucket zwischen 0,867 und 0,880 liegen – von unter 8k bis hin zu 32k–64k Token. Die Genauigkeit bricht mit der Länge nicht ein. Was sich verschiebt, ist die Kalibrierung: Der Fehler auf diesem Langdokument-Panel beträgt 0,053, etwa das Dreifache seines Werts für kurze Dokumente. Bei langen Zuständen wird Kevs Konfidenz locker.

Also der ehrliche Kompromiss bei der Länge: Kev nimmt ein Dokument an, das Karpo ablehnt, und wird darauf etwas weniger zuverlässig antworten als auf ein kurzes. Keines der Modelle wird stillschweigend abschneiden, was mehr zählt als beide Zahlen – ein Entscheidungsmodell, das still und leise die Klausel weglässt, nach der du gefragt hast, ist schlechter als eines, das Nein sagt.

Deployment, Gewichte und die Lizenz haben beide gemeinsam.

Beide Modelle stehen unter Apache-2.0 – sowohl für die Gewichte als auch für den Head –, beide benötigen ihren eigenen Loader, und beide scheitern gründlich, wenn man sie wie Chat-Modelle behandelt. Kev benötigt eine GPU der 80-GB-Klasse – ein 64k-Token-Zustand erreichte auf einer H200 einen Spitzenwert von 87,1 GB – oder einen Mac mit rund 96 GB. Karpo benötigt eine GPU, die 62,5 GB bf16-Gewichte fasst. Keines der beiden hat einen gehosteten Endpunkt von seinem Herausgeber; Kev wird über den Server seines eigenen Repositorys bereitgestellt, Karpo über sein eigenes Paket. Beide haben Quantisierungen aus der Community angelockt, was das übliche Signal dafür ist, dass Leute sie tatsächlich ausführen, statt nur über sie zu lesen.

Der Unterschied von 135 ms gegenüber 94 ms gilt pro Anfrage auf nicht identischer Hardware, daher sollte man ihn als richtungsweisend betrachten. Was nicht richtungsweisend ist, ist die operative Ausprägung: Kevs nicht-kausale Attention über die gesamte Sequenz kostet pro Token mehr, je länger die Zustände werden, während Karpo einen gemeinsamen Zustand pro Anfrage berechnet und Fragen davon abzweigt. Wenn Ihre Workload aus vielen Fragen über einen kurzen Zustand besteht, ist Karpo genau dafür gebaut. Wenn sie aus einer Frage über ein langes Dokument besteht, ist Kev dafür gebaut.

Welches soll ausgeführt werden?

Nimm Kev 27B, wenn du einem Modell eine 64k-Token-Vereinbarung übergeben musst, wenn du auf Wahrscheinlichkeit einen Schwellenwert anwenden willst und es dir wichtig ist, dass der Schwellenwert das bedeutet, was er sagt, und wenn du einen Anbieter schätzt, der Konfidenzintervalle zu seinen eigenen Verlusten veröffentlicht. Du nimmst ungefähr vierzehn Punkte Genauigkeit auf einem Board in Kauf, auf dem beide Modelle angetreten sind, und du bekommst die beste Evidenz des Feldes dafür, was diese Genauigkeit abdeckt und was nicht.

Wähle Karpo Decision 31B, wenn der Zustand ein Screenshot, ein Ticket oder eine Seite ist – kurz, viele Fragen, latenzempfindlich – und wenn der Full score des Boards die Evidenz ist, die du gewichtest. Du akzeptierst einen Kalibrierungsfehler von fünf Punkten und eine Obergrenze von 32k, und du bekommst den aktuellen Spitzenreiter bei 94 ms.

Was Ihnen keines von beiden bietet, ist ein Produktions-Endpunkt. Wenn die Entscheidungsschicht hinter einem Gate sitzen muss, das vor jedem Tool-Aufruf ausgelöst wird, werden Sie eines davon selbst betreiben oder etwas Gehostetes aufrufen. TypeSafe's Jev 1.14 ist in unserem Katalog für genau diese Rolle, und es ist das Modell, auf das beide Checkpoints abzielen – nützlich als Kontrolle in einem Shadow-Test, da eine offene Reproduktion, die ihr Ziel auf einem Drittanbieter-Board schlägt, es auch in Ihrem Traffic schlagen sollte. Der Katalog führt außerdem beide Basismodelle, Gemma 4 31B und Qwen3.8-27B, über eine API für 200+ Modelle zum Listenpreis des Anbieters ohne Aufschlag, was der günstigste Weg ist, um festzustellen, ob sich eine Entscheidungsschicht überhaupt lohnt, bevor Sie die GPU kaufen.

Die offene Frage, die dieses Duell hinterlässt, ist diejenige, die die Rangliste nicht beantworten kann: ob Karpos Vierzehn-Punkte-Vorsprung bei Kontakt mit einer echten Arbeitslast Bestand hat oder ob es die Art von Vorsprung ist, die daraus entsteht, dass auf einer Verteilung abgestimmt wurde, die dem privaten Testset näher liegt als die des Konkurrenten. Kevs Karte dokumentiert seine Trainingszusammensetzung bis hin zur Anzahl der Datensätze; Karpos nicht. Diese Asymmetrie ist kein Beweis für irgendetwas, und sie ist der Grund, zu messen, statt einer der beiden Zahlen zu vertrauen.

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.