
Karpo Decision 31B vs Nimble v3: Die Lizenz antwortet, bevor die Bestenliste es tut
- OrcaNEUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 pro 1 Mio. Tokens · 184 tok/s
- tencentNEUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 pro 1 Mio. Tokens · 215 tok/s
- GoogleNEUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 pro 1 Mio. Tokens · 87 tok/s
- AnthropicNEUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 pro 1 Mio. Tokens · 97 tok/s
- orcaNEUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 pro 1 Mio. Tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 pro 1 Mio. Tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 pro 1 Mio. Tokens · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 pro 1 Mio. Tokens · 109 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 pro 1 Mio. Tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 pro 1 Mio. Tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 pro 1 Mio. Tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 pro 1 Mio. Tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligenz
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 pro 1 Mio. Tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligenz
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 pro 1 Mio. Tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligenz
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 pro 1 Mio. Tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligenz
Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gemma 4 fine-tune under Apache-2.0 with Gemma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.
Nehmen Sie also zuerst die Lizenz, denn sie ist der einzige Teil dieses Vergleichs, der sowohl geklärt als auch entscheidend ist. Schauen Sie dann darauf, was die Zahlen Ihnen sagen können und was nicht, denn auf dieser Seite ist fast nichts geklärt.
Was jedes Repository tatsächlich enthält
Nimble v3 besteht aus fünf Dateien: einer README, adapter_config.json, adapter_model.safetensors, einer schema_config.json und .gitattributes. Es ist ein PEFT-Adapter, kein eigenständiges Modell, und er setzt Qwen/Qwen3.5-9B als Basis voraus, die das Repository nicht dupliziert. Die Karte beschreibt einen Kontext und typisierte Fragen – eine Auswahl unter Optionen oder Ja/Nein – und liefert für jede Option eine Wahrscheinlichkeit. Bespoke Labs hat für v3 weder eine Kontextlänge noch eine Obergrenze für Optionen noch eine Temperatur noch einen Änderungshinweis veröffentlicht; die früheren Checkpoints der Familie dokumentierten einiges davon, dieser nicht.
Karpo Decision 31B ist ein vollständiger Checkpoint, 62,5 GB Gewichte bei 31,3 Mrd. Parametern in bf16, plus ein fp32-Readout-Kopf mit 255 × 5.376. Er verarbeitet Text, JSON und Bilder, akzeptiert bis zu 255 Optionen pro Frage, begrenzt eine Sequenz auf 32.768 Token, teilt längere Anfragen nach Frage auf und lehnt alles ab, was immer noch nicht passt, statt es abzuschneiden. Es wird als Python-Paket und HTTP-Server in der System-One-Form bereitgestellt, POST /v1/systemone, weil ein allgemeiner Chat-Completions-Stack ihn nicht ausführen kann: Die Branch-Attention und das Readout sind beide tragend, und das Laden des Checkpoints als gewöhnliches Chat-Modell wird seine Antworten nicht reproduzieren.
Der Unterschied zwischen den Repositorys hat einen praktischen Aspekt. Die README von Nimble v3 sagt nicht, wie man es korrekt bereitstellt; die Karpo-Karte schon. Das eine ist ein Checkpoint mit einer Bedienungsanleitung, das andere ein Checkpoint mit einer Lizenzzeile.
Die Lücke – und die Instrumente, denen man vertrauen müsste, um sie zu glauben
On the Decision Index — the community board tracking open reproductions of TypeSafe's Jev, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.
Die öffentlich genannten Zahlen auf jeder Karte sind die eigenen Läufe der Anbieter mit dem offiziellen Kit und sollten getrennt gelesen werden: 75,05 für Karpo über 140.178 gewertete Anfragen und 56,88 für Nimble v3 – die Zahl, die seine Karte für die ältere Suite 0.2.1 ausweist, die der erneute Lauf des Boards auf der aktuellen Skala mit 57,19 ansetzt. Beide wurden vom Board übernommen, was ein echter Prüfschritt ist und nicht dasselbe wie ein unabhängiges Labor, das das Modell auf eigener Hardware laufen lässt. Keines der beiden Modelle erscheint bei Artificial Analysis. Niemand außerhalb dieser beiden Repositories hat eines der beiden bewertet.
Was das in der Praxis bedeutet, ist, dass die 22,8 Punkte vertrauenswürdiger sind als die meisten Anbietervergleiche und weniger vertrauenswürdig als eine einzelne Instrumentenmessung, die beide Modelle erfasst. Sie wurden von einer Organisation mit einer Suite und einer Formel erzeugt, was für offene Entscheidungsmodelle tatsächlich der bestmögliche Fall ist – und die Suite ist inoffiziell, das Gleichstandsband beträgt 0,9 Punkte, und die private Hälfte kann von Ihnen nicht eingesehen werden. Betrachten Sie die Richtung als real und die Größenordnung als ungefähr.
Wo das 9B-Modell näher dran ist, als die Größenlücke vermuten lässt

Schlüsselt man die fünf Kategoriewertungen des Boards auf, ist die Geschichte kein Selbstläufer mehr. Bei Tools und Automatisierung erzielt Nimble v3 84,24 gegenüber 88,39 von Karpo — vier Punkte, von einem Modell mit einem Drittel der Größe, in der Kategorie, die Toolauswahl und Agent-Gating abdeckt. Das ist der Use Case, für den Bespoke Labs die Familie gebaut hat, und er übersteht den Größenunterschied mehr oder weniger unbeschadet. Wenn Ihre Entscheidungsschicht dazu da ist, die Frage zu beantworten: „Sollte dieser Agent das Tool aufrufen, und welches?“, dann ist der 9B-Adapter im selben Gespräch wie der 31B-Checkpoint.
Überall sonst ist die Lücke genau die, die man erwarten würde. Sprachverständnis liegt bei 60,68 gegenüber 76,78, Retrieval bei 55,48 gegenüber 76,42, Wissen bei 40,96 gegenüber 65,46, Kunst und offene Beurteilung bei 44,05 gegenüber 68,21. Karpos Vorteil konzentriert sich genau auf die Stellen, an denen sich die zusätzliche Kapazität eines 31B-Modells auszahlen sollte: längerer Kontext, mehr Weltwissen, besseres Erfassen eines dichten Zustands.
Auch die Latenz folgt nicht dem Größenunterschied. Auf der Referenzhardware des Trackers – eine GPU, jeweils eine Anfrage – verzeichnet Nimble v3 einen Median von 73,9 ms gegenüber 94,3 ms bei Karpo. Zwanzig Millisekunden sind kein Grund, ein Modell zu wählen, aber sie erinnern daran, dass ein zusammengeführter 9B-Adapter betrieblich ein anderes Objekt ist: Er passt in Q4 auf einen Laptop, lädt in Sekunden und kann in einer Agentenschleife pro Schritt stecken, ohne dass man über das GPU-Budget sprechen muss.
Kalibrierung, wobei das kleinere Modell nicht nur schwächer, sondern auch weniger ehrlich ist
Accuracy sagt Ihnen, wie oft die Top-Antwort richtig ist. Kalibrierung sagt Ihnen, ob die mit ihr verbundene Wahrscheinlichkeit einen Schwellenwert tragen kann – und für ein Entscheidungsmodell ist das die einzige Zahl, die operativ zählt.
Karpos Karte meldet einen erwarteten Kalibrierungsfehler von 4,8 Punkten über 34.411 Antworten: durchschnittliche Konfidenz von 87,96 % gegenüber einer tatsächlichen Genauigkeit von 83,19 %. Im obersten Bereich, der 68,5 % aller Antworten umfasst, liegt sie in 95,7 % der Fälle richtig, während sie 98,7 % beansprucht. Am oberen Ende um etwa drei Punkte zu selbstsicher, wobei die Kurve ansonsten mitläuft.
Nimble v3 liegt über 34.833 Antworten hinweg bei 12,29 Punkten: Konfidenz 87,26 % gegenüber Genauigkeit 74,97 %. Der oberste Bucket enthält 67 % der Antworten, gibt 98,6 % an und liegt in 89,1 % der Fälle richtig – eine Überzeichnung um 9,5 Punkte in dem Bereich, in dem tatsächlich ein Schwellenwert liegt. Darunter sind die mittleren Buckets noch schlechter: Bei angegebenen 0,85 liegt das Modell nur etwa 59 % der Zeit richtig. Das ist kein Modell mit einer kleinen Kalibrierungsdrift; es ist ein Modell, dessen Konfidenz ohne Neuskalierung nicht als Gate verwendet werden kann, und die Dokumentation der Modellfamilie selbst hat nie etwas anderes versprochen.
Liest man diese beiden Absätze zusammen, ist die ehrliche Schlussfolgerung enger, als die Rangliste nahelegt. Karpo ist besser bei Entscheidungen und besser darin zu wissen, wie gut seine Entscheidungen sind. Nimble v3 ist günstiger im Betrieb, und in der einen Kategorie, die für Agentenarbeit am wichtigsten ist, ist es nah dran – aber wenn Sie vorhaben, oberhalb von 0,9 automatisch zu akzeptieren und darunter zu eskalieren, werden Sie Ihre erste Woche damit verbringen, eine Korrektur für Nimble anzupassen, die Karpo Ihnen in seiner Karte liefert.
Die Lizenzgabelung, unverblümt gesagt
Nimble v3 steht unter CC BY-NC 4.0. Daran ist nichts unklar: Die Karte besagt, dass es nicht für kommerzielle Zwecke genutzt werden darf. Jeder frühere Nimble-Checkpoint war Apache-2.0, und das Basismodell ist Apache-2.0, was nichts ändert – eine freizügige Basis lockert keinen nichtkommerziellen Adapter, und im Adapter steckt das Verhalten. Das GitHub-Repository, das den Trainings- und Kuratierungscode des Projekts enthält, meldet über die GitHub-API überhaupt keine Lizenz, was ein separates und wohl gravierenderes Problem für alle ist, die darauf aufbauen wollen.
Karpo Decision 31B is Apache-2.0 for weights and code, with Gemma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.
Für ein Forschungsnotizbuch, eine interne Evaluierung oder ein Paper ist der Unterschied unsichtbar, und Nimble v3 ist der günstigere Einstieg. Für alles, was den Umsatz berührt – ein Routing-Gate in einem kommerziellen Produkt, ein Triage-Modell in einer bezahlten Pipeline, sogar ein internes Tool bei einem gewinnorientierten Unternehmen – entscheidet die Lizenz den Vergleich, bevor die 22,8 Punkte überhaupt Gehör finden. Bespoke Labs hat einen gehosteten API-Pfad und einen Platzhalter für eine 27B-Variante, die 65,33 auf der älteren öffentlichen Suite meldet, und keines von beiden ändert die Bedingungen für den 9B-Adapter.
Das eine oder das andere bereitzustellen, ist zuerst ein Routing-Problem, bevor es ein Modellierungsproblem ist.

Entscheidungsmodelle sind konstruktionsbedingt eng: Sie beantworten nur die Fragen, die man ihnen stellt, sie können nicht schreiben, erklären oder eine Option zurückgeben, die man nicht vorgegeben hat. Das macht sie zur kleinen Hälfte eines Zwei-Modell-Musters und zu der Hälfte, die am einfachsten im eigenen Haus gehalten werden kann. Die generative Hälfte ist der Teil, in dem sich ein einzelner Endpunkt bezahlt macht.
OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Jev 1.14, the target the whole board exists to reproduce, and the Gemma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.
Drei Dinge, die diese Lesart verändern würden

Das Erste ist eine Lizenzänderung. Ein kommerziell nutzbarer Nimble-Adapter auf einer Qwen3.5-9B-Basis, mit einem Kontextvertrag und einer angegebenen Temperatur, würde die 9B-Option für Agent-Gating wirklich wettbewerbsfähig machen — der Tools-Score von 84,24 zeigt, dass die Fähigkeit bereits vorhanden ist. Nichts in den öffentlichen Materialien von Bespoke Labs deutet darauf hin, dass das kommt; der Wechsel von Apache-2.0 zu CC BY-NC ging in die entgegengesetzte Richtung.
Die zweite ist eine Kontext- und Prompt-Spezifikation. Die Karte von Nimble v3 dokumentiert weder das eine noch das andere, was bedeutet, dass jeder, der es ausführt, das Prompt-Format errät, das frühere Versionen mitgeliefert haben. Ein Modell, dessen Eingaben vom Nutzer rekonstruiert werden, ist ein Modell, dessen Kennzahlen schwer zu reproduzieren sind, und der Kalibrierungsfehler von 12,3 Punkten ist die Art von Zahl, die je nach Formulierung der Frage besser oder schlechter ausfällt.
Der dritte Punkt ist jedes unabhängige Instrument, das beide auswertet. Der Decision Index ist sorgfältig, transparent in seiner Methodik und ehrlich zu seinen Gleichstandsbändern, und er ist trotzdem nur ein Community-Board. An dem Tag, an dem eines der beiden Modelle auf Artificial Analysis neben einem Hyperscaler-Scorer erscheint, hört der Vergleich auf, Arithmetik über zwei Anbieterkarten hinweg zu sein, und wird zu einer Messung. Das ist für keines von beiden passiert, und bis es so weit ist, ist die verteidigbare Position die langweilige: Apache-2.0 und besser kalibriert bei 31B, wenn Sie es ausführen können, nicht kommerziell und günstig bei 9B, wenn nicht, und kein Grund, allein anhand des Punktestands zu wählen.
