
Karpo Decision 31B vs. Laya: Ein führendes 31B-Modell gegen einen 421M-Encoder, der auf einem Laptop läuft
- OrcaNEUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 pro 1 Mio. Tokens · 184 tok/s
- tencentNEUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 pro 1 Mio. Tokens · 223 tok/s
- GoogleNEUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 pro 1 Mio. Tokens · 87 tok/s
- AnthropicNEUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 pro 1 Mio. Tokens · 96 tok/s
- orcaNEUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 pro 1 Mio. Tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 pro 1 Mio. Tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 pro 1 Mio. Tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 pro 1 Mio. Tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 pro 1 Mio. Tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 pro 1 Mio. Tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 pro 1 Mio. Tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 pro 1 Mio. Tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligenz
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 pro 1 Mio. Tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligenz
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 pro 1 Mio. Tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligenz
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 pro 1 Mio. Tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligenz
Stellt man Karpo Decision 31B neben Laya, ist die ehrliche erste Reaktion, dass jemand einen Einheitenfehler gemacht hat. Karpo ist ein Fine-Tune von Gemma 4 mit 31,3 Milliarden Parametern, das 62,5 GB Gewichte und eine Rechenzentrums-GPU benötigt. Laya ist ein ModernBERT-Encoder mit 421 Millionen Parametern von Convai Innovations, Apache-2.0, 808 MB auf der Festplatte, der auf einem Laptop läuft und in etwa 33 Millisekunden antwortet. Auf dem Decision Index, dem Community-Board, auf dem beide erscheinen, beträgt der Abstand beim Full Score 73,9 gegenüber 9,2 — die größte Spanne in dieser gesamten Vergleichsreihe.
Und doch ist Laya das Modell, das ein gepflegtes pip-Paket, einen MCP-Server, ONNX- und Core-ML-Builds sowie einen Fine-Tuning-Pfad mit einem dokumentierten Genauigkeitssprung von 0,362 auf 0,766 auf einem echten Workflow-Set liefert. Karpo liefert eine README und ein Repository. Die interessante Frage ist nicht, welches Modell besser ist. Sie ist, wofür jedes von ihnen tatsächlich gedacht ist, denn die Score-Lücke und die Usability-Lücke weisen in entgegengesetzte Richtungen, und immer nur eine davon zählt.
Was die beiden Zahlen bedeuten und warum der Vergleich konstruktionsbedingt unausgewogen ist
Layas 9,21-Gesamtwertung im Tracker ist eine zufallskorrigierte Skill-Kennzahl, und ihre Rohgenauigkeit über dieselbe Suite liegt bei 37,7 % bei einer Abdeckung von 0,76 – das bedeutet, dass etwa ein Viertel der Anfragen der Suite überhaupt nie beantwortet wurde. Der Tracker hält fest, warum: 320 Anfragen als nicht unterstützt markiert, überwiegend deshalb, weil eine Anweisung länger war als Layas natives Budget und das Modell ablehnt, statt zu kürzen. In einer Suite, die für Modelle gebaut wurde, die einen 32k-Token-Zustand akzeptieren, konkurriert ein 512-Token-Encoder nicht, sondern fällt auf Standardverhalten zurück.
Karpo beantwortet dieselbe Suite mit 99,87 % Abdeckung und 83,2 % roher Genauigkeit. Neun Anfragen wurden abgelehnt, alle deshalb, weil eine Frage zusammen mit ihrem Zustand 32.768 Token überschritt.
Ein direkter Score-Vergleich zeigt also, dass ein Modell, das für kurze Klassifikation über ein Fenster von 512 Token ausgelegt ist, bei einem Benchmark schlecht abschneidet, der für Entscheidungsmodelle für lange Dokumente konzipiert ist. Das ist keine Kritik an Laya; es ist eine Aussage über die Suite. Der nützliche Vergleich ist aufgabenbezogen, und Layas Karte enthält einen: Bei der MASSIVE-Intent-Klassifikation erzielt es 0,783 für Englisch und bei XNLI 0,860, bei Eingaben, die in sein Fenster passen. Karpo hat keine entsprechende veröffentlichte Zahl für eine kurze Einzelklassifikationsaufgabe, weil seine Karte überhaupt keine Ergebnisse auf Aufgabenebene veröffentlicht.
Die Spezifikationen und was jede einzelne bedeutet

• Parameter — Karpo 31.3B plus ein 255 × 5,376 Readout, 62,5 GB in bf16; Laya 421M, etwa 808 MB heruntergeladen.
• Architektur — ein kausales Sprachmodell-Backbone, ausschließlich mit Prefill und einem linearen Readout betrieben, gegenüber einem bidirektionalen Encoder, der jede Option an ihrem eigenen [MASK]-Token bewertet.
• Kontext — Karpo 32.768 Token pro Sequenz, aufgeteilt nach Frage, wobei der Zustand wiederholt wird; Laya 512 Token insgesamt in der ausgelieferten Konfiguration, davon 192 für den Options-Prompt reserviert, sodass etwa 320 für den Zustand verbleiben.
• Multimodalität — Karpo liest Bilder und Text; Laya liest nur Text. Im englischen Checkpoint gibt es keinen Vision-Pfad.
• Latenz — Karpo 94 ms Median auf einer Referenz-GPU; Laya 39,5 ms gemessen auf der eigenen Karte, und der Tracker verzeichnet einen Median von 5,8 ms auf seiner Hardware.
• Lizenz — Apache-2.0 für beides, Gewichte und Code, keine Nutzungseinschränkungen.
• Hosting — keines der beiden ist von seinem Herausgeber auf einem gehosteten Endpunkt verfügbar. Laya benötigt nichts außer pip install laya.
Die Kontextzeile ist die gesamte Entscheidung. 320 nutzbare Tokens für den Zustand sind ein Support-Ticket, eine E-Mail, eine Chatnachricht, ein Produkttitel, eine Logzeile. Es ist keine Rechnung mit Positionen oder eine vierzigseitige Richtlinie. Wenn Ihr Zustand länger als ein Absatz ist, kann man Laya die Frage nicht stellen – nicht schlecht, nicht langsam, sondern überhaupt nicht.
Wo das kleine Modell wirklich die richtige Antwort ist
Es gibt eine Klasse von Entscheidungen, für die Karpo absurd ist, und Layas Design zielt direkt darauf ab. Stellen Sie sich einen Agenten vor, der bei jedem Schritt ein Ja/Nein dazu benötigt, ob ein Werkzeugergebnis die Absicht zu erfüllen scheint, oder welche von sechs Abrufquellen eine Anfrage verwenden soll, oder ob eine Benutzernachricht ein Abwanderungssignal enthält. Dies sind Fragen im Mikrosekundenbereich zu einem Satz Kontext, und es könnten fünfzig davon in einem Gespräch sein.
Bei 94 ms und einem residenten Modell von 62,5 GB kosten fünfzig Aufrufe nahezu fünf Sekunden GPU-Zeit pro Konversation – auf Hardware, die mehr kostet, als das Verkehrsaufkommen rechtfertigt. Bei 5,8 ms im Median mit einem 800-MB-Modell, das auf derselben Maschine wie Ihre Anwendung läuft, kosten dieselben fünfzig Aufrufe eine Drittelsekunde und keinen Posten in der Rechenzentrumsabrechnung. Das ist in einer Schleife pro Schritt kein marginaler Unterschied; es ist der Unterschied zwischen einem Feature, das ausgeliefert wird, und einem, das es nicht wird.
Layas Karte dokumentiert auch die Fehlermodi ehrlich, was mehr wert ist als ein sauberes Datenblatt. Der englische Checkpoint bricht bei nicht-lateinischen Schriftsystemen zusammen – Khmer bei 0,000 Genauigkeit, während 0,952 Konfidenz angegeben werden –, was genau das selbstsicher falsche Fehlverhalten ist, das eine Entscheidungsschicht nicht haben darf. Der ausgelieferte Router erkennt das Schriftsystem in unter einer halben Millisekunde in reinem Python und leitet vor dem Vorwärtsdurchlauf an den mehrsprachigen Checkpoint weiter. Auch Fragen mit hoher Kardinalität verschlechtern sich: 77 Optionen in einem 256-Token-Budget lassen jedem Label drei oder vier Tokens, und die Genauigkeit von Banking77 fällt auf 0,425 gegenüber 0,870 bei Jev. Die Karte rät Ihnen, das Head-Budget zu erhöhen, statt vorzugeben, der Standard funktioniere.

Diese Kombination – ein kleines Modell mit veröffentlichten Fehlermodi und einer dokumentierten Behebung für jeden – ist im operativen Einsatz nützlicher als eine bessere Punktzahl ohne Aufschlüsselung nach Aufgaben.
Wo das 31B-Modell seine 62 GB verdient
Die Vorteile von Karpo sind die, die daraus entstehen, dass ein echtes Sprachmodell in ihm steckt. Es liest einen Screenshot. Es hält ein Richtlinendokument und einen Kundendatensatz im selben 32.768-Token-Zustand und beantwortet hundert Fragen zu beiden in einem Durchgang, weil der Zustand einmal berechnet wird und jede Frage vom gemeinsamen Block abzweigt, ohne die Optionen der anderen zu sehen. Es bewältigt Auswahlmöglichkeiten mit 255 Wegen ohne Token-Verhungerung, da die Auslese Codes bewertet, statt Optionstext in ein festes Budget einzubetten.
Das Kategorieprofil stützt dies auf eine Weise, die sich sauber darauf abbilden lässt, was ein großes Modell bringt. Karpos Wissens- und Schlussfolgerungsfähigkeit liegt bei 65,5 gegenüber 2,9 bei Laya – ein Wert, der vor allem die Langkontext-Wissensfragen der Suite widerspiegelt, die man Laya nicht stellen kann. Seine Werkzeug- und Automatisierungsfähigkeit liegt bei 88,4 gegenüber 5,8. Das sind keine feinen Unterschiede zwischen zwei vergleichbaren Modellen; das sind zwei verschiedene Klassen von Instrumenten.
Was Karpo nicht hat, ist irgendein operatives Gerüst. Kein ONNX-Export, kein Core-ML-Build, kein MCP-Server, kein per pip installierbarer Agent, den man auf eine Workflow-Beschreibung richten und in einem Nachmittag feinabstimmen kann. Die Community hat bereits damit begonnen, es zu quantisieren – ein IQ3_M-GGUF und ein NVFP4-Build sind innerhalb von zwei Wochen aufgetaucht –, aber zum Zeitpunkt dieses Schreibens gibt es keinen offiziellen Pfad mit kleinem Footprint und keinen Preis.
Die Fine-Tuning-Lücke, die mehr Deployments bestimmt als das Leaderboard
Die wichtigste Zahl auf Layas Karte ist kein Benchmark-Wert. Sie lautet 0,766 gegenüber 0,362: die Genauigkeit eines feinabgestimmten Checkpoints gegenüber dem englischen Basismodell bei 2.000 Entscheidungen in vier Workflows. Durch die Feinabstimmung hat sich die Genauigkeit bei den relevanten Workloads mehr als verdoppelt.
Das ist das Argument für ein 421M-Modell in einer Zeile. Ein kleines Modell, das Sie in einer Stunde mit Ihren eigenen gelabelten Entscheidungen neu trainieren können, wird ein 31B-Modell, das Sie überhaupt nicht neu trainieren können, auf Ihrem Traffic mit Ihrem Schema schlagen. Karpos 73,9 ist ein Durchschnitt über eine private Suite; Ihre Verteilung ist nicht diese Suite. Layas Basiswert von 0,362 ist ebenfalls ein Durchschnitt über die Entscheidungen von jemand anderem, und beide Modelle werden sich verändern, sobald die Daten Ihre sind – aber nur eines von ihnen kommt mit einem dokumentierten Weg, diesen Wandel zu vollziehen.
Karpo ist ein vollständiges Fine-Tuning eines 31B-Checkpoints ohne veröffentlichtes Trainingsrezept und ohne Adapter. Ein Fine-Tuning ist grundsätzlich möglich und wird von der Modellkarte weder unterstützt noch dokumentiert oder erwartet.
Beides laufen zu lassen, was öfter die Antwort ist als jedes für sich.
Die beiden Modelle ergänzen sich eher, als dass sie einander ersetzen, und die Aufteilung ist mechanisch. Leiten Sie kurze Zustände an den Encoder und lange an das 31B weiter. Das Router-Muster ist auf der Laya-Seite bereits der ausgelieferte Standard; auf der Karpo-Seite ist das Äquivalent eine Größenprüfung des Zustands, bevor Sie ihn weiterleiten.
Wo eine Routing-Schicht sich bezahlt macht, ist der dritte Fall: die Ebene zwischen ihnen. Wenn Ihre States zwischen 512 Tokens und 32.768 liegen, passt keiner der beiden wirklich – Laya lehnt ab, und Karpo ist überdimensioniert und teuer. Genau in diesem mittleren Band ergibt ein bereitgestelltes Entscheidungsmodell Sinn, und Jev 1.14 steht in unserem Katalog dafür bereit, abrufbar über denselben Key wie alles andere. Eine Schwellenwert-Richtlinie vor einen einzelnen Routing-Endpunkt zu setzen – kurzer State zum Encoder, den Sie selbst hosten, langer State zu einem bereitgestellten Modell, unsichere Ausgabe in eine Review-Queue – ist ein kleinerer Engineering-Aufwand als der Betrieb eines 62,5-GB-Checkpoints, und es hält den Modelltausch aus Ihrem Anwendungscode heraus. Der Katalog umfasst über 200 Modelle, abgerechnet zum Listenpreis des Anbieters ohne Aufschlag, und enthält auch Gemma 4 31B, die Basis, aus der Karpo feinabgestimmt wurde, was ein günstiger Weg ist, zu prüfen, was die Feinabstimmung tatsächlich gebracht hat, bevor Sie ihr eine GPU widmen.
Wenn Sie sich auf eine Empfehlung festlegen müssten: Fangen Sie mit Laya an. Es kostet nichts, ist in einer Minute installiert, und bei den kurzen, in großer Zahl anfallenden Entscheidungen, die ein Agent bei jedem Schritt trifft, ist es das richtige Werkzeug – kein Kompromiss. Wechseln Sie zu Karpo Decision 31B, wenn ein Zustand nicht mehr in einen Absatz passt, und akzeptieren Sie, dass Sie dann eine GPU, einen 62-GB-Download und ein Modell ohne Preis, ohne Ankündigung und ohne unabhängige Bewertung kaufen. Die Spanne von 64 Punkten auf der Bestenliste ist real, und sie misst etwas, das erst dann zählt, wenn Ihre Eingabe lang genug ist, um es zu brauchen.

