
Karpo Decision 31B kontra Kev 27B: Lepiej udokumentowany model przegrywa o 14 punktów
- OrcaNOWOŚĆOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 za 1 mln tokenów · 184 tok/s
- tencentNOWOŚĆTencent: Hy4 Flash2026-11-16$0.02 / $0.07 za 1 mln tokenów · 223 tok/s
- GoogleNOWOŚĆGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 za 1 mln tokenów · 87 tok/s
- AnthropicNOWOŚĆAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 za 1 mln tokenów · 96 tok/s
- orcaNOWOŚĆOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 za 1 mln tokenów · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 za 1 mln tokenów · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 za 1 mln tokenów · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 za 1 mln tokenów · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 za 1 mln tokenów · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 za 1 mln tokenów · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligencja
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 za 1 mln tokenów · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligencja
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 za 1 mln tokenów · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligencja
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 za 1 mln tokenów · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligencja
Karpo Decision 31B i Kev 27B znajdują się na Decision Index, społecznościowej tablicy, która ocenia otwarte reprodukcje Jev od TypeSafe, a różnica między nimi nie jest mała: 73,9 Full dla modelu MachinePulse wobec 59,6 dla Kev 27B Jareda Palmera — czternaście punktów różnicy na identycznych prywatnych testach. Karpo przewodzi tablicy. Kev jest 74. z 307.
Ten wynik jest kłopotliwy, ponieważ Kev 27B jest zdecydowanie lepiej udokumentowanym modelem, a pod względem jednej właściwości, dla której model decyzyjny jest faktycznie zatrudniany — uczciwości swoich prawdopodobieństw — jest mierzalnie lepszy od modelu, który go przewyższa. Oba te twierdzenia pochodzą z tych samych dwóch źródeł, a zrozumienie, dlaczego się nie wykluczają, jest najbardziej użyteczną rzeczą w tym porównaniu.
Czym jest każdy model, przed wynikami
Kev 27B to pełnowagowy fine-tune modelu Qwen3.8-27Bopublikowany przez Jareda Palmera na licencji Apache-2.0. Jego druga wersja, wydana 30 września 2026 r., jest średnią ważoną: każdy tensor szkieletu to 0,85 × waga dostrojona plus 0,15 × waga z poprzedniej wersji, przy czym głowica wskaźnikowa została zachowana z nowego przebiegu. Udostępniany checkpoint to 25,6 mld parametrów szkieletu plus głowica z 2,6 mln parametrów, 51,3 GB w bf16, z jedną temperaturą kalibracji 1,32 zapisaną na stałe w pliku głowicy. Stany sięgają 65 536 tokenów, przy co najmniej 8192 na pytanie, a liczba ta jest zweryfikowana, a nie nominalna — karta publikuje sparowaną różnicę dokładności w każdym przedziale od 8k do 64k względem bazowego 8k, wraz z przedziałami ufności.
Karpo Decision 31B to dostrojona wersja modelu Gemma 4 31B dostrojonego do instrukcji, opublikowana przez MachinePulse 5 listopada 2026 r., również na licencji Apache-2.0. Zachowuje 31,3 mld parametrów w bf16 plus odczyt 255 × 5 376 fp32 — 62,5 GB na dysku — i odpowiada przez głowicę liniową na kodach opcji, a nie głowicę wskaźnikową na tokenach. Kontekst to 32 768 tokenów na sekwencję, dzielony według pytań, gdy żądanie przekracza limit, z całkowitą odmową zamiast obcinania, gdy pojedyncze pytanie się nie mieści.
To samo zadanie, inna inżynieria. Kev czyta długi dokument i generuje rozkład. Karpo czyta nieco krótszy i generuje rozkład, szybciej.
14 punktów i co je spowodowało

Oba wiersze pochodzą z tej samej tablicy, więc ta sekcja jest jednym z niewielu miejsc, w których bezpośrednie odejmowanie jest uzasadnione.
• Pełny wynik — Karpo 73,9, Kev 59,6.
• Indeks publiczny — Karpo 75.05, Kev 56.69.
• Ranking według wyniku Full — Karpo 1. (ex aequo z GLiDE 27B z wynikiem 73,4), Kev 74. z 307.
• Wiedza i rozumowanie — Karpo: 65,5 umiejętności skorygowanej o losowość; Kev: 45,7.
• Narzędzia i automatyzacja — Karpo 88,4, Kev 72,7.
• Sztuka i ludzki gust — Karpo 68,2, Kev 42,7.
• Mediana opóźnienia, jeden GPU, jedno żądanie naraz — Karpo 94 ms, Kev 135 ms.
Kształt straty jest spójny we wszystkich kategoriach, a największa różnica bezwzględna występuje w wiedzy i wynosi prawie dwadzieścia punktów. To właśnie ona powinna niepokoić każdego, kto planuje używać Kev do podejmowania decyzji dotyczących dokumentów: model był intensywnie trenowany na pracy z dokumentami i narzędziami dla programistów — 24 000 z jego 145 840 rekordów treningowych pochodzi z licencjonowanych rodzin zadań, a kolejne 7 617 to złożone długie dokumenty — a mimo to osiąga dwie trzecie poziomu umiejętności Karpo w zakresie wiedzy.
Własna karta Kev'a jest szczera co do kierunku zmian. Mierzony na własnym zestawie testów szerokości, podaje wskaźnik 52,3 z przedziałem ufności [49,2; 55,4], podczas gdy Jev firmy TypeSafe osiąga 54,0 [51,2; 57,0] — stratę, którą podaje wprost i nie upiększa. Zespół, który publikuje własny przegrywający przedział, to zespół, którego inne liczby zasługują na wiarę. To właśnie sprawia, że 59,6 jest wiarygodne, a nie żenujące.
Liczba, która biegnie w przeciwnym kierunku
Oto zwrot akcji. Błąd kalibracji — jak bardzo podane prawdopodobieństwo odbiega od zaobserwowanej częstości trafień — przemawia na korzyść Keva, i to nie o włos.
Tracker odnotowuje oczekiwany błąd kalibracji na poziomie 2,18 punktu dla Kev 27B wobec 4,77 dla Karpo Decision 31B. Mówiąc prosto: kiedy Kev podaje 0,8, ma rację w około 80% przypadków, ze średnim odchyleniem wynoszącym dwa punkty. Kiedy Karpo podaje 0,8, średnie odchylenie jest bliższe pięciu punktom. Karta modelu Kev potwierdza to również ze swojej strony, publikując wartości ECE dla poszczególnych paneli między 0,014 a 0,053 oraz pięciokrotną walidację krzyżową, która obniża błąd dopasowania z 4,8% do 3,8%.
Zatem model, który gorzej odpowiada, lepiej wie, jak dobre są jego odpowiedzi. To nie jest paradoks, lecz rozróżnienie między dokładnością a kalibracją, i to decyduje o tym, który model pasuje gdzie:
• Jeśli decyzja jest zautomatyzowana przy progu, kalibracja jest właściwością decydującą. Bramka ustawiona na 0,9, która zadziała na odpowiedziach Karpo z wynikiem 0,9, będzie błędna około dwa razy częściej niż ta sama bramka u Kev'a. Niższa dokładność Kev'a kosztuje przepustowość — więcej przypadków spada poniżej progu i trafia do przeglądu — a lepsza kalibracja sprawia, że te, które przekraczają próg, są bezpieczniejsze.
• Jeśli decyzja jest poddawana przeglądowi lub oceniana, dominuje dokładność. Człowiek lub proces niższego szczebla widzi najlepszą odpowiedź i prawdopodobieństwo, a czternaście punktów dokładności to czternaście punktów pracy wykonanej poprawnie. Przewaga Kewa w zakresie kalibracji nic nie daje, gdy nikt nie stosuje progów.

Oba modele oferują te same trzy typy pytań — {{1}}wybór do 255 opcji{{/1}}, {{2}}noul{{/2}} dla prawda/fałsz, {{3}}punktacja{{/3}} dla uporządkowanej rubryki — a oba udostępniają {{4}}punkt końcowy HTTP w kształcie System One{{/4}}, więc wybór jest odwracalny w kodzie. To dobra wiadomość: możesz to zmierzyć na własnych danych w jedno popołudnie, zamiast się o to spierać.
Długość dokumentu to punkt, w którym specyfikacje faktycznie się różnią.
Limit Karpo wynoszący 32 768 tokenów obowiązuje na sekwencję, a reguła podziału brzmi: „według pytań, przy czym każda część przenosi pełny stan”. W przypadku stu pytań w kontrakcie o długości 20 tys. tokenów to jedno przejście i bez dramatu. W przypadku jednego pytania w kontrakcie o długości 40 tys. tokenów żądanie zostaje odrzucone — dokładnie w ten sposób nie powiodło się dziewięć z 140 178 żądań we własnym przebiegu MachinePulse.
Kev obsługuje stany o długości 65 536 tokenów, walidowane w przedziałach, a jego panel długich dokumentów jest najużyteczniejszą rzeczą na karcie dla każdego, kto ma do czynienia z prawdziwymi umowami. W przypadku komercyjnych umów CUAD raportuje dokładność 0,874 na 2 194 pytaniach, przy czym wartości dla poszczególnych przedziałów utrzymują się między 0,867 a 0,880 od poniżej 8 tys. aż do 32–64 tys. tokenów. Dokładność nie załamuje się wraz z długością. Zmienia się natomiast kalibracja: błąd w tym panelu długich dokumentów wynosi 0,053, około trzykrotnie więcej niż w przypadku dokumentów krótkich. To właśnie przy długich stanach pewność Kev'a staje się rozluźniona.
Uczciwy kompromis dotyczący długości wygląda tak: Kev przyjmie dokument, którego Karpo odmawia przyjęcia, i odpowie na niego nieco mniej niezawodnie niż na krótki. Żaden z modeli nie będzie po cichu obcinał tekstu, co ma większe znaczenie niż którakolwiek z tych liczb — model decyzyjny, który po cichu pomija klauzulę, o którą pytasz, jest gorszy niż taki, który mówi „nie”.
Wdrożenie, wagi i licencja są wspólne dla obu
Oba modele są na licencji Apache-2.0 w zakresie wag i głowy, oba wymagają własnego loadera i oba radykalnie zawodzą, jeśli potraktujesz je jako modele czatowe. Kev potrzebuje GPU klasy 80 GB — stan 64 tys. tokenów osiągnął szczyt 87,1 GB na H200 — albo Maca z około 96 GB. Karpo potrzebuje GPU mieszczącego 62,5 GB wag bf16. Żaden z nich nie ma hostowanego punktu końcowego od swojego wydawcy; Kev jest obsługiwany przez serwer własnego repozytorium, Karpo przez własny pakiet. Oba przyciągnęły kwantyzacje społeczności, co jest zwykłym sygnałem, że ludzie faktycznie je uruchamiają, a nie tylko o nich czytają.
Różnica 135 ms w porównaniu z 94 ms dotyczy pojedynczego żądania na sprzęcie, który nie jest identyczny, więc należy traktować ją jako orientacyjną. To, co nie jest orientacyjne, to kształt operacyjny: nieprzyczynowa uwaga Kev'a na całej sekwencji kosztuje więcej na token w miarę wydłużania się stanów, podczas gdy Karpo oblicza jeden współdzielony stan na żądanie i odgałęzia od niego pytania. Jeśli Twoje obciążenie to wiele pytań dotyczących krótkiego stanu, Karpo jest stworzony dokładnie do tego. Jeśli to jedno pytanie dotyczące długiego dokumentu — Kev.
Który uruchomić
Wybierz Kev 27B, jeśli musisz przekazać modelowi umowę o długości 64 tys. tokenów, jeśli chcesz ustawić próg na prawdopodobieństwie i zależy Ci, by ten próg oznaczał to, co mówi, oraz jeśli cenisz dostawcę, który publikuje przedziały ufności dla własnych strat. Przyjmujesz około czternastu punktów dokładności na tablicy wyników, na której oba modele rywalizowały, a otrzymujesz najlepsze w tej dziedzinie dowody na to, co ta dokładność obejmuje, a czego nie.
Wybierz Karpo Decision 31B, jeśli stan to zrzut ekranu, zgłoszenie lub strona — krótki, z wieloma pytaniami, wrażliwy na opóźnienia — oraz jeśli wynik Full w tablicy jest dowodem, na którym się opierasz. Akceptujesz pięciopunktowy błąd kalibracji i limit 32k, a otrzymujesz obecnego lidera przy 94 ms.
Czego jednak żadne z nich ci nie daje, to produkcyjnego endpointu. Jeśli warstwa decyzyjna ma stać za bramką, która uruchamia się przed każdym wywołaniem narzędzia, to albo będziesz samodzielnie uruchamiać jedno z nich, albo będziesz wywoływać coś hostowanego. Jev 1.14 od TypeSafe jest w naszym katalogu właśnie w tej roli, i to model, za którym oba checkpointy powstały, by go dogonić — przydatny jako kontrola w teście shadow, bo otwarta reprodukcja, która bije swój cel na zewnętrznym rankingu, powinna bić go także na twoim ruchu. Katalog zawiera też oba modele bazowe, Gemma 4 31B i Qwen3.8-27B, poprzez jedno API do ponad 200 modeli w cenie katalogowej dostawcy, bez narzutu, co jest najtańszym sposobem, by ustalić, czy warstwa decyzyjna w ogóle jest warta posiadania, zanim kupisz GPU.
Pytanie otwarte, które pozostawia ten pojedynek, jest tym, na które tablica wyników nie potrafi odpowiedzieć: czy czternastopunktowa przewaga Karpo przetrwa zetknięcie z rzeczywistym obciążeniem, czy też jest to rodzaj przewagi, który wynika z dostrojenia na rozkładzie bliższym prywatnemu zbiorowi testowemu niż u konkurenta. Karta Kev'a dokumentuje jego mieszankę treningową aż do liczby rekordów; karta Karpo tego nie robi. Ta asymetria nie jest dowodem na nic i jest powodem, by mierzyć, a nie ufać którejkolwiek z tych liczb.

