Wygenerowana karta tytułowa z nagłówkiem „Karpo Decision 31B vs Kev 27B” i podtytułem „Ta sama tablica, czternaście punktów różnicy — a przegrany ma lepszą kalibrację”, cztery chipy z napisami „Karpo 73.9 Full”, „Kev 59.6 Full”, „błąd kalibracji 4.8 vs 2.18” i „identyczne prywatne testy” oraz dwie karty z obramowaniem oznaczone „Kev 27B” i „Karpo Decision 31B”, połączone linią z napisem „oba oceniane przez Decision Index”.
Guides & Insights

Karpo Decision 31B kontra Kev 27B: Lepiej udokumentowany model przegrywa o 14 punktów

Autor

Elias Hawthorne

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Karpo Decision 31B i Kev 27B znajdują się na Decision Index, społecznościowej tablicy, która ocenia otwarte reprodukcje Jev od TypeSafe, a różnica między nimi nie jest mała: 73,9 Full dla modelu MachinePulse wobec 59,6 dla Kev 27B Jareda Palmera — czternaście punktów różnicy na identycznych prywatnych testach. Karpo przewodzi tablicy. Kev jest 74. z 307.

Ten wynik jest kłopotliwy, ponieważ Kev 27B jest zdecydowanie lepiej udokumentowanym modelem, a pod względem jednej właściwości, dla której model decyzyjny jest faktycznie zatrudniany — uczciwości swoich prawdopodobieństw — jest mierzalnie lepszy od modelu, który go przewyższa. Oba te twierdzenia pochodzą z tych samych dwóch źródeł, a zrozumienie, dlaczego się nie wykluczają, jest najbardziej użyteczną rzeczą w tym porównaniu.

Czym jest każdy model, przed wynikami

Kev 27B to pełnowagowy fine-tune modelu Qwen3.8-27Bopublikowany przez Jareda Palmera na licencji Apache-2.0. Jego druga wersja, wydana 30 września 2026 r., jest średnią ważoną: każdy tensor szkieletu to 0,85 × waga dostrojona plus 0,15 × waga z poprzedniej wersji, przy czym głowica wskaźnikowa została zachowana z nowego przebiegu. Udostępniany checkpoint to 25,6 mld parametrów szkieletu plus głowica z 2,6 mln parametrów, 51,3 GB w bf16, z jedną temperaturą kalibracji 1,32 zapisaną na stałe w pliku głowicy. Stany sięgają 65 536 tokenów, przy co najmniej 8192 na pytanie, a liczba ta jest zweryfikowana, a nie nominalna — karta publikuje sparowaną różnicę dokładności w każdym przedziale od 8k do 64k względem bazowego 8k, wraz z przedziałami ufności.

Karpo Decision 31B to dostrojona wersja modelu Gemma 4 31B dostrojonego do instrukcji, opublikowana przez MachinePulse 5 listopada 2026 r., również na licencji Apache-2.0. Zachowuje 31,3 mld parametrów w bf16 plus odczyt 255 × 5 376 fp32 — 62,5 GB na dysku — i odpowiada przez głowicę liniową na kodach opcji, a nie głowicę wskaźnikową na tokenach. Kontekst to 32 768 tokenów na sekwencję, dzielony według pytań, gdy żądanie przekracza limit, z całkowitą odmową zamiast obcinania, gdy pojedyncze pytanie się nie mieści.

To samo zadanie, inna inżynieria. Kev czyta długi dokument i generuje rozkład. Karpo czyta nieco krótszy i generuje rozkład, szybciej.

14 punktów i co je spowodowało

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

Oba wiersze pochodzą z tej samej tablicy, więc ta sekcja jest jednym z niewielu miejsc, w których bezpośrednie odejmowanie jest uzasadnione.

• Pełny wynik — Karpo 73,9, Kev 59,6.

• Indeks publiczny — Karpo 75.05, Kev 56.69.

• Ranking według wyniku Full — Karpo 1. (ex aequo z GLiDE 27B z wynikiem 73,4), Kev 74. z 307.

• Wiedza i rozumowanie — Karpo: 65,5 umiejętności skorygowanej o losowość; Kev: 45,7.

• Narzędzia i automatyzacja — Karpo 88,4, Kev 72,7.

• Sztuka i ludzki gust — Karpo 68,2, Kev 42,7.

• Mediana opóźnienia, jeden GPU, jedno żądanie naraz — Karpo 94 ms, Kev 135 ms.

Kształt straty jest spójny we wszystkich kategoriach, a największa różnica bezwzględna występuje w wiedzy i wynosi prawie dwadzieścia punktów. To właśnie ona powinna niepokoić każdego, kto planuje używać Kev do podejmowania decyzji dotyczących dokumentów: model był intensywnie trenowany na pracy z dokumentami i narzędziami dla programistów — 24 000 z jego 145 840 rekordów treningowych pochodzi z licencjonowanych rodzin zadań, a kolejne 7 617 to złożone długie dokumenty — a mimo to osiąga dwie trzecie poziomu umiejętności Karpo w zakresie wiedzy.

Własna karta Kev'a jest szczera co do kierunku zmian. Mierzony na własnym zestawie testów szerokości, podaje wskaźnik 52,3 z przedziałem ufności [49,2; 55,4], podczas gdy Jev firmy TypeSafe osiąga 54,0 [51,2; 57,0] — stratę, którą podaje wprost i nie upiększa. Zespół, który publikuje własny przegrywający przedział, to zespół, którego inne liczby zasługują na wiarę. To właśnie sprawia, że 59,6 jest wiarygodne, a nie żenujące.

Liczba, która biegnie w przeciwnym kierunku

Oto zwrot akcji. Błąd kalibracji — jak bardzo podane prawdopodobieństwo odbiega od zaobserwowanej częstości trafień — przemawia na korzyść Keva, i to nie o włos.

Tracker odnotowuje oczekiwany błąd kalibracji na poziomie 2,18 punktu dla Kev 27B wobec 4,77 dla Karpo Decision 31B. Mówiąc prosto: kiedy Kev podaje 0,8, ma rację w około 80% przypadków, ze średnim odchyleniem wynoszącym dwa punkty. Kiedy Karpo podaje 0,8, średnie odchylenie jest bliższe pięciu punktom. Karta modelu Kev potwierdza to również ze swojej strony, publikując wartości ECE dla poszczególnych paneli między 0,014 a 0,053 oraz pięciokrotną walidację krzyżową, która obniża błąd dopasowania z 4,8% do 3,8%.

Zatem model, który gorzej odpowiada, lepiej wie, jak dobre są jego odpowiedzi. To nie jest paradoks, lecz rozróżnienie między dokładnością a kalibracją, i to decyduje o tym, który model pasuje gdzie:

• Jeśli decyzja jest zautomatyzowana przy progu, kalibracja jest właściwością decydującą. Bramka ustawiona na 0,9, która zadziała na odpowiedziach Karpo z wynikiem 0,9, będzie błędna około dwa razy częściej niż ta sama bramka u Kev'a. Niższa dokładność Kev'a kosztuje przepustowość — więcej przypadków spada poniżej progu i trafia do przeglądu — a lepsza kalibracja sprawia, że te, które przekraczają próg, są bezpieczniejsze.

• Jeśli decyzja jest poddawana przeglądowi lub oceniana, dominuje dokładność. Człowiek lub proces niższego szczebla widzi najlepszą odpowiedź i prawdopodobieństwo, a czternaście punktów dokładności to czternaście punktów pracy wykonanej poprawnie. Przewaga Kewa w zakresie kalibracji nic nie daje, gdy nikt nie stosuje progów.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Oba modele oferują te same trzy typy pytań — {{1}}wybór do 255 opcji{{/1}}, {{2}}noul{{/2}} dla prawda/fałsz, {{3}}punktacja{{/3}} dla uporządkowanej rubryki — a oba udostępniają {{4}}punkt końcowy HTTP w kształcie System One{{/4}}, więc wybór jest odwracalny w kodzie. To dobra wiadomość: możesz to zmierzyć na własnych danych w jedno popołudnie, zamiast się o to spierać.

Długość dokumentu to punkt, w którym specyfikacje faktycznie się różnią.

Limit Karpo wynoszący 32 768 tokenów obowiązuje na sekwencję, a reguła podziału brzmi: „według pytań, przy czym każda część przenosi pełny stan”. W przypadku stu pytań w kontrakcie o długości 20 tys. tokenów to jedno przejście i bez dramatu. W przypadku jednego pytania w kontrakcie o długości 40 tys. tokenów żądanie zostaje odrzucone — dokładnie w ten sposób nie powiodło się dziewięć z 140 178 żądań we własnym przebiegu MachinePulse.

Kev obsługuje stany o długości 65 536 tokenów, walidowane w przedziałach, a jego panel długich dokumentów jest najużyteczniejszą rzeczą na karcie dla każdego, kto ma do czynienia z prawdziwymi umowami. W przypadku komercyjnych umów CUAD raportuje dokładność 0,874 na 2 194 pytaniach, przy czym wartości dla poszczególnych przedziałów utrzymują się między 0,867 a 0,880 od poniżej 8 tys. aż do 32–64 tys. tokenów. Dokładność nie załamuje się wraz z długością. Zmienia się natomiast kalibracja: błąd w tym panelu długich dokumentów wynosi 0,053, około trzykrotnie więcej niż w przypadku dokumentów krótkich. To właśnie przy długich stanach pewność Kev'a staje się rozluźniona.

Uczciwy kompromis dotyczący długości wygląda tak: Kev przyjmie dokument, którego Karpo odmawia przyjęcia, i odpowie na niego nieco mniej niezawodnie niż na krótki. Żaden z modeli nie będzie po cichu obcinał tekstu, co ma większe znaczenie niż którakolwiek z tych liczb — model decyzyjny, który po cichu pomija klauzulę, o którą pytasz, jest gorszy niż taki, który mówi „nie”.

Wdrożenie, wagi i licencja są wspólne dla obu

Oba modele są na licencji Apache-2.0 w zakresie wag i głowy, oba wymagają własnego loadera i oba radykalnie zawodzą, jeśli potraktujesz je jako modele czatowe. Kev potrzebuje GPU klasy 80 GB — stan 64 tys. tokenów osiągnął szczyt 87,1 GB na H200 — albo Maca z około 96 GB. Karpo potrzebuje GPU mieszczącego 62,5 GB wag bf16. Żaden z nich nie ma hostowanego punktu końcowego od swojego wydawcy; Kev jest obsługiwany przez serwer własnego repozytorium, Karpo przez własny pakiet. Oba przyciągnęły kwantyzacje społeczności, co jest zwykłym sygnałem, że ludzie faktycznie je uruchamiają, a nie tylko o nich czytają.

Różnica 135 ms w porównaniu z 94 ms dotyczy pojedynczego żądania na sprzęcie, który nie jest identyczny, więc należy traktować ją jako orientacyjną. To, co nie jest orientacyjne, to kształt operacyjny: nieprzyczynowa uwaga Kev'a na całej sekwencji kosztuje więcej na token w miarę wydłużania się stanów, podczas gdy Karpo oblicza jeden współdzielony stan na żądanie i odgałęzia od niego pytania. Jeśli Twoje obciążenie to wiele pytań dotyczących krótkiego stanu, Karpo jest stworzony dokładnie do tego. Jeśli to jedno pytanie dotyczące długiego dokumentu — Kev.

Który uruchomić

Wybierz Kev 27B, jeśli musisz przekazać modelowi umowę o długości 64 tys. tokenów, jeśli chcesz ustawić próg na prawdopodobieństwie i zależy Ci, by ten próg oznaczał to, co mówi, oraz jeśli cenisz dostawcę, który publikuje przedziały ufności dla własnych strat. Przyjmujesz około czternastu punktów dokładności na tablicy wyników, na której oba modele rywalizowały, a otrzymujesz najlepsze w tej dziedzinie dowody na to, co ta dokładność obejmuje, a czego nie.

Wybierz Karpo Decision 31B, jeśli stan to zrzut ekranu, zgłoszenie lub strona — krótki, z wieloma pytaniami, wrażliwy na opóźnienia — oraz jeśli wynik Full w tablicy jest dowodem, na którym się opierasz. Akceptujesz pięciopunktowy błąd kalibracji i limit 32k, a otrzymujesz obecnego lidera przy 94 ms.

Czego jednak żadne z nich ci nie daje, to produkcyjnego endpointu. Jeśli warstwa decyzyjna ma stać za bramką, która uruchamia się przed każdym wywołaniem narzędzia, to albo będziesz samodzielnie uruchamiać jedno z nich, albo będziesz wywoływać coś hostowanego. Jev 1.14 od TypeSafe jest w naszym katalogu właśnie w tej roli, i to model, za którym oba checkpointy powstały, by go dogonić — przydatny jako kontrola w teście shadow, bo otwarta reprodukcja, która bije swój cel na zewnętrznym rankingu, powinna bić go także na twoim ruchu. Katalog zawiera też oba modele bazowe, Gemma 4 31B i Qwen3.8-27B, poprzez jedno API do ponad 200 modeli w cenie katalogowej dostawcy, bez narzutu, co jest najtańszym sposobem, by ustalić, czy warstwa decyzyjna w ogóle jest warta posiadania, zanim kupisz GPU.

Pytanie otwarte, które pozostawia ten pojedynek, jest tym, na które tablica wyników nie potrafi odpowiedzieć: czy czternastopunktowa przewaga Karpo przetrwa zetknięcie z rzeczywistym obciążeniem, czy też jest to rodzaj przewagi, który wynika z dostrojenia na rozkładzie bliższym prywatnemu zbiorowi testowemu niż u konkurenta. Karta Kev'a dokumentuje jego mieszankę treningową aż do liczby rekordów; karta Karpo tego nie robi. Ta asymetria nie jest dowodem na nic i jest powodem, by mierzyć, a nie ufać którejkolwiek z tych liczb.

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.