Wygenerowana karta tytułowa z nagłówkiem „Karpo Decision 31B” i podtytułem „Model Gemma 4 31B po fine-tuningu na czele rankingu 307 modeli, bez żadnego posta o premierze”, trzy chipy o treści „wagi: 5 listopada 2026”, „Wynik całkowity: 73.9” i „ogłoszenie: brak”, czteropunktowa pozioma os czasu o treści „5 lis: repozytorium”, „6 lis: przebieg oceniania”, „12 lis: rodzina sześciu modeli” i „16 lis: zmiany w README” oraz karta z obramowaniem o treści „brak ceny”, „brak endpointu” i „brak wiersza Artificial Analysis”.
Guides & Insights

Karpo Decision 31B na szczycie rankingu 307 modeli, choć nie ma na swoim koncie żadnego wpisu o premierze

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Dnia 12 listopada 2026 r. Decision Index — społeczny ranking śledzący otwarte reprodukcje Je​v firmy TypeSafe — umieścił Karpo Decision 31B na czele swojego rankingu Full score z wynikiem 73,9, najwyższym spośród 307 pozycji. W tym samym tygodniu zaczęła krążyć teza, że ten model, czyli dostrojona wersja otwartego modelu Gemma 4 31B od Goog​le, przewyższa własny model Goog​le Gem​ini Decision 1. Tylko jedno z tych dwóch twierdzeń czytelnik może dziś sprawdzić, a różnica między nimi to cała historia. Fakt, że ranking stawia Karpo na pierwszym miejscu, jest publiczny, opatrzony datą i odtwarzalny na podstawie opublikowanego przez laboratorium 45-megabajtowego pliku wyników. Bezpośrednie starcie z Gem​ini Decision 1 nigdy nie zostało przeprowadzone: oba modele nie dzielą ani jednego rankingu, a narzędzia, na których je oceniano, nie są tym samym narzędziem.

To, co czyni pierwszą połowę dziwną, to nie wynik. To cisza wokół niego. MachinePulse Pte. Ltd., singapurska firma stojąca za Karpo, utworzyła repozytorium Hugging Face 5 listopada 2026 r., opublikowała repozytorium inferencyjne na GitHubie tego samego dnia i wypuściła pięć mniejszych wariantów — 12B, 9B, 4B, 2B i 0,8B — 12 listopada. W chwili pisania tego tekstu nie ma strony produktu, wpisu na blogu, cennika, ogłoszenia modelu ani API. Strona samej firmy zwraca 404 na każdej ścieżce, która miałaby je zawierać. Karpo istnieje jako wagi, README, pakiet Pythona i wiersz w rankingu. Ten artykuł dotyczy tego, co te cztery rzeczy mogą, a czego nie mogą ci powiedzieć.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Terminy — i dlaczego mają większe znaczenie niż zwykle

Znacznik czasu utworzenia repozytorium to 5 listopada 2026 r. o 15:33 UTC. Kod wnioskowania w GitHubie powstał dwadzieścia dwie minuty później. Zbiór danych z przebiegu Decision Index — to, co sprawia, że 73.9 można zweryfikować — przesłano 6 listopada o 05:18 UTC. Plik README był jeszcze edytowany 16 listopada; dwa ostatnie commity nie zmieniały niczego poza wierszem praw autorskich i oświadczeniem licencyjnym.

To dwutygodniowy model z aktywnym repozytorium i bez premiery. To nie wyciek i nie zmiana nazwy czegoś starszego: wagi są nowe, plik licencji jest nowy, a rodzina sześciu modeli została wypchnięta w jedno popołudnie. To laboratorium, które postanowiło opublikować artefakt przed marketingiem.

Co dokładnie mierzy 73,9

A single-column scoreboard titled 'Karpo Decision 31B — the scoreboard' with six rows reading 'Full score: 73.9, third-party private tests', 'Public index: 75.05, vendor run, board-adopted', 'Rank: joint first of 307', 'Artificial Analysis: no row', 'Price: none published' and 'Licence: Apache-2.0, Gemma 4 terms alongside', footed 'Full score computed by the Decision Index maintainers; public index from a 140,178-request vendor run adopted by the board.'

The Decision Index w obecnym kształcie to edycja 0.4.1. Jego wynik Full jest obliczany przez opiekunów tablicy na prywatnych testach: około 60% zadań pochodzi z tych samych umiejętności co w publicznym zestawie, a 40% z dziedzin, których publiczny zestaw nie obejmuje. Wiersz Karpo wskazuje 73,9 Full, z 70,7 w części dotyczącej tych samych umiejętności i 78,6 w części dotyczącej nowych dziedzin. Te dwie ostatnie liczby występują w nietypowej kolejności — model zwykle wypada gorzej na nieznanym obszarze niż na umiejętnościach, na których był dostrajany — a karta raportuje to bez komentarza.

Ranking przyznaje jedną pozycję modelom w granicach 0,9 punktu od lidera, więc Karpo nie zajmuje samodzielnie pierwszego miejsca. GLiDE 27B z wynikiem 73,4 dzieli miejsce #1. Za nimi plasują się REAX 1.3 z 72,6, Logits Sigma-1 Duo z 72,3, Copernicus-31B z 72,1 i KnowLine 31B Gen1.5 z 71,9. To ciasna czołówka, a nie samotny lider.

Druga liczba na karcie, 75.05, ma inne pochodzenie i zasługuje na inne odczytanie. To publiczny indeks, który pochodzi z własnego przebiegu oficjalnego zestawu do oceniania MachinePulse — 140 178 ocenionych żądań, z których dziewięć odrzucono, ponieważ jedno pytanie wraz ze swoim stanem przekroczyło okno 32 768 tokenów. Zarząd przyjął ten przebieg. Powód, by ufać mu bardziej niż typowej liczbie dostawcy, jest taki, że katalog przebiegu jest publiczny: results.jsonl.gz, plik z ocenami poszczególnych żądań, manifest środowiska. Każdy może ponownie uruchomić zestaw i porównać. Przyjęcie przez zarząd to etap weryfikacji. To mocniejszy standard niż spełnia większość deklaracji premierowych, a mimo to wciąż nie jest tym samym, co niezależne laboratorium oceniające model na własnym sprzęcie.

A więc dwie etykiety, których nie należy łączyć: Pełny wynik jest obliczany przez stronę trzecią na podstawie prywatnych testów; indeks publiczny jest obliczany przez sam podmiot na podstawie publicznego zestawu i przyjmowany. Żaden z nich nie jest benchmarkiem dostawcy w zwykłym znaczeniu. Żaden nie jest Artificial Analysis.

Dlaczego „przewyższa Gem​ini Decision 1” nie jest jeszcze stwierdzeniem opartym na pomiarach

Gemini Decision 1 ma wynik liczbowy. Artificial Analysis oceniło go na 65,98 w Decision Index v2.1, kompozytowym wskaźniku sześciu ewaluacji ważonych w obszarach decyzji dokumentowych, wywoływania narzędzi, wiedzy, rozumowania i niezmienniczości. W tym zestawieniu zajmuje jedenaste miejsce wśród modeli decyzyjnych klasyfikowanych przez AA, poniżej d1.2-ultra z wynikiem 74,85, Drex Max v1.1 z 72,62 i SubQ Snap 1.2 z 72,58, a powyżej Microsoft-Decision-1 z 62,07. Ocena należy do AA, została przeprowadzona na sprzęcie AA, a uruchomienie kosztuje 345 USD za milion zadań.

Karpo w ogóle nie pojawia się na tej tablicy. Artificial Analysis nie ma dla niego strony ani wiersza. Gem​ini Decision 1 również nie pojawia się w trackerze Decision Index, który zawiera Karpo — ta tablica to rejestr otwartych reprodukcji, a model Goog​le to zamknięty produkt dostępny wyłącznie przez API, bez wag do odtworzenia.

Zatem porównanie, którego wszyscy dokonują, jest wnioskiem z dwóch liczb wygenerowanych przez dwie organizacje na dwóch zestawach testowych z różnymi mieszankami zadań, różnymi udziałami testów prywatnych i różnymi formułami punktacji. 73,9 nie jest większe niż 65,98 w żadnym sensie, który wytrzymuje zetknięcie z metodologią. Gdyby oba przepuszczono jutro przez ten sam zestaw, Karpo miałoby spore szanse wygrać — jego profil w poszczególnych kategoriach jest mocny — ale nikt tego nie przetestował, a nagłówek jest obecnie hipotezą ubraną w szaty wyniku.

Jest jeszcze jeden szczegół wart poznania, ponieważ przemawia przeciwko tej tezie, a nie za nią. W pięciu kategoriach wyodrębnionych przez tracker najsłabszy obszar Karpo to wiedza i rozumowanie, z wynikiem 65,5 umiejętności skorygowanej o przypadek. Najmocniejszy to narzędzia i automatyzacja, z wynikiem 88,4. W rankingu AA jedynym komponentem, w którym Gem​ini Decision 1 bije niemal wszystko, jest komponent wiedzy: 66,3 w AA-Omniscience, najwyższy wynik spośród czterech sprawdzanych tu modeli. Obszar, w którym model Goog​le jest najlepszy, to obszar, w którym dostrojona Gem​ma wypada stosunkowo najsłabiej. Bezpośrednie starcie byłoby tam prawdziwą rywalizacją, a nie łatwym zwycięstwem, i właśnie dlatego nieprzeprowadzonego porównania nie należy przedstawiać jako zwycięstwa.

Część karty, która jest ciekawsza niż ranking

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.

Karpo nie jest modelem czatu z trybem JSON. To odczyt. Każda opcja w pytaniu otrzymuje kod opcji, a głowica liniowa ocenia 255 kodów w stałym slocie, po czym wykonuje softmax po opcjach faktycznie zaproponowanych w pytaniu. Nic nie jest generowane, więc odpowiedź zawsze jest jedną z dostarczonych przez Ciebie opcji, a koszt wyjścia jest strukturalnie zerowy.

Architektura zasługuje na jeden akapit, ponieważ wyjaśnia opóźnienie. Żądanie to jeden stan plus dowolna liczba pytań, zakodowane jako pojedyncza sekwencja: najpierw pytania, potem stan, a następnie jedna gałąź na pytanie. Mechanizm uwagi gałęzi pozwala gałęzi odczytać współdzielony blok i samą siebie, nigdy inną gałąź. Stan jest obliczany raz. Sto pytań dotyczących jednej faktury kosztuje zatem w przybliżeniu jedno przejście przez fakturę, a nie sto.

• Parametry — 31,3 mld w bf16, plus odczyt 255 × 5376 w fp32; około 62,5 GB na dysku.

• Kontekst — 32 768 tokenów na sekwencję; dłuższe zapytanie jest dzielone według pytań, przy czym każda część przenosi pełny stan, a pytanie, które nadal się nie mieści, jest odrzucane, a nie obcinane.

• Wejście — tekst, JSON i obrazy; zrzut ekranu można przekazać jako state.viewport_screenshot lub jako adres URL danych.

• Typy pytań — wybór z maksymalnie 255 opcjami, noul dla prawda/fałsz, punktacja dla uporządkowanego poziomu.

• Interfejs — API Pythona i serwer HTTP w formie System One, POST /v1/systemone.

• Licencja — Apache-2.0 dla wag i kodu, wraz z własną licencją Gemma 4 dołączoną obok w repozytorium.

Zmierzona latencja na sprzęcie referencyjnym trackera, przy jednej GPU i jednym żądaniu naraz, wynosi 94 ms w medianie. To nie jest wystarczająco szybkie, by pozostać niewidocznym w pętli agenta działającej krok po kroku, która wykonuje dwadzieścia małych wywołań na turę, ale wystarczająco szybkie, by stać za bramką wywołań narzędzi uruchamianą kilka razy na rozmowę. Karta podaje też błąd kalibracji na poziomie 4,8 punktu, a to liczba, od której faktycznie zależy wdrożenie: dokładność mówi, jak często najlepsza odpowiedź jest poprawna, kalibracja mówi, czy przypisaną do niej probabilistykę można progować.

Co nie zostało potwierdzone, ujęte wprost

Nie ma ceny. To nie „nieujawniona do czasu premiery” — żadnego cennika, żadnego hostowanego endpointu, żadnej konsoli, żadnego okresu próbnego. Jeśli chcesz dziś mieć Karpo Decision 31B, pobierasz 62,5 GB i uruchamiasz je na własnym GPU za pomocą własnego loadera z repozytorium. Załadowanie checkpointu jako zwykłego modelu czatu nie odtworzy jego odpowiedzi; wymagane są zarówno branch attention, jak i readout.

Nie ma niezależnego wyniku. Decision Index jest nieoficjalny i utrzymywany przez społeczność. Jest staranny, dobrze udokumentowany i nietypowo przejrzysty w kwestii metody, nie jest Artificial Analysis i nie poproszono go o ocenę tego modelu na własnym sprzęcie. Najmocniejszym elementem zewnętrznym jest to, że jego opiekunowie obliczyli Full score na testach, których dostawca nigdy nie widział.

Nie ma żadnego oświadczenia dostawcy na temat tego, do czego model został stworzony, poza opisem zawartym w samym README: drobne decyzje, jakie agent podejmuje na każdym kroku — czy wywołać narzędzie, czy najpierw zapytać, który element na stronie kliknąć, czy zwrot kwalifikuje się zgodnie z polityką. Ten opis to ujęcie przyjęte przez laboratorium, a nie niezależnie zweryfikowany zakres.

A ogłoszenia nie ma. Ani cichego, ani wpisu w dzienniku zmian. Dwa tygodnie po publikacji wag publiczna twarz firmy to strona rekrutacyjna i inna linia produktów.

Co to oznacza dla zespołu, który chce tego spróbować

Uczciwe podsumowanie jest takie, że Karpo Decision 31B to najciekawszy otwarty model decyzyjny ostatnich dwóch tygodni i jednocześnie najsłabiej poparty. Jego przewaga jest realna, ale dzielona, jego publiczny indeks jest odtwarzalny, jego wynik w prywatnym teście naprawdę pochodzi od strony trzeciej, a jego główne twierdzenie marketingowe — że dostrojona wersja Gemma bije teraz Google w jego własnym modelu decyzyjnym — jest niezmierzone.

Dla zespołów, które już korzystają z warstwy decyzyjnej, praktyczną drogą jest wdrożenie cieniowe, a nie migracja. Zachowaj model, który obsługuje ruch produkcyjny, uruchom Karpo na tych samych żądaniach w trybie offline i porównuj prawdopodobieństwa, a nie etykiety: błąd kalibracji wynoszący 4,8 punktu oznacza, że mniej więcej co dwudziesta odpowiedź jest błędna z większą pewnością, niż sugeruje podane prawdopodobieństwo, a Twoja polityka progowa decyduje, czy trafi to do kolejki przeglądu przez człowieka, czy stanie się incydentem. Jeśli ujednolicasz resztę stosu na jednym punkcie końcowym, modele, do których faktycznie możesz dotrzeć w tym tygodniu, to te z katalogu — sama Gemma 4 31B, która jest bazą Karpo i jest udostępniana przez one API dla ponad 200 modeli w cenie katalogowej dostawcy bez marży, oraz Jev 1.14 od TypeSafe, model, którego dogonienia miała służyć cała ta tablica otwartej reprodukcji. Karpo będzie musiał zasłużyć na swoje miejsce tak jak pozostałe: tym, że można go wywoływać.

Nie na 73.9 trzeba uważać. Chodzi o to, czy MachinePulse w ciągu najbliższego miesiąca opublikuje stronę produktu, cenę i zgłoszenie do AA. Laboratorium, które publikuje wagi przed stroną internetową, zwykle ma powód, a ten powód zazwyczaj objawia się albo hostowanym endpointem, albo pivotem. Tak czy inaczej, pierwsza niezależna liczba na tablicy AA rozstrzygnie w ciągu tygodnia to, czego nie rozstrzygnęły dwa tygodnie arytmetyki rankingów.