
Karpo Decision 31B vs Laya: lider 31B kontra enkoder 421M, który uruchomisz na laptopie
- OrcaNOWOŚĆOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 za 1 mln tokenów · 184 tok/s
- tencentNOWOŚĆTencent: Hy4 Flash2026-11-16$0.02 / $0.07 za 1 mln tokenów · 223 tok/s
- GoogleNOWOŚĆGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 za 1 mln tokenów · 87 tok/s
- AnthropicNOWOŚĆAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 za 1 mln tokenów · 96 tok/s
- orcaNOWOŚĆOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 za 1 mln tokenów · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 za 1 mln tokenów · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 za 1 mln tokenów · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 za 1 mln tokenów · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 za 1 mln tokenów · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 za 1 mln tokenów · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 za 1 mln tokenów · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligencja
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 za 1 mln tokenów · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligencja
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 za 1 mln tokenów · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligencja
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 za 1 mln tokenów · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligencja
Postaw Karpo Decision 31B obok Laya, a szczera pierwsza reakcja jest taka, że ktoś popełnił błąd jednostek. Karpo to dostrojony model Gemma 4 z 31,3 miliarda parametrów, który potrzebuje 62,5 GB wag i GPU klasy centrum danych. Laya to enkoder ModernBERT z 421 milionami parametrów od Convai Innovations, na licencji Apache-2.0, zajmujący 808 MB na dysku, który działa na laptopie i zwraca odpowiedź w około 33 ms. W Decision Index — tablicy społecznościowej, na której pojawiają się oba — różnica w Full score wynosi 73,9 wobec 9,2 — największy rozrzut w całej tej partii porównań.
A jednak Laya jest modelem, który dostarcza utrzymywany pakiet pip, serwer MCP, kompilacje ONNX i Core ML oraz ścieżkę dostrajania z udokumentowanym skokiem dokładności z 0,362 do 0,766 na rzeczywistym zestawie przepływów pracy. Karpo dostarcza README i repozytorium. Ciekawym pytaniem nie jest to, który model jest lepszy. Jest nim to, do czego każdy z nich właściwie służy, ponieważ różnica w wynikach i różnica w użyteczności wskazują w przeciwnych kierunkach, a tylko jedna z nich ma znaczenie w danym momencie.
Co oznaczają te dwie liczby i dlaczego to porównanie jest celowo nierówne
Wynik Full 9,21 Laya w trackerze to skorygowany o przypadek wskaźnik umiejętności, a jego surowa dokładność w tym samym zestawie testów wynosi 37,7% przy pokryciu 0,76 — co oznacza, że na około jedną czwartą żądań zestawu w ogóle nie odpowiedziano. Tracker odnotowuje przyczynę: 320 żądań oznaczono jako nieobsługiwane, w przeważającej mierze dlatego, że instrukcja była dłuższa niż natywny budżet Laya, a model odmawia zamiast obcinać. W zestawie zbudowanym dla modeli akceptujących stan 32k tokenów enkoder 512-tokenowy nie konkuruje — on po prostu działa domyślnie.
Karpo odpowiada na ten sam zestaw, osiągając 99,87% pokrycia i 83,2% surowej dokładności. Odrzucono dziewięć żądań — wszystkie dlatego, że pytanie wraz ze swoim stanem przekroczyło 32 768 tokenów.
Bezpośrednie porównanie wyników pokazuje więc, że model zaprojektowany do krótkiej klasyfikacji w oknie 512 tokenów wypada słabo na benchmarku przeznaczonym dla modeli decyzyjnych dla długich dokumentów. Nie jest to krytyka Laya; to stwierdzenie na temat zestawu. Przydatne porównanie jest zadaniowe, a karta Laya podaje taki wynik: w klasyfikacji intencji MASSIVE uzyskuje 0,783 w języku angielskim, a w XNLI 0,860 — na danych wejściowych mieszczących się w jego oknie. Karpo nie ma opublikowanego odpowiednika tej liczby dla krótkiego zadania pojedynczej klasyfikacji, ponieważ jego karta w ogóle nie publikuje wyników na poziomie zadań.
Specyfikacje i co każda z nich oznacza

• Parametry — Karpo 31,3B oraz odczyt 255 × 5376, 62,5 GB w bf16; Laya 421M, pobrano około 808 MB.
• Architektura — szkielet przyczynowego modelu językowego uruchamiany wyłącznie w trybie prefill z liniowym odczytem, w porównaniu z dwukierunkowym enkoderem, który ocenia każdą opcję na jej własnym [MASK] tokenie.
• Kontekst — Karpo: 32 768 tokenów na sekwencję, dzielone według pytania z powtarzanym stanem; Laya: łącznie 512 tokenów w dostarczanej konfiguracji, z czego 192 są zarezerwowane na prompt opcji, co pozostawia około 320 na stan.
• Multimodalność — Karpo odczytuje obrazy i tekst; Laya odczytuje tylko tekst. W angielskim checkpointcie nie ma ścieżki wizyjnej.
Opóźnienie — mediana 94 ms dla Karpo na referencyjnym GPU; Laya 39,5 ms zmierzone na jej własnej karcie, a tracker odnotowuje medianę 5,8 ms na swoim sprzęcie.
• Licencja — Apache-2.0 zarówno dla wag, jak i kodu, bez ograniczeń użytkowania.
• Hosting — żaden z nich nie znajduje się na hostowanym punkcie końcowym udostępnianym przez swojego wydawcę. Laya nie potrzebuje niczego poza pip install laya.
Wiersz kontekstu jest całą decyzją. 320 użytecznych tokenów na stan to zgłoszenie do pomocy technicznej, e-mail, wiadomość czatu, tytuł produktu, linia logu. To nie faktura z pozycjami ani czterdziestostronicowa polityka. Jeśli Twój stan jest dłuższy niż akapit, Layi nie można zadać tego pytania — nie źle, nie powoli, ale w ogóle.
Gdzie mały model jest naprawdę właściwą odpowiedzią
Istnieje klasa decyzji, dla których Karpo jest absurdalny, a projekt Laya jest wycelowany dokładnie w nią. Rozważmy agenta, który na każdym kroku potrzebuje odpowiedzi tak/nie, czy wynik narzędzia wygląda na spełniający intencję, albo do którego z sześciu źródeł wyszukiwania powinno trafić zapytanie, albo czy wiadomość użytkownika zawiera sygnał odejścia. To pytania w skali mikrosekund dotyczące jednego zdania kontekstu, a w jednej rozmowie może ich być pięćdziesiąt.
Przy 94 ms i modelu rezydującym w pamięci o rozmiarze 62,5 GB pięćdziesiąt wywołań to niemal pięć sekund czasu GPU na rozmowę — na sprzęcie, którego koszt przewyższa to, co uzasadnia ruch. Przy medianie 5,8 ms i modelu o rozmiarze 800 MB, działającym na tej samej maszynie co Twoja aplikacja, te same pięćdziesiąt wywołań kosztuje jedną trzecią sekundy i nie stanowi żadnej pozycji w budżecie centrum danych. To nie jest marginalna różnica w pętli wykonywanej na każdym kroku; to różnica między funkcją, która trafia do wydania, a taką, która nie trafia.
Karta Layi również uczciwie dokumentuje tryby awarii, co jest warte więcej niż czysta karta specyfikacji. Angielski checkpoint załamuje się na skryptach niełacińskich — khmerski przy dokładności 0,000, deklarując pewność 0,952 — co jest dokładnie tym przypadkiem pewnego siebie błędu, którego warstwa decyzyjna nie może mieć. Dostarczany Router wykrywa skrypt w mniej niż pół milisekundy w czystym Pythonie i kieruje do wielojęzycznego checkpointu przed przejściem w przód. Pytania o wysokiej liczności również wypadają gorzej: 77 opcji w budżecie 256 tokenów daje każdej etykiecie trzy lub cztery tokeny, a dokładność Banking77 spada do 0,425 wobec 0,870 u Jev. Karta mówi, aby podnieść budżet głowicy, zamiast udawać, że domyślne ustawienie działa.

Ta kombinacja — mały model z opublikowanymi trybami awarii i udokumentowanym rozwiązaniem każdego z nich — jest bardziej użyteczna operacyjnie niż lepszy wynik bez podziału na poziomie zadań.
Gdzie model 31B uzasadnia swoje 62 GB
Zalety Karpo wynikają z tego, że ma w sobie prawdziwy model językowy. Odczytuje zrzut ekranu. Przechowuje dokument polityki i rekord klienta w tym samym stanie obejmującym 32 768 tokenów i odpowiada na sto pytań dotyczących obu w jednym przebiegu, ponieważ stan jest obliczany raz, a każde pytanie odgałęzia się od współdzielonego bloku, nie widząc opcji pozostałych. Obsługuje wybory 255-kierunkowe bez zagłodzenia tokenów, ponieważ odczyt ocenia kody, zamiast osadzać tekst opcji w stałym budżecie.
Profil kategorii potwierdza to w sposób, który dokładnie odpowiada temu, co daje duży model. Wskaźnik wiedzy i rozumowania Karpo to 65,5 wobec 2,9 w przypadku Layi — liczba ta odzwierciedla głównie pytania wiedzowe wymagające długiego kontekstu, których nie można zadać Layi. Jego wskaźnik narzędzi i automatyzacji wynosi 88,4 wobec 5,8. To nie są subtelne różnice między dwoma porównywalnymi modelami; to dwie różne klasy narzędzi.
Czego Karpo nie ma, to jakiekolwiek zaplecze operacyjne. Żadnego eksportu do ONNX, żadnej kompilacji Core ML, żadnego serwera MCP, żadnego agenta instalowanego przez pip, którego można wskazać na opis przepływu pracy i dostroić w jedno popołudnie. Społeczność już zaczęła go kwantyzować — w ciągu dwóch tygodni pojawiły się kompilacja IQ3_M GGUF i kompilacja NVFP4 — ale w chwili pisania tego tekstu nie istnieje żadna oficjalna lekka ścieżka ani cena.
Luka w dostrajaniu, która decyduje o większej liczbie wdrożeń niż ranking.
Najważniejszą liczbą na karcie Laya nie jest wynik benchmarku. Jest nią 0,766 wobec 0,362: dokładność dostrojonego checkpointu względem bazowego modelu angielskiego na 2000 decyzji w czterech przepływach pracy. Dostrajanie ponad dwukrotnie zwiększyło dokładność w przypadku obciążeń, które miały znaczenie.
To jest argument za modelem 421M w jednym zdaniu. Mały model, który w godzinę możesz przetrenować na własnych oznaczonych decyzjach, pokona model 31B, którego nie da się przetrenować w ogóle, na Twoim ruchu i przy Twoim schemacie. Wynik 73,9 Karpo to średnia z prywatnego zestawu testowego; Twoja dystrybucja to nie ten zestaw. Bazowy wynik 0,362 Laya również jest średnią z czyichś decyzji, a oba modele zmienią się, gdy dane będą Twoje — ale tylko jeden z nich ma udokumentowaną ścieżkę do takiej zmiany.
Karpo to pełny fine-tuning checkpointu 31B, bez opublikowanego przepisu treningowego i bez adaptera. Teoretycznie można go dostrajać, ale karta tego nie obsługuje, nie dokumentuje ani nie przewiduje.
Uruchamianie obu jest odpowiedzią częściej niż którekolwiek z nich osobno.
Te dwa modele bardziej się uzupełniają, niż zastępują, a podział jest mechaniczny. Krótkie stany kieruj do enkodera, a długie do modelu 31B. Wzorzec Router jest już domyślnie wdrożony po stronie Laya; po stronie Karpo odpowiednikiem jest sprawdzenie rozmiaru stanu przed przekazaniem.
Warstwa routingu naprawdę się opłaca w trzecim przypadku: na poziomie pomiędzy nimi. Jeśli Twoje stany mieszczą się między 512 tokenami a 32 768, żadne z tych rozwiązań nie jest dobrze dopasowane — Laya odmawia, a Karpo to przesada i zbyt duży koszt. To właśnie w tym środkowym przedziale ma sens model decyzyjny udostępniany jako usługa, a Jev 1.14 znajduje się w naszym katalogu właśnie w tym celu; wywołuje się go tym samym kluczem co wszystko inne. Umieszczenie polityki progowej przed jednym punktem końcowym routingu — krótki stan do hostowanego przez Ciebie enkodera, długi stan do modelu udostępnianego jako usługa, niepewny wynik do kolejki przeglądu — to mniejsze przedsięwzięcie inżynieryjne niż obsługa checkpointu o rozmiarze 62,5 GB i pozwala trzymać wymianę modelu poza kodem aplikacji. Katalog obejmuje również ponad 200 modeli, rozliczanych według cennika dostawcy bez marży, w tym Gemma 4 31B, bazę, na której dostrajano Karpo, co jest tanim sposobem sprawdzenia, co faktycznie dało dostrojenie, zanim przeznaczysz na to GPU.
Jeśli miałbym wskazać tylko jedno zalecenie: zacznij od Laya. Nic nie kosztuje, instaluje się w minutę, a przy krótkich, masowych decyzjach, które agent podejmuje na każdym kroku, jest właściwym narzędziem — nie kompromisem. Przejdź na Karpo Decision 31B, gdy stan przestaje mieścić się w akapicie, i zaakceptuj, że kupujesz wtedy GPU, pobieranie 62 GB oraz model bez ceny, bez zapowiedzi i bez niezależnego wyniku. 64-punktowa rozpiętość w rankingu jest realna i mierzy coś, co ma znaczenie dopiero wtedy, gdy twoje dane wejściowe są wystarczająco długie, by tego potrzebować.

