Decyzja Gemini 1 kontra Kev: Tysiąc pytań w jednym wywołaniu czy przepis, który możesz wytrenować ponownie

Trening rodziny Kev Jareda Palmera kosztował około 95 USD w czasie H100 na Modal, plus około trzech centów na wywołania API dla danych ewaluacyjnych, a cała receptura znajduje się w repozytorium. Gemini Decision 1 kosztuje tyle, ile wiodące laboratorium wydaje na model, którego nie chce opisać, a w zamian za te pieniądze dostajesz schemat żądań: jeden endpoint, do 1000 typowanych pytań względem pojedynczego wejścia o 262 144 tokenach, skalibrowane prawdopodobieństwa w odpowiedzi, zero tokenów wyjściowych, 0,10 USD za milion tokenów wejściowych. Zestaw Kev z tym, a porównanie tak naprawdę nie dotyczy dwóch modeli. Dotyczy urządzenia do scoringu wsadowego i małego kawałka maszynerii, który możesz rozłożyć na części.

Żaden z projektów nie opublikował liczby, względem której można by ocenić drugi — i to jest pierwsza uczciwa rzecz, jaką można powiedzieć. Google nie opublikowało żadnej tabeli benchmarków wraz z Gemini Decision 1; każda liczba dotycząca wydajności w tym tekście pochodzi od Artificial Analysis, które podaje wynik modelu jako 66 w Decision Index v2.1. Kev w ogóle nie figuruje w tym zestawieniu. Zamiast tego Kev publikuje stanowisko testowe, zablokowany zestaw testów i własne wskaźniki błędów, których nie da się odjąć od niczego.

To, co robi Gemini Decision 1, a czego Kev nie potrafi

Zacznij od luki w możliwościach, ponieważ to ona decyduje o architekturach, a nie o wynikach. Gemini Decision 1 ocenia do 1000 niezależnych pytań względem jednego wspólnego wejścia w pojedynczym przejściu w przód. Pytania nie widzą się nawzajem, dodanie lub usunięcie jednego nie zmienia pozostałych, a wspólne wejście jest rozliczane jednokrotnie.

Ostatnia klauzula to produkt. Zgłoszenie do pomocy technicznej sprawdzone pod kątem czterdziestu reguł polityki to jedno żądanie, jeden odczyt zgłoszenia, czterdzieści skalibrowanych odpowiedzi. W modelu przypadającym na jedno pytanie — którym Kev właśnie jest, w tym sensie, że head ocenia każdą opcję względem pytania w jednym wierszu — te same czterdzieści sprawdzeń to czterdzieści przebiegów przez stan, niezależnie od tego, czy przetwarzasz je wsadowo. Dane serwowania Kev pokazują koszt w konkretnych liczbach: 18,1 milisekundy dla sześciu pytań na krótkim stanie na H100, 12,9 milisekundy z pamięci podręcznej, 14,3 GB pamięci rezydentnej. Sześć pytań, nie tysiąc.

Powierzchnia wejściowa różni się w ten sam sposób:

• Modalność — Gemini Decision 1 odczytuje tekst, obraz, wideo, audio i PDF; Kev odczytuje tekst. Nagranie rozmowy lub zeskanowany formularz stanowi dla Keva problem wymagający wstępnego przetworzenia, a dla Gemini Decision 1 jest natywnym wejściem.

• Kontekst — 262,144 tokeny dla Gemini Decision 1 łącznie na dane wejściowe i pytania; Kev obsługuje do 65,536, z co najmniej 8,192 na pytanie, ale waliduje tylko do 8,192 — i tak mówi jego karta.

• Wstrzymanie się — Gemini Decision 1 zwraca prawdopodobieństwa ograniczone do zakresu 0,01–0,99 wraz z polem confidence, więc odpowiedź o niskiej pewności jest widoczna bez osobnej opcji. Kev zwraca softmax po dostarczonych opcjach, co oznacza, że wstrzymanie się to wskazana przez Ciebie opcja plus ustawiony przez Ciebie próg.

• Wagi — brak dla Gemini Decision 1; hostowany punkt końcowy w Gemini Developer API na v1beta, z darmowym poziomem 200 żądań na minutę i 10 000 dziennie. Apache-2.0 dla Kev, z adapterem LoRA o randze 16 na zamrożonej bazie Qwen3.5 i głowicą typu pointer, w rozmiarach 0,8B, 4B i 9B.

To, co robi Kev, a czego Gemini Decision 1 nie potrafi

Kev pozwala ci zmienić model. Nie chodzi o inny prompt — chodzi o ponowne wytrenowanie sposobu podejmowania decyzji na własnych etykietach, za kwotę, którą możesz wpisać do raportu wydatków.

Konstrukcja jest celowo skromna: zamrożona baza Qwen3.5, adapter rangi 16 z około 33,8 mln trenowalnych parametrów oraz niewielka głowica wskaźnikowa, która ocenia token zamykający każdej opcji względem końcowego tokenu pytania. Ponieważ baza pozostaje zamrożona, koszt krańcowy nowej domeny decyzyjnej jest rozmiaru adaptera, a nie rozmiaru modelu bazowego. Można trzymać jedną bazę w pamięci i podmieniać adaptery dla poszczególnych domen — to kształt wdrożenia, którego nie oddaje żaden hostowany punkt końcowy.

To, co Kev publikuje o sobie, jest wystarczająco konkretne, by się z tym spierać, co jest rzadsze, niż powinno być:

• Transfer-v4, zablokowany poza domeną — dokładność 0,838, Brier 0,224, ECE 0,017.

• Breadth-v1, 14 odłożonych zestawów danych, 3 089 pytań — dokładność 0,690, ECE 0,029.

• Documents-v1 — 0.903. Hard-v1 — 0.803. MMLU-Pro z dziesięcioma opcjami — 0.565.

• Arytmetyka dat — 0,65 przy dokładności dziennej, wskazana przez autora jako najsłabszy obszar, z flagą preprocesora oferowaną jako częściowe rozwiązanie i bez deklarowanego ponownego pomiaru.

To są własne pomiary autora na jego własnym stanowisku testowym, a karta mówi, że kalibracja to pojedyncza temperatura w rozkładzie (in-distribution), więc pokrycie pogarsza się poza domeną, a kolejność opcji może odwrócić odpowiedź. To wiarygodna samoocena, a nie zaudytowany wynik. Wciąż jest to skala, którą możesz spróbować odtworzyć jeszcze dziś wieczorem, co jest więcej, niż można powiedzieć o większości liczb dostawców w tej kategorii.

Dlaczego dwie liczby na stole nigdy się nie spotykają

Kusi, by zestawić dokładność transferu Kev'a wynoszącą 0,838 z wynikiem 66 Gemini Decision 1 i ogłosić zwycięzcę. Oprzyj się tej pokusie — z trzech powodów.

Te narzędzia mierzą różne rzeczy. Decision Index ocenia dokładność pomniejszoną o karę Brier za pewność przypisaną odpowiedzi, agregowaną w sześciu ewaluacjach, z których 45% opiera się na prywatnych danych. Wynik transfer-v4 Kev'a to zwykła dokładność na zamkniętym zbiorze zebranym przez autora, a Brier i ECE podano obok niego, zamiast wliczać je do głównego wyniku.

Zestawy zadań nie są takie same. Największy składnik indeksu, AA-Paperclip z 30%, to piętnaście odpowiedzi typu wszystko-albo-nic na dokument — kształt, który test Kev'a documents-v1 przybliża, ale nie odtwarza.

A mianowniki się różnią. Wynik indeksu to ważona kompozycja, w której wstrzymanie się jest nagradzane; wskaźnik dokładności to odsetek pytań, w których opcja o najwyższym prawdopodobieństwie była poprawna. Model może pokonać inny w jednym i przegrać w drugim, i żaden z nich nie musi być w błędzie.

Możliwe do obrony stwierdzenie jest więc wąskie: Gemini Decision 1 plasuje się w środku tabeli hostowanych modeli decyzyjnych z wynikiem 66, na dziewiątym miejscu na osiemnaście, z pierwszym miejscem w komponentach wiedzy i 33% wskaźnikiem zaliczenia dokumentu w trybie wszystko-albo-nic; Kev to adapter klasy 4B, którego autor raportuje silną kalibrację w domenie i słabą arytmetykę dat. Każdy, kto twierdzi, że jeden jest lepszy, wyciąga zbyt daleko idące wnioski.

Ile faktycznie kosztuje działanie każdego z nich

Ekonomikę Gemini Decision 1 łatwo obliczyć, ale przy dużej skali trudno ją polubić. Przy 0,10 USD za milion tokenów wejściowych Artificial Analysis odnotowuje 345 USD za milion zadań — to najdroższy model w górnej połowie rankingu, bez buforowania kontekstu, bez Batch API oraz bez wnioskowania Flex lub Priority. Powtarzające się współdzielone dane wejściowe są w pełni liczone przy każdym żądaniu. Nocny przegląd miliona zgłoszeń odczytuje dokument z zasadami milion razy.

Ekonomia Kev'a ma odwrotny kształt: niemal darmowa przy każdym wywołaniu, gdy GPU jest już opłacone, a prawdziwy koszt tkwi w godzinach spędzonych na budowaniu etykiet, trenowaniu adapterów i ich walidacji. Kwota ~95 USD u Palmera obejmuje przebieg treningowy, a nie etykietowanie. Jeśli Twoje reguły routingu różnią się od reguł ogólnego sędziego — a różnią się — ten koszt etykietowania kupuje Ci to, czego nie sprzedaje żaden hostowany model decyzyjny: scorer, który zakodowuje Twoją politykę, zamiast ją aproksymować.

Jest jeszcze trzeci koszt, który rozstrzyga więcej projektów niż którakolwiek z cen: szybkość iteracji. Limity Gemini Decision 1 są udokumentowane i ustalone, więc zmiana zachowania to przepisanie promptu i ponowne uruchomienie zestawu ewaluacyjnego. Kev's to ponowne trenowanie adaptera, które jest tanie obliczeniowo, ale nie jest tanie procesowo. W przypadku zespołu z jedną dziedziną i dużym wolumenem ponowne trenowanie się opłaca. W przypadku zespołu z dwunastoma dziedzinami i bez inżyniera ML hostowany endpoint wygrywa pod względem godzin inżynierskich nawet przy 345 USD za milion zadań.

Jeśli to pipeline wokół decyzji jest miejscem, w którym faktycznie spędzasz

OrcaRouter nie obsługuje żadnego z tych modeli. Kev to wagi Apache-2.0, które uruchamiasz samodzielnie, a Gemini Decision 1 to endpoint zwracający wyłącznie prawdopodobieństwa w ramach własnego API Google — żaden z nich nie jest celem chat-completions i nie udajemy inaczej. Modelem decyzyjnym w naszym katalogu jest typesafe/jev-1.14 od TypeSafe, z wynikiem 66.23 na tej samej tablicy, dla zespołów, które chcą wywołania scoringowego na tym samym kluczu co wszystko inne.

Jesteśmy zbudowani z myślą o tej połowie potoku, która znajduje się przed decyzją: generowaniu propozycji odpowiedzi, tworzeniu rubryki, streszczaniu zgłoszenia przed jego ocenieniem. To wywołanie jest tym, w którym najczęściej zmieniasz modele i w którym druga umowa z dostawcą kosztuje najwięcej; cechuje je też działanie w ramach jednego endpointu z ponad 200 modelami, cena listowa dostawcy przekazywana bez marży (0%), oraz automatyczne przełączanie awaryjne, gdy pogarsza się wydajność dostawcy. Jeśli porównujesz Kev z hostowanym modułem oceny, przekaż nam połowę odpowiedzialną za przygotowanie i pozostaw decyzję o ocenianiu odwracalną — w ten sposób wybór, którego dokonasz dziś w sprawie adaptera za 95 USD, nie będzie później migracją.

Decyzja między dwiema decyzjami

Wybierz Gemini Decision 1, gdy decyzja opiera się na jednym wejściu i wielu regułach, gdy wejściem jest audio, wideo lub PDF, gdy tysiąc kontroli w jednym rozliczanym przebiegu zmienia Twój model kosztów oraz gdy godzisz się zaufać kalibracji, której nie dopasowywałeś. Zaakceptuj, że kupujesz czarną skrzynkę w cenie wejściowej laboratorium frontier, bez rabatu za partię.

Wybierz Kev, gdy decyzja opiera się na jednym wejściu i kilku wpisanych pytaniach, gdy tekst jest wystarczająco krótki, aby zweryfikować go w obrębie 8,192 tokenów, gdy Twoja polityka jest wystarczająco szczegółowa, że ogólny sędzia słabo ją aproksymuje, oraz gdy posiadanie artefaktu ma większe znaczenie niż posiadanie punktu końcowego. Zaakceptuj, że odpowiadasz teraz za kalibrację, arytmetykę dat i wrażliwość na kolejność opcji, o której ostrzega karta.

Jedyną rzeczą, której to porównanie nie powinno robić, jest tworzenie tabeli ligowej. Nie ma wspólnego narzędzia, wspólnego zestawu zadań ani odtworzenia którejkolwiek z tych liczb przez stronę trzecią. To, co możesz zrobić w tym tygodniu, to przepuścić 200 własnych oznaczonych pozycji przez oba i porównać wskaźniki zaliczeń oraz krzywe pewności — poranna praca, która powie ci więcej niż następna aktualizacja rankingu.