Decyzja Gemini 1 vs Laya: 262,144 wynajętych tokenów kontra 512 posiadanych tokenów

Dwa modele decyzyjne, dwie liczby, które opisują ten sam wybór projektowy z przeciwnych stron. Gemini Decision 1 przyjmuje wejście o długości 262 144 tokenów oraz do 1000 wpisanych pytań w jednym wywołaniu, w cenie 0,10 USD za milion tokenów wejściowych, we własnym API Google. Laya przyjmuje 512 tokenów tekstu na swoim angielskim checkpointcie, działa na T4, za który już płacisz, i jest objęty licencją Apache-2.0. To współczynnik 512 w przypadku okna i nieskończoność w przypadku ceny, w przeciwnych kierunkach, a żaden benchmark nie ratuje porównania, ponieważ oba modele nie są stworzone do tego samego zadania.

Convai Innovations opublikowała Laya 18 września 2026 r. jako trzy checkpointy w jednym repozytorium: 421M angielski model ModernBERT-large, 322M wielojęzyczny model mmBERT-base oraz wariant z typowanymi decyzjami. Google udostępniło Gemini Decision 1 11 listopada 2026 r. i nie opublikowało wag, liczby parametrów ani modelu bazowego. Jedyną liczbą, do której można odnieść oba, jest tablica wyników zawierająca tylko jeden z nich — Gemini Decision 1 ma 66 punktów w Artificial Analysis Decision Index v2.1, co daje dziewiąte miejsce na osiemnaście, a Laya nie znajduje się na tej tablicy.

Co okno 512 tokenów wyklucza jeszcze przed śniadaniem

Zacznij od ograniczenia, ponieważ eliminuje ono całe kategorie produktów szybciej niż jakikolwiek wskaźnik dokładności.

• Wspólne wejście — Gemini Decision 1 odczytuje do 262 144 tokenów obejmujących dane wejściowe i każde pytanie. Angielski punkt kontrolny Laya odczytuje 512 tokenów i ani jednego więcej. Wielojęzyczny punkt kontrolny domyślnie odczytuje 1024 tokeny, a dzięki max_len=8192 można go zwiększyć do 8192 — wtedy karta produktu samego Convai podaje, że 16 do 18 z 20 żądań dotyczących długich dokumentów jest poprawnych przy kontekście do około 4000 tokenów, a „poza tym wyniki bywają różne”.

• Modalność — Gemini Decision 1 przyjmuje tekst, obraz, wideo, dźwięk i PDF w tym samym zapytaniu. Laya przyjmuje tekst. Zeskanowany formularz zgłoszenia, nagranie rozmowy lub zdjęcie produktu nie stanowi danych wejściowych, dopóki coś na wcześniejszym etapie nie zamieni ich na słowa, a ta konwersja to odrębny model z odrębnym kosztem i własnymi błędami.

• Pytania na wywołanie — do 1000 w przypadku Gemini Decision 1, odizolowane od siebie nawzajem, w jednym przebiegu. Laya odpowiada na wysyłane pytania jednym stanem, a jej własna dokumentacja wyznacza praktyczny pułap na poziomie około pięćdziesięciu opcji na pytanie wyboru, zanim budżet tokenów modelu na jedną opcję stanie się zbyt napięty.

• Cena — 0,10 USD za milion tokenów wejściowych dla Gemini Decision 1, zmierzone przez Artificial Analysis na poziomie 345 USD za milion zadań, bez buforowania kontekstu i bez Batch API. Laya to plik do pobrania: około 808 MB dla angielskiego checkpointu, bez opłaty za wywołanie, a T4 działa z czasem około 32,8 milisekundy na decyzję.

• Licencja i dystrybucja — wagi Apache-2.0, brak zależności od hostowanej usługi oraz punkt wejścia pip install laya. Gemini Decision 1 jest dostępny wyłącznie w Gemini Developer API w wersji v1beta, z bezpłatnym planem obejmującym 200 żądań na minutę i udokumentowaną listą obsługiwanych i nieobsługiwanych funkcji.

Na tablicy wyników widnieje jeden z tych dwóch, a to nie jest remis.

Wynik 66 modelu Gemini Decision 1 to wypadkowa sześciu ważonych ewaluacji, z których 45% opiera się na danych prywatnych, obliczana jako dokładność minus kara Brieriego przypisana do odpowiedzi. Jego mocne i słabe strony są nietypowo klarowne jak na model debiutujący w dniu premiery: pierwszy z osiemnastu w AA-Omniscience-Decision z wynikiem 66,3 i pierwszy w HLE-MultiChoice z 48,7, ale dziewiąty w AA-Paperclip z 56,8 przy 33% wskaźniku zaliczenia dokumentów w trybie wszystko-albo-nic oraz czternasty w When2Call z 80,5. Dziewiąty ogółem, pierwszy tam, gdzie testuje się wiedzę i abstynencję, w środku tabeli tam, gdzie testuje się ekstrakcję i wybór narzędzi.

Laya nie ma porównywalnej liczby, a projekt wyjaśnia dlaczego na własnej karcie. Bazowe punkty kontrolne osiągają 0,362 w trybie zero-shot na benchmarku typed-decisions — poniżej progu 0,461 dla klasy większościowej i blisko wyniku losowego. Wynik 0,766 z nagłówka wymaga dostrojenia na własnym zbiorze treningowym tego benchmarku. Zdanie podsumowujące Convai to właśnie to, które warto zabrać do każdej ewaluacji: Laya to szybka baza do specjalizacji, a nie silnik decyzyjny zero-shot.

To nie jest słabość, którą należy punktować w porównaniu z modelem czołowego laboratorium; to inny opis produktu. Gemini Decision 1 jest sprzedawany jako coś, co już dobrze radzi sobie z decyzjami. Laya jest sprzedawana jako coś, co staje się dobre w podejmowaniu Twoich decyzji po wytrenowaniu, a wtedy jej publikowane wyniki — 0,766 wobec 0,727 modelu siostrzanego w decyzjach z typami, 0,950 wobec 0,910 na AG News — są konkurencyjne w zadaniach, do których została dostrojona.

Dwa potoki, które ludzie faktycznie budują

Ponieważ ich możliwości ledwo się pokrywają, uczciwe ujęcie sprawy to nie „który z nich”, lecz „które z tych dwóch zadań masz do wykonania”.

Zadanie, do którego pasuje Gemini Decision 1. Pojawia się długie wejście — 60-stronicowa umowa, godzina nagrania rozmowy, folder zeskanowanych faktur — i trzeba do niego przypisać wiele rozstrzygnięć. Czterdzieści reguł polityki zastosowanych do jednego zgłoszenia w jednym rozliczanym odczycie; ocena według rubryki przeprowadzana dla stu odpowiedzi kandydatów; decyzja o trasowaniu, która zależy od dowodów rozproszonych w dokumencie, którego nikt nie chce dzielić na fragmenty. Dokumentacja samego Google wymienia dokładnie te przypadki: trasowanie żądań, kontrole polityk obejmujące wiele reguł jednocześnie, punktowanie odpowiedzi kandydatów według rubryki, wybór narzędzi, klasyfikację o niskim opóźnieniu w mediach na żywo. Limit 1000 pytań i wejście multimodalne to cały sens istnienia produktu, a jednocześnie dwie rzeczy, których Laya nie potrafi zrobić za żadną cenę.

Zadanie, do którego Laya pasuje. Krótki stan i jedna decyzja, przy wolumenie, w którym ograniczeniem jest koszt na wywołanie, a zbiór etykiet należy do Ciebie. Segregacja zgłoszeń według własnej taksonomii, klasyfikacja intencji, bramka tak/nie, zanim uruchomi się kosztowny model. Enkoder 421M na T4 w 32,8 milisekundy jest praktycznie darmowy przy każdym wywołaniu, a ponieważ przestrzeń odpowiedzi jest składana dla każdego żądania, a nie wbudowana w głowicę słownikową, schemat wymyślony dziś po południu nie wymaga ponownego trenowania, aby został zaakceptowany — choć wymaga danych treningowych, aby był dokładny.

To połączenie nie jest egzotyczne: Laya jako szybki pierwszy etap, który obsługuje 80% ruchu, do którego została wytrenowana, oraz duży hostowany model oceniający dla elementów, które wymagają dowodów z długiego lub nietekstowego wejścia. Ten wzorzec kosztuje mniej niż wysyłanie wszystkiego do Google i zawodzi w bardziej łagodny sposób niż uruchamianie enkodera 421M na podstawie umowy.

Gdzie tak naprawdę wypada porównanie kosztów

Przy niskim wolumenie ekonomika Layi jest bezkonkurencyjna i nieistotna. T4 to kilkaset dolarów miesięcznie, niezależnie od tego, czy się go używa, czy nie; milion zadań Gemini Decision 1 po $345 to pozycja w budżecie, którą ktoś musi zatwierdzić. Poniżej kilkuset tysięcy decyzji miesięcznie hostowany endpoint zwykle wygrywa już samymi godzinami inżynierskimi — nie ma przebiegu trenowania, zestawu etykiet ani stosu serwowania.

Przy dużym wolumenie arytmetyka się odwraca, z jednym zastrzeżeniem, które ma większe znaczenie niż punkt przecięcia: koszt krańcowy Laya jest bliski zeru tylko wtedy, gdy model już radzi sobie z Twoim zadaniem. Jeśli nie, prawdziwym rachunkiem są etykiety. Karta Convai wyraźnie mówi, że to fine-tuning odpowiada za publikowane wyniki, więc uczciwe porównanie to 345 USD za milion hostowanych zadań w zestawieniu z GPU plus kosztem oznaczenia wystarczającej liczby przykładów, aby osiągnąć kalibrację, której ufasz. Żadna z tych pozycji nie jest stawką za token, a porównanie, które udaje, że jest inaczej, zestawia cenę wynajmu z projektem budowlanym.

Następnie jest kwestia charakterystyki opóźnień i właśnie tutaj oba produkty całkowicie przestają być dla siebie substytutami. Gemini Decision 1 osiąga 211 milisekund na zadanie w indeksie — w porządku w przypadku przeskoku routingu za wiadomością klienta, ale na granicy akceptowalności w pętli klatka po klatce. 32,8 milisekundy Laya na T4 to liczba, która umożliwia podejmowanie decyzji w każdej klatce i przy każdym naciśnięciu klawisza, i to jest ta jedna przewaga, której żadna ilość infrastruktury Google nie zniweluje, ponieważ wynika z tego, że model ma 421 mln parametrów, a nie jest multimodalnym modelem w skali frontier.

Wyznaczanie trasy części, która nie jest ani jedną, ani drugą

OrcaRouter nie obsługuje żadnego z tych modeli. Laya to wagi Apache-2.0, które uruchamiasz samodzielnie, a Gemini Decision 1 to endpoint wyłącznie zwracający prawdopodobieństwa w ramach własnego API Google — model decyzyjny nie jest celem dla chat-completions, a my nie umieszczamy w wykazie tego, czego nie możemy obsłużyć. Modelem decyzyjnym w katalogu jest typesafe/jev-1.14 firmy TypeSafe, z wynikiem 66,23 w tym samym indeksie, jeśli zależy Ci na wywołaniu scoringowym na jednym kluczu.

Wywołanie, które naprawdę powinno znaleźć się za routerem, to to, od którego oba te modele zależą, a którego żaden z nich nie wykonuje: etap konwersji. Okno 512 tokenów Layi sprawia, że model nadrzędny musi zamienić dokument, nagranie lub zrzut ekranu w krótki stan, zanim Laya będzie mogła go ocenić, a koszt Gemini Decision 1 na zadanie zależy głównie od tego, ile kontekstu mu przekażesz. Wybór i wymiana tego modelu nadrzędnego to powracająca decyzja w tym potoku i właśnie do tego zostaliśmy stworzeni: ponad 200 modeli za jednym kluczem zgodnym z OpenAI, cena listowa dostawcy przekazywana z marżą 0,0%, dzięki czemu obniżka u dostawcy obowiązuje tego samego dnia, oraz automatyczne przełączanie awaryjne, gdy dostawca zaczyna działać gorzej. Napisz kod raz, pod router, a zarówno enkoder, który posiadasz, jak i scorer, który wynajmujesz, pozostaną wymienne.

Co robić w tym tygodniu

Jeśli Twoje dane wejściowe są dłuższe niż jedna strona, zawierają jakiekolwiek treści inne niż tekst lub wymagają udzielenia odpowiedzi na więcej niż kilka pytań na ich temat, Laya nie jest kandydatem, a decyzja sprowadza się do wyboru między Gemini Decision 1 a jego hostowanymi odpowiednikami pod względem ceny i wskaźnika zaliczeń. Dokumentacja Google w jednym akapicie wymienia, co model obsługuje; przeczytaj ją, zanim zaczniesz na jej podstawie projektować, ponieważ lista nieobsługiwanych elementów — brak buforowania, brak trybu wsadowego, brak Flex lub Priority, brak multimediów w instrukcjach pytań — jest dłuższa niż lista obsługiwanych.

Jeśli twoje dane wejściowe to jedno zdanie lub krótki obiekt JSON, a zestaw etykiet jest twój własny, model hostowany to drogi sposób, by to zrobić. Pobierz Laya, oznacz 500 przykładów, dostrój model i sprawdź kalibrację, zanim zaufasz ocenom pewności — to jest proces, dla którego zaprojektowali go jego autorzy, a ich własna karta jest niezwykle jasna co do różnicy między bazowym checkpointem a dostrojonym.

Nie powinieneś porównywać 66 z liczbą z karty Laya. Zostały one uzyskane na różnych instrumentach: jeden z nich to wynik zero-shot poniżej baseline'u większościowego, a drugi to ważona złożona ocena sześciu ewaluacji na prywatnych danych. Jedyne porównanie, jakie warto przeprowadzić, dotyczy własnych oznaczonych pozycji, a tylko jeden z tych dwóch modeli można w ogóle w ten sposób uruchomić.