Gemini Decision 1 vs Drex Max v1.1: Oba czytają 262 tys. tokenów, tylko jeden liczy dokumenty

Postaw Gemini Decision 1 i Drex Max v1.1 obok siebie, a arkusze specyfikacji prawie się pokrywają: oba modele decyzyjne, oba z oknem 262 144 tokenów, oba odczytują obrazy razem z tekstem, oba zwracają prawdopodobieństwa zamiast prozy. Różnica pojawia się w jednym miejscu. W komponencie decyzji dokumentowych Artificial Analysis Decision Index v2.1 — teście o wadze 30%, który wymaga, by model wyciągnął pięć decyzji i dziesięć faktów z jednego gęstego dokumentu i poprawnie określił wszystkie piętnaście — Drex Max v1.1 zalicza 63% dokumentów, a Gemini Decision 1 zalicza 33%. Ten pojedynczy komponent w dużej mierze odpowiada za to, że jeden uzyskuje wynik 73, a drugi 66.

Pozostała część różnicy to arytmetyka, na podstawie której możesz działać. Drex Max v1.1 kosztuje 0,03 USD za milion tokenów wejściowych, a Gemini Decision 1 kosztuje 0,10 USD; w przypadku miliona zadań to 103 USD wobec 345 USD. A Gemini Decision 1 obsługuje do 1000 pytań na żądanie przy współdzielonym wejściu, podczas gdy Drex Max v1.1 oczekuje jednego stanu z kilkoma dołączonymi pytaniami. To, która z tych liczb decyduje o Twoim wyborze, zależy wyłącznie od tego, czy Twoje decyzje przychodzą po jednym dokumencie naraz, czy po czterdzieści reguł naraz.

Dwie różne formy tej samej idei

Oba modele odmawiają generowania tekstu i oba mają jedną cechę istotną dla modelowania kosztów: dane wejściowe są odczytywane raz, a każde pytanie jest oceniane względem nich. Różnią się natomiast tym, co pozwalają umieścić w tych danych wejściowych.

• Typy odpowiedzi — Drex Max v1.1 oferuje choice, noul i score, kształt żądania zdefiniowany przez TypeSafe's Jev i przyjęty przez Nace. Gemini Decision 1 oferuje te same trzy, z 2 do 255 opcjami w przypadku choice i 2 do 255 poziomami rubryk, zalecane 2 do 10.

• Pytania na wywołanie — do 1000 w przypadku Gemini Decision 1, przy czym każde jest oceniane niezależnie w jednym przebiegu, a klucze dostarczasz Ty; kilka na stan w przypadku Drex Max v1.1, gdzie jednostką pracy jest jeden element i jego pytania.

• Modalność — Gemini Decision 1 obsługuje tekst, obraz, wideo, audio i PDF; Drex Max v1.1 obsługuje tekst oraz maksymalnie osiem obrazów na żądanie. Żaden z nich nie przyjmuje multimediów w treści instrukcji pytania; w przypadku Gemini Decision 1 jest to udokumentowane ograniczenie i to tam multimedia powinny znajdować się we współdzielonym wejściu.

• Okno — 262 144 tokeny dla Gemini Decision 1 łącznie na współdzielone dane wejściowe i wszystkie pytania; Drex Max v1.1 dokumentuje 131 072 tokeny na pytanie, przy czym tokeny obrazów są wliczane do tej liczby, oraz górny limit zapakowanego żądania wynoszący 262 144.

• Rozliczenia — Gemini Decision 1 pobiera 0,10 USD za milion tokenów wejściowych i wyraźnie ponownie nalicza w pełnej kwocie powtarzające się współdzielone dane wejściowe, bez buforowania i bez Batch API. Drex Max v1.1 pobiera 0,03 USD za milion tokenów wejściowych — stawkę, którą Nace obniżył o połowę, gdy vv1.1 zastąpił v1 w tym samym miejscu.

• Dostęp — Gemini Decision 1 w Gemini Developer API w wersji v1beta, z bezpłatnym planem i nieograniczonymi dziennymi zapytaniami od poziomu 2. Drex Max v1.1 hostowany przez Nace.AI pod adresem POST /v1/systemone, bez checkpointu do pobrania.

Przeczytaj tę listę jako jedno zdanie: Drex Max v1.1 jest przeznaczony do ekranu lub strony i kilku opinii na ich temat, a Gemini Decision 1 jest przeznaczony do dużego kontekstu i obszernego zbioru reguł. Limit 1000 pytań nie jest ozdobnikiem z karty specyfikacji. To różnica między modelem, do którego odwołujesz się czterdzieści razy na żądanie, a modelem, do którego odwołujesz się tylko raz.

Skąd tak naprawdę bierze się różnica 6,6 punktu

Decision Index przypisuje wagi sześciu ocenom, a oba modele uruchomiono na wszystkich sześciu. Zestawienie ich składników dostarcza więcej informacji niż wynik zbiorczy:

• AA-Paperclip, 30% — Drex Max v1.1 72,8, Gemini Decision 1 56,8. Piętnaście odpowiedzi na dokument, wszystko albo nic. To szesnastopunktowa różnica, która decyduje o rankingu.

• EvalSafe-O*NET-AA, 15% — 88,3 wobec 87,1. W praktyce remis.

• When2Call, 10% — 95,3 do 80,5. Drex Max v1.1 zajmuje tu drugie miejsce w stawce; Gemini Decision 1 jest czternasty z osiemnastu.

• AA-Omniscience-Decision v1.1, 15% — 60,3 wobec 66,3. Gemini Decision 1 wygrywa tę rundę, a jego surowa dokładność na poziomie 44,8% jest najwyższa spośród wszystkich modeli decyzyjnych w zestawieniu.

• HLE-MultiChoice v1.1, 15% — 46,6 wobec 48,7. Blisko siebie, oba w czołówce, oba z jednocyfrową dokładnością surową.

• AA-Symmetry v1.1, 15%— 79,8 wobec 70,5. Drex Max v1.1 zachowuje swoją odpowiedź przy zmianie kolejności i negacji w 53,3% przypadków; Gemini Decision 1 – 38,3%.

Wzorzec jest spójny. Drex Max v1.1 wygrywa w dwóch komponentach, które sprawdzają, czy decyzja jest powtarzalna i strukturalnie poprawna. Gemini Decision 1 wygrywa w dwóch, które sprawdzają, czy zna różne rzeczy i czy wie, kiedy czegoś nie wie. Oba są uzasadnionymi produktami; odpowiadają na różne pytania o to, do czego służy model decyzyjny.

Jedno zastrzeżenie do danych Drex: 103 USD za milion zadań, które podaje Artificial Analysis, odzwierciedla tymczasową cenę premierową, a w przypisie do zestawienia zaznaczono, że standardowa cena podwoiłaby ten koszt. Według cennika Drex Max v1.1 wynosi blisko 206 USD za milion zadań — wciąż znacznie poniżej 345 USD w przypadku Gemini Decision 1, ale to już nie jedna trzecia tej kwoty. Z opóźnieniem jest odwrotnie: 283 milisekundy na zadanie dla Drex Max v1.1 wobec 211 dla Gemini Decision 1 — oba są wolniejsze od mediany wynoszącej 209 w tej grupie.

Wybieraj według kształtu swojego zapytania, a nie według wyniku.

Wybierz Drex Max v1.1, jeśli Twoja decyzja dotyczy jednego artefaktu, którego odpowiedź musi się utrzymać. Triage roszczeń ubezpieczeniowych na podstawie zeskanowanego formularza, sterowanie agentem oparte na zrzutach ekranu, gdzie ta sama decyzja o kliknięciu jest zadawana ponownie po ponownym wyrenderowaniu, przegląd umów, gdzie odwrócone „tak/nie” to rzeczywisty błąd. Odsetek zaliczonych dokumentów wynoszący 63% i odsetek zaliczeń symetrii wynoszący 53,3% to liczby, które tam na siebie zarabiają, a 0,03 USD za milion tokenów wejściowych czyni argument wolumenowy łatwym.

Wybierz Gemini Decision 1, jeśli Twoja decyzja to zestaw reguł stosowany do jednego wejścia albo jeśli dane wejściowe nie są tekstem i obrazami. Czterdzieści kontroli zgodności z zasadami na zgłoszeniu do wsparcia w jednym wywołaniu to obciążenie, dla którego udokumentowano Gemini Decision 1, a nie Drex Max v1.1 — a jeśli danymi wejściowymi jest nagranie rozmowy lub PDF, tylko jeden z tych dwóch potrafi je odczytać. Dokumentacja Google wymienia czternaście nieobsługiwanych możliwości obok tej jednej obsługiwanej, więc dopasowanie łatwo zweryfikować przed podjęciem decyzji: skalibrowane decyzje, wszystko inne wyłączone.

Nie wybieraj żadnego z nich — chyba że decyzja zależy od kosztów w skali. Gemini Decision 1 nie ma Batch API ani buforowania kontekstu, co oznacza, że nocne przetwarzanie miliona historycznych zgłoszeń jest rozliczane według pełnej stawki, a dokument polityki jest odczytywany za każdym razem. Cennik premierowy Drex Max v1.1 jest tymczasowy. Żaden z produktów nie oferuje obecnie struktury rabatowej, która czyni uzupełnianie danych tanim, a dla każdego, kto kalkuluje koszt rocznego wolumenu zgłoszeń, będzie to miało większe znaczenie niż sześć punktów indeksu.

Uruchamianie obu bez drugiej umowy

OrcaRouter nie obsługuje żadnego z tych dwóch. Oba są endpointami zwracającymi wyłącznie prawdopodobieństwa, a nie celami chat-completions, i mówimy to wprost, zamiast sugerować inaczej — wpis modelu decyzyjnego w katalogu to typesafe/jev-1.14 firmy TypeSafe, który zajmuje 66,23 na tej samej tablicy wyników, pomiędzy dwoma modelami omawianymi w tym tekście.

To, ile faktycznie kosztuje Cię test porównawczy, to część, która nigdy nie pojawia się w benchmarku: dwa SDK, dwa scenariusze zarządzania kluczami, dwa zestawy limitów zapytań, które trzeba uwzględnić. Właśnie dlatego generatywna połowa pipeline’u decyzyjnego powinna znajdować się za routerem, nawet gdy połowa oceniająca nie może. Wywołanie, które tworzy wstępną wersję odpowiedzi kandydującej, pisze kryteria oceny lub generuje podsumowanie poddawane ocenie, to dokładnie to wywołanie, w którym chcesz zmienić dostawcę w jedno popołudnie — jeden endpoint, ponad 200 modeli, cena katalogowa dostawcy przekazywana bez marży (0%), oraz przełączanie awaryjne w razie degradacji dostawcy. Skieruj wywołanie oceniające bezpośrednio do Google lub Nace, a wywołanie piszące pozostaw przenośne. Model, którego nie da się skierować przez router, jest tanią częścią; model, który da się skierować, to ten, który zechcesz zmienić.

Jeśli rzeczywiście przetestujesz oba na własnych etykietach — a powinieneś, ponieważ żaden z dostawców nie publikuje krzywej kalibracji dla Twoich danych — uruchom je na tych samych 200 dokumentach z tym samym zestawem pytań i porównaj wskaźnik zaliczeń, a nie indeks. 30-punktowa różnica na Paperclip na tablicy wyników jest silnym priorem. Nie jest to pomiar Twoich dokumentów.