Przenoszenie obciążenia decyzyjnego z Drex Max do Gemini Decision 1

Przeniesienie wygląda jak zmiana adresu URL, ale nią nie jest. Drex Max v1.1 i Gemini Decision 1 oba przyjmują blok kontekstu i zestaw typowanych pytań, a następnie zwracają prawdopodobieństwa, więc pierwsze popołudnie migracji idzie dobrze: zmień nazwę pola, skieruj klienta na inną ścieżkę bazową, uruchom zestaw testów. Zawodzi drugi tydzień, gdy pojawia się wolumen, a dwa modele rozliczeń okazują się nie zgadzać co do tego, co kupujesz. To relacja z tego, co faktycznie musi się zmienić, napisana dla kogoś, kto ma działającą integrację Drex Max v1.1 i zastanawia się, czy główny wynik nowszego modelu uzasadnia przejście.

Zacznij od uczciwej wersji tej wymiany. W Artificial Analysis Decision Index v2.1 Drex Max v1.1 uzyskuje 73 punkty, a Gemini Decision 1 — 66. Starszy model wygrywa, i to o 6,6 punktu, a większość tej przewagi przypada na komponent odpowiadający za 30% wyniku złożonego. Jeśli Twoje obciążenie pracą to triaż dokumentów, migracja jest degradacją przebraną za ulepszenie. Jeśli to coś innego, czytaj dalej, ponieważ oba punkty końcowe nie są tak podobne, jak sugeruje kształt ich żądań.

Różnica, której nie ma na żadnym rankingu

Drex Max v1.1 przydziela każdemu pytaniu własny budżet 131 072 tokenów. Gemini Decision 1 przydziela całemu żądaniu 262 144 tokeny, współdzielone między dane wejściowe i każde zawarte w nim pytanie. Te dwa zdania opisują tę samą kategorię produktów i prowadzą do przeciwnych zaleceń inżynieryjnych.

W Drex zadanie {{1}}200 pytań{{/1}} kosztuje {{2}}200 oddzielnych budżetów{{/2}}, a praktyczny pułap żądania to raczej Twój {{3}}limit szybkości{{/3}} niż kontekst. W Gemini Decision 1 {{4}}200 pytań i jeden kontrakt o długości 200 000 tokenów{{/4}} nie mieszczą się w tym samym żądaniu: {{5}}200 000 tokenów danych wejściowych pozostawia 62 144 na pytania i instrukcje{{/5}}, co jest komfortowe, ale {{6}}dane wejściowe o długości 250 000 tokenów pozostawiają 12 144{{/6}} i żądanie kończy się niepowodzeniem. Pułap jest realny, jest współdzielony i zmienia się w zależności od tego, ile wysyłasz.

To pojedyncza zmiana, która najprawdopodobniej zepsuje działającą integrację Drex, ponieważ tryb awarii nie jest błędem przy małym wolumenie. Zestaw testów przechodzący 20 pytań w dokumencie o 30 000 tokenów mieści się z zapasem w obu systemach. Środowisko produkcyjne, z rekordem o 180 000 tokenów i 900 pytaniami, mieści się w jednym, a nie w drugim.

Co ukrywa cena za token

Drex Max v1.1 jest wyceniony na 0,03 USD za milion tokenów wejściowych jako cena premierowa w stosunku do stawki cennikowej 0,06 USD, a Gemini Decision 1 kosztuje 0,10 USD. Żaden z nich nie pobiera opłat za tokeny wyjściowe. Patrząc tylko na tę kolumnę, Drex jest od 1,7 do 3,3 razy tańszy, co wystarczy, by zakończyć rozmowę w przypadku zespołu o dużym wolumenie.

Mierzone na zadanie, różnica się zawęża. Artificial Analysis podaje, że Drex Max v1.1 kosztuje 103 USD za milion zadań decyzyjnych, a Gemini Decision 1 — 345 USD, co daje stosunek około 3,3 — to porównanie cen katalogowych, a nie ceny startowej. Powód jest taki, że Gemini Decision 1 odczytuje więcej tokenów, aby dojść do odpowiedzi. Jego współdzielony kontekst jest dwukrotnie większy, a jego wyniki cząstkowe sugerują, że przepuszcza przez każde pytanie więcej danych wejściowych, a nie mniej. Na zadanie uczciwa różnica wynosi około trzech do jednego na korzyść Drex, a rabat startowy jest warunkiem tymczasowym, który nie przetrwa drugiego odnowienia umowy.

Co oznacza, że pytanie o cenę nie brzmi „co jest tańsze”, lecz „za jaką część swoich zadań zapłaciłbyś 3× więcej, aby zostały wykonane poprawnie”. Reguła, która kieruje zgłoszenia do wsparcia do kolejki, nie jest warta nic, jeśli myli się o 5% częściej niż alternatywa. Reguła, która oznacza klauzulę umowy do przeglądu prawnego, od razu jest warta tej różnicy.

Obsługa dokumentów jest źródłem wyników.

Złożona luka wynosząca 6,6 punktu nie rozkłada się równomiernie, a argument dotyczący migracji zależy od tego, czy wiemy, gdzie ona występuje.

• AA-Paperclip, waga 30% — Drex Max v1.1 uzyskuje 72,8 punktu i zalicza 63% dokumentów od razu w teście „wszystko albo nic”; Gemini Decision 1 uzyskuje 56,8 punktu i zalicza 33%. Ten jeden składnik odpowiada za większość różnicy w wyniku złożonym.

• When2Call, 10% — Drex 95,3 wobec 80,5 Gemini, różnica 14,8 punktu w ocenie wywoływania narzędzi, największa proporcjonalna przewaga Drexa w całym zestawieniu.

• EvalSafe-O*NET-AA, 15% — 88,3 wobec 87,1. Błąd zaokrąglenia i jedyny test powiązany z bezpieczeństwem w zestawie.

• AA-Omniscience-Decision v1.1, 15% — Drex 60,3, Gemini 66,3. Przewaga Gemini i powód, dla którego relacje z premiery otwierały się wiedzą.

• HLE-MultiChoice v1.1, 15% — Drex 46,6, Gemini 48,7. Wąski margines, a oba modele na tyle często odmawiają zamiast zgadywać, że surowa dokładność jest znacznie poniżej tych liczb.

• AA-Symmetry v1.1, 15% — Drex 79,8 wobec 70,5. Czy odpowiedź przetrwa zmianę kolejności, zmianę etykiet i negację pytania, co na tablicy jest najbliższe testowi stabilności.

Dwa z tych wierszy są warte drugiego spojrzenia, zanim podejmiesz decyzję. W ekstrakcji dokumentów Drex jest prawie dwukrotnie bardziej niezawodny według rygorystycznej metryki, a pod względem symetrii jest o dziewięć punktów stabilniejszy — co oznacza, że pipeline oparty na Drexie daje mniej odpowiedzi, które się zmieniają, gdy to samo pytanie zostanie sformułowane inaczej. Jeśli Twój produkt pokazuje użytkownikowi jedną odpowiedź, niestabilność jest zgłoszeniem błędu. Jeśli zasila ona ocenę w dalszym przetwarzaniu, niestabilność jest wariancją, którą można uśrednić.

Szybkość i argument za zachowaniem obu

Drex Max v1.1 wykonuje zadanie w medianie 283 milisekund. Gemini Decision 1 wykonuje to samo zadanie w 211. Nowszy model jest szybszy, mimo że wykonuje więcej pracy, i to jest jedyne miejsce, w którym migracja pomaga bez zastrzeżeń. W przypadku synchronicznego sprawdzenia przed akcją widoczną dla użytkownika 70 milisekund nie jest bez znaczenia.

Szybkość, cena i dokładność rzadko układają się tak czysto w jednym kierunku, a tutaj tak nie jest: Gemini jest szybszy i gorszy, Drex wolniejszy i lepszy, a stosunek kosztów idzie za stosunkiem jakości, a nie za stosunkiem opóźnień. To znak dwóch modeli o naprawdę różnych konstrukcjach, a nie tego, że jeden jest ścisłym ulepszeniem.

I to jest właściwa rekomendacja. Usługa decyzyjna z jednym modelem scoringowym ma jeden punkt awarii i jedną opinię. Uruchamianie obu kosztuje drugą integrację i daje sygnał niezgodności: gdy oba modele zwracają różne odpowiedzi z wysoką pewnością, sprawa jest naprawdę niejednoznaczna i prawdopodobnie nie powinna być automatyzowana. Ten wzorzec jest stary, nudny i wychwytuje błędy, których nie wychwyci ocena pewności żadnego pojedynczego modelu.

Portowanie samego wywołania

Część mechaniczna jest mniejsza niż część księgowa, a przed rozpoczęciem warto wymienić trzy pułapki.

Po pierwsze, Drex jest wywoływany pod /v1/systemone z identyfikatorem modelu przypiętym jako drex-max; alias drex-latest w quickstarcie nie jest przypiętym identyfikatorem, a jego użycie oznacza, że model zmienia się pod Tobą bez wdrożenia. Gemini Decision 1 ma odwrotny problem: nie ma żadnego aliasu, tylko gemini-decision-1, a żądanie wskazujące gemini-decision nie zostanie rozwiązane. Przypnij po obu stronach i traktuj identyfikator modelu jako numer wersji w konfiguracji, a nie stałą w kodzie źródłowym.

Po drugie, limity multimediów nie przekładają się. Drex Max v1.1 przyjmuje do 8 obrazów na żądanie. Gemini Decision 1 przyjmuje tekst, obraz, dźwięk, wideo i PDF z limitami 100 MB dla inline base64, 50 MB na PDF i 15 MB na HTTPS URL, a linki YouTube i URI gs:// kategorycznie odrzuca. Potok Drex, który grupuje osiem skanów stron na żądanie, staje się potokiem Gemini, który albo wysyła strony jako jeden PDF, albo dzieli partię.

Po trzecie, typy pytań są podobne, ale zakresy nie są identyczne. Oba obsługują tak/nie, wybór i punktację. Gemini ogranicza wybór i punktację do 2–255 opcji lub poziomów i przycina prawdopodobieństwo tak/nie do 0,01–0,99, więc każdy próg ustawiony w kodzie Drex powyżej 0,99 po przeniesieniu po cichu nigdy nie zadziała. Sprawdź każdą stałą progową w bazie kodu, nie tylko te w pliku konfiguracyjnym.

Gdzie router pasuje, a gdzie nie

OrcaRouter nie obsługuje ani gemini-decision-1, ani drex-max. Oba są endpointami zwracającymi wyłącznie prawdopodobieństwa, a router w naszej architekturze obsługuje cele chat-completions; twierdzenie inaczej byłoby deklaracją dostępności, która zawodzi już przy pierwszym żądaniu. W tej migracji router odpowiada za tę część potoku, która nie jest scorerem.

Niemal każda usługa decyzyjna jest szkicowana, zanim zostanie oceniona: model generatywny wyodrębnia kandydujące klauzule, proponuje rubrykę oceny lub streszcza dokument do wspólnego kontekstu, który następnie odczytuje model decyzyjny. To właśnie to wywołanie szkicujące jest miejscem, w którym wybór dostawcy naprawdę ma znaczenie i w którym drugi kontrakt boli, a może ono obejmować more than 200 models on one endpoint with provider list price passed through at 0% markup. DSL routingu ma tu większe znaczenie niż w produkcie czatowym, ponieważ wywołania szkicujące są niejednorodne — tani model do wstępnej selekcji, model z długim kontekstem do rekordu liczącego 180 000 tokenów — a wyrażenie tego w postaci reguł jest lepsze niż wyrażanie tego za pomocą trzech SDK.

Uczciwe ograniczenie: przełączanie awaryjne chroni wywołanie redagowania, a nie wywołanie oceniania. Istnieje jedno miejsce, do którego wysyła się żądanie decyzji, a jeśli jest niedostępne, Twoja usługa jest niedostępna. Jeśli ta zależność jest nie do przyjęcia, opisany powyżej wzorzec dwóch modeli nie jest tylko miarą dokładności — to jedyna dostępna rzeczywista redundancja, ponieważ to jedyny sposób, aby mieć dwa niezależne punkty końcowe oceniania.

Konkluzja

Przejdź na Gemini Decision 1, jeśli Twoje decyzje mają charakter wiedzowy, jeśli liczy się szybkość albo jeśli chcesz wspólny kontekst wystarczająco duży, by pomieścić cały rekord za jednym razem. Zostań przy Drex Max v1.1, jeśli mają charakter dokumentowy — a wskaźnik zaliczeń wskazuje, że prawdopodobnie tak jest, ponieważ ekstrakcja dokumentów okazuje się tym, czym w większości przypadków są obciążenia decyzyjne, gdy się im przyjrzeć. Uruchom oba, jeśli błędna odpowiedź jest kosztowna, i uwzględnij w budżecie stosunek kosztów trzy do jednego, zanim komukolwiek obiecasz oszczędności. Migracja to dzień pracy i kwartał dostrajania; decyzja o jej przeprowadzeniu zależy od tego, do którego składnika indeksu Twoje obciążenie faktycznie jest podobne.