Gemini Decision 1 vs Drex Max v1.1: Båda läser 262K tokens, men bara en räknar dokument

Ställ Gemini Decision 1 och Drex Max v1.1sida vid sida och specifikationsbladen överlappar nästan: båda är beslutsmodeller, båda har ett fönster på 262 144 token, båda läser bilder tillsammans med text, båda returnerar sannolikheter i stället för prosa. Gapet öppnar sig på ett ställe. I dokumentbeslutskomponenten i Artificial Analysis Decision Index v2.1 – det 30-procentviktade testet som ber en modell att plocka ut fem beslut och tio fakta ur ett enda kompakt dokument och ha rätt om alla femton – klarar Drex Max v1.1 63 % av dokumenten och Gemini Decision 1 klarar 33 %. Det är den komponenten som till största delen förklarar varför den ena får 73 och den andra 66.

Resten av skillnaden är aritmetik du kan agera utifrån. Drex Max v1.1 kostar 0,03 USD per miljon indatatoken och Gemini Decision 1 kostar 0,10 USD; för en miljon uppgifter blir det 103 USD mot 345 USD. Och Gemini Decision 1 rymmer upp till 1 000 frågor per begäran över delad indata, medan Drex Max v1.1 förväntar sig ett tillstånd med en handfull frågor kopplade. Vilket av dessa nummer som avgör ditt val beror helt på om dina beslut kommer ett dokument i taget eller fyrtio regler i taget.

Två olika former av samma idé

Båda modellerna vägrar generera text, och båda delar en egenskap som är viktig för kostnadsmodellering: indata läses en gång och varje fråga poängsätts mot den. Där de skiljer sig åt är vad de låter dig lägga in i den indatan.

• Svarstyper — Drex Max v1.1 erbjuder val, noul och poäng, den förfrågningsstruktur som TypeSafes Jev definierade och Nace antog. Gemini Decision 1 erbjuder samma tre, med 2 till 255 alternativ för ett val och 2 till 255 rubriknivåer, 2 till 10 rekommenderas.

• Frågor per anrop – upp till 1 000 för Gemini Decision 1, som var och en utvärderas oberoende i en enda omgång, nycklar som du tillhandahåller; en handfull per delstat för Drex Max v1.1, där arbetsenheten är en post och dess frågor.

• Modalitet — Gemini Decision 1 accepterar text, bild, video, ljud och PDF; Drex Max v1.1 accepterar text och upp till åtta bilder per begäran. Ingen av dem accepterar media i frågeinstruktionerna; på Gemini Decision 1 är detta en dokumenterad begränsning, och där hör mediet hemma i den delade indatan.

• Fönster — 262 144 tokens för Gemini Decision 1 över delad indata och alla frågor tillsammans; Drex Max v1.1 dokumenterar 131 072 tokens per fråga med bildtokens inräknade i det, och ett tak för packade förfrågningar på 262 144.

• Fakturering — Gemini Decision 1 tar 0,10 USD per miljon indatatoken och fakturerar uttryckligen upprepad delad indata i sin helhet på nytt, utan cachning och utan Batch API. Drex Max v1.1 tar 0,03 USD per miljon indatatoken, en taxa som Nace halverade när vv1.1 ersatte v1 på plats.

• Åtkomst — Gemini Decision 1 på Gemini Developer API i v1beta, med en gratisnivå och obegränsade dagliga förfrågningar från Tier 2. Drex Max v1.1 som hostas av Nace.AI på POST /v1/systemone, ingen nedladdningsbar checkpoint.

Läs listan som en enda mening: Drex Max v1.1 är byggd för en skärm eller en sida och några bedömningar av den, och Gemini Decision 1 är byggd för en stor kontext och en omfattande regelbok. Taket på 1 000 frågor är inte en prydnad på ett specifikationsblad. Det är skillnaden mellan en modell som du anropar fyrtio gånger per begäran och en som du anropar en gång.

Varifrån gapet på 6,6 punkter faktiskt kommer

Decision Index viktar sex utvärderingar, och båda modellerna har körts på alla sex. Att ställa upp deras komponenter sida vid sida är mer informativt än det sammansatta måttet:

• AA-Paperclip, 30 % — Drex Max v1.1 72,8, Gemini Decision 1 56,8. Femton svar per dokument, allt eller inget. Detta är gapet på sexton punkter som avgör rankningen.

• EvalSafe-O*NET-AA, 15 % — 88,3 mot 87,1. I praktiken oavgjort.

• When2Call, 10 % — 95,3 mot 80,5. Drex Max v1.1 ligger tvåa på fältet här; Gemini Decision 1 är fjortonde av arton.

• AA-Omniscience-Decision v1.1, 15% — 60,3 mot 66,3. Gemini Decision 1 tar hem den här, och dess råa träffsäkerhet på 44,8 % är högst av alla beslutsmodeller på listan.

• HLE-MultiChoice v1.1, 15% — 46,6 mot 48,7. Jämnt, båda nära toppen, båda med ensiffrig rå noggrannhet.

• AA-Symmetry v1.1, 15 % — 79,8 mot 70,5. Drex Max v1.1 behåller sitt svar vid omordning och negation 53,3 % av gångerna; Gemini Decision 1, 38,3 %.

Mönstret är konsekvent. Drex Max v1.1 vinner de två komponenterna som testar om ett beslut är repeterbart och strukturellt sunt. Gemini Decision 1 vinner de två som testar om det vet saker och vet när det inte gör det. Båda är försvarbara produkter; de svarar på olika frågor om vad en beslutsmodell är till för.

En varning om Drex-siffran: de 103 dollar per miljon uppgifter som Artificial Analysis rapporterar återspeglar ett tillfälligt lanseringspris, och styrelsen noterar i en fotnot att standardpriset skulle fördubbla kostnaden. Till listpris ligger Drex Max v1.1 nära 206 dollar per miljon uppgifter – fortfarande klart under Gemini Decision 1:s 345 dollar, men inte längre en tredjedel av det. Latensen går åt andra hållet: 283 millisekunder per uppgift för Drex Max v1.1 mot 211 för Gemini Decision 1, båda långsammare än medianen i fältet på 209.

Välj utifrån formen på din begäran, inte poängen

Ta Drex Max v1.1 om ditt beslut gäller en artefakt med ett svar som måste hålla. Triage av försäkringsanspråk över ett skannat formulär, skärmbildsbaserad agentstyrning där samma klickbeslut efterfrågas igen efter en omrendering, avtalsgranskning där ett omkastat ja/nej är ett verkligt fel. Andelen godkända dokument på 63 % och andelen godkända symmetrifall på 53,3 % är siffrorna som betalar sig där, och $0.03 per miljon indatatoken gör volymargumentet enkelt.

Välj Gemini Decision 1 om ditt beslut är en regelbok som tillämpas på en enda indata, eller om indatan inte är text och bilder. Fyrtio policykontroller över ett supportärende i ett enda anrop är en arbetsbelastning som Gemini Decision 1 dokumenterades för och Drex Max v1.1 inte — och om indatan är en samtalsinspelning eller en PDF kan bara en av dessa två läsa den. Googles dokumentation listar fjorton kapaciteter som inte stöds vid sidan av den som den stöder, så passformen är lätt att verifiera innan du binder dig: kalibrerade beslut, allt annat av.

Välj ingen av dem ännu, om beslutet hänger på kostnaden i skala. Gemini Decision 1 har inget Batch-API och ingen kontextcachelagring, vilket innebär att en nattlig genomsökning av en miljon historiska ärenden debiteras till full taxa, med policydokumentet omläst varje gång. Lanspriset för Drex Max v1.1 är tillfälligt. Ingen av produkterna erbjuder för närvarande den rabattstruktur som gör en återfyllning billig, och det kommer att betyda mer än sex indexpunkter för alla som räknar på ett års ärenden.

Kör båda utan ett andra avtal

OrcaRouter tillhandahåller ingen av dessa två. Båda är slutpunkter som endast hanterar sannolikheter snarare än mål för chat-completions, och vi säger det i stället för att antyda något annat – katalogens listning för beslutsmodeller är TypeSafe:s typesafe/jev-1.14, som ligger på 66,23 på samma resultattavla mellan de två modellerna i den här artikeln.

Det som en bake-off faktiskt kostar dig är den del som aldrig syns i ett benchmark: två SDK:er, två sätt att hantera nycklar, två uppsättningar rate limits att förhålla sig till. Det är anledningen till att den generativa halvan av ett beslutsflöde hör hemma bakom en router, även när den poängsättande halvan inte kan göra det. Anropet som tar fram kandidatsvaret, skriver bedömningskriterierna eller producerar sammanfattningen som poängsätts är precis det anrop där du vill kunna byta leverantör på en eftermiddag — en endpoint, fler än 200 modeller, leverantörens listpris som förs vidare med 0 % påslag, och failover när en leverantör försämras. Rikta poängsättningsanropet direkt mot Google eller Nace och håll skrivanropet portabelt. Modellen du inte kan routa är den billiga delen; modellen du kan är den du kommer vilja byta.

Om ni testar båda på era egna etiketter – och det bör ni, eftersom ingen av leverantörerna publicerar en kalibreringskurva för era data – kör dem på samma 200 dokument med samma frågeuppsättning och jämför godkännandegraden, inte indexet. Styrelsens gap på 30 punkter för Paperclip är en stark prior. Det är inte en mätning av era dokument.