Gemini Decision 1 vs Drex Max v1.1: Beide lezen 262K tokens, slechts één telt documenten

Zet Gemini Decision 1 en Drex Max v1.1 naast elkaar en de specificatiebladen overlappen bijna: beide beslissingsmodellen, beide een contextvenster van 262.144 tokens, beide lezen afbeeldingen naast tekst, beide geven waarschijnlijkheden terug in plaats van proza. De kloof ontstaat op één punt. Op de documentbeslissingscomponent van de Artificial Analysis Decision Index v2.1 — de test met een weging van 30% die een model vraagt vijf beslissingen en tien feiten uit één enkel compact document te halen en bij alle vijftien juist te zijn — slaagt Drex Max v1.1 voor 63% van de documenten en Gemini Decision 1 voor 33%. Die ene component is grotendeels de reden dat de ene 73 scoort en de andere 66.

De rest van het verschil is rekenwerk waar je iets mee kunt. Drex Max v1.1 kost $0,03 per miljoen inputtokens en Gemini Decision 1 kost $0,10; over een miljoen taken is dat $103 tegen $345. En Gemini Decision 1 ondersteunt tot 1.000 vragen per verzoek met gedeelde invoer, terwijl Drex Max v1.1 één state verwacht met een handvol vragen eraan gekoppeld. Welk van die getallen je keuze bepaalt, hangt er volledig van af of je beslissingen één document per keer of veertig regels per keer binnenkomen.

Twee verschillende vormen van hetzelfde idee

Beide modellen weigeren tekst te genereren, en beide delen één eigenschap die belangrijk is voor kostenmodellering: de invoer wordt één keer gelezen en elke vraag wordt ertegen beoordeeld. Waar ze van elkaar afwijken, is wat je in die invoer mag stoppen.

• Antwoordtypen — Drex Max v1.1 biedt keuze, noul en score, de requestvorm die Jev van TypeSafe definieerde en die Nace overnam. Gemini Decision 1 biedt dezelfde drie, met 2 tot 255 opties bij een keuze en 2 tot 255 rubricniveaus, waarvan 2 tot 10 aanbevolen.

• Vragen per aanroep — tot 1.000 voor Gemini Decision 1, elk onafhankelijk geëvalueerd in één pass, met sleutels die u aanlevert; een handvol per staat voor Drex Max v1.1, waarbij de werkeenheid één item en de bijbehorende vragen is.

• Modaliteit — Gemini Decision 1 accepteert tekst, afbeeldingen, video, audio en pdf; Drex Max v1.1 accepteert tekst en maximaal acht afbeeldingen per verzoek. Geen van beide accepteert media in de vraaginstructies; bij Gemini Decision 1 is dat een gedocumenteerde beperking, en daar hoort de media in de gedeelde invoer.

• Venster — 262.144 tokens voor Gemini Decision 1 over gedeelde invoer en alle vragen samen; Drex Max v1.1 documenteert 131.072 tokens per vraag, waarbij afbeeldingstokens daarin zijn meegerekend, en een plafond van 262.144 voor een samengepakte aanvraag.

• Facturering — Gemini Decision 1 rekent $0,10 per miljoen invoertokens en factureert herhaalde gedeelde invoer expliciet volledig opnieuw, zonder caching en zonder Batch API. Drex Max v1.1 rekent $0,03 per miljoen invoertokens, een tarief dat Nace halveerde toen vv1.1 v1 in-place verving.

• Toegang — Gemini Decision 1 op de Gemini Developer API bij v1beta, met een gratis tier en onbeperkte dagelijkse verzoeken vanaf Tier 2. Drex Max v1.1 gehost door Nace.AI op POST /v1/systemone, geen downloadbaar checkpoint.

Lees die lijst als één zin: Drex Max v1.1 is gebouwd voor een scherm of een pagina en een paar oordelen daarover, en Gemini Decision 1 is gebouwd voor een grote context en een omvangrijk regelboek. De bovengrens van 1.000 vragen is geen franje op een specblad. Het is het verschil tussen een model dat je veertig keer per verzoek aanroept en een dat je één keer aanroept.

Waar het verschil van 6,6 punten eigenlijk vandaan komt

De Decision Index weegt zes evaluaties, en beide modellen zijn op alle zes uitgevoerd. Hun componenten naast elkaar leggen is informatiever dan de samengestelde score:

• AA-Paperclip, 30% — Drex Max v1.1 72,8, Gemini Decision 1 56,8. Vijftien antwoorden per document, alles-of-niets. Dit is het verschil van zestien punten dat de rangschikking bepaalt.

• EvalSafe-O*NET-AA, 15% — 88,3 tegen 87,1. In de praktijk een gelijkspel.

• When2Call, 10% — 95.3 tegen 80.5. Drex Max v1.1 staat hier tweede in het veld; Gemini Decision 1 is veertiende van achttien.

• AA-Omniscience-Decision v1.1, 15% — 60,3 tegen 66,3. Gemini Decision 1 pakt deze, en de ruwe nauwkeurigheid van 44,8% is de hoogste van alle beslissingsmodellen op de ranglijst.

• HLE-MultiChoice v1.1, 15% — 46,6 tegenover 48,7. Dicht bij elkaar, beide dicht bij de top, beide met een ééncijferige ruwe nauwkeurigheid.

• AA-Symmetry v1.1, 15% — 79,8 tegenover 70,5. Drex Max v1.1 behoudt 53,3% van de tijd zijn antwoord bij herordening en negatie; Gemini Decision 1, 38,3%.

Het patroon is consistent. Drex Max v1.1 wint de twee componenten die toetsen of een beslissing herhaalbaar en structureel solide is. Gemini Decision 1 wint de twee die toetsen of het dingen weet en weet wanneer het ze niet weet. Beide zijn verdedigbare producten; ze beantwoorden verschillende vragen over waarvoor een beslissingsmodel dient.

Eén voorbehoud bij het Drex-cijfer: de $103 per miljoen taken die Artificial Analysis rapporteert, weerspiegelt een tijdelijke introductieprijs, en het bestuur merkt in een voetnoot op dat de standaardprijs de kosten zou verdubbelen. Tegen de lijstprijs zit Drex Max v1.1 op bijna $206 per miljoen taken — nog steeds ruim onder de $345 van Gemini Decision 1, maar niet langer een derde daarvan. De latentie ligt omgekeerd: 283 milliseconden per taak voor Drex Max v1.1 tegen 211 voor Gemini Decision 1, beide trager dan de mediaan van 209 in het veld.

Kies op basis van de vorm van je verzoek, niet op basis van de score.

Kies Drex Max v1.1 als je beslissing over één artefact gaat met een antwoord dat stand moet houden. Triage van verzekeringsclaims op een gescand formulier, agentbesturing op basis van screenshots waarbij dezelfde klikbeslissing opnieuw wordt gevraagd na een re-render, contractbeoordeling waarbij een omgekeerde ja/nee een echte fout is. De 63% document-slagingspercentage en het 53,3% symmetrie-slagingspercentage zijn de cijfers die zich daar terugverdienen, en $0.03 per miljoen inputtokens maakt het volume-argument makkelijk.

Kies Gemini Decision 1 als je beslissing een regelboek is dat op één input wordt toegepast, of als de input geen tekst en afbeeldingen is. Veertig beleidscontroles op een supportticket in één aanroep is een werklast waarvoor Gemini Decision 1 gedocumenteerd was en Drex Max v1.1 niet — en als de input een gespreksopname of een PDF is, kan slechts één van deze twee die lezen. De documentatie van Google noemt veertien niet-ondersteunde mogelijkheden naast de ene die het ondersteunt, dus de geschiktheid is eenvoudig te verifiëren voordat je je vastlegt: gekalibreerde beslissingen, al het andere uit.

Kies geen van beide, maar als de beslissing afhangt van kosten op schaal. Gemini Decision 1 heeft geen Batch API en geen contextcaching, wat betekent dat een nachtelijke sweep van een miljoen historische tickets tegen het volle tarief wordt gefactureerd, waarbij het beleidsdocument elke keer opnieuw wordt gelezen. De introductieprijs van Drex Max v1.1 is tijdelijk. Geen van beide producten biedt momenteel de kortingsstructuur die een backfill goedkoop maakt, en dat zal voor iedereen die de rekensom maakt voor een jaar aan tickets meer uitmaken dan zes indexpunten.

Beide draaien zonder een tweede contract

OrcaRouter ondersteunt geen van beide. Beide zijn endpoints die alleen waarschijnlijkheden leveren in plaats van chat-completions-targets, en dat zeggen we ook in plaats van anders te suggereren — de decision-model-vermelding in de catalogus is TypeSafe's typesafe/jev-1.14, dat met 66,23 op dezelfde ranglijst tussen de twee modellen in dit artikel staat.

Wat een bake-off je daadwerkelijk kost, is het deel dat nooit in een benchmark opduikt: twee SDK's, twee verhalen over sleutelbeheer, twee sets rate limits om over na te denken. Dat is de reden dat de generatieve helft van een beslissingspijplijn achter een router thuishoort, zelfs wanneer de scorerende helft dat niet kan. De call die het kandidaat-antwoord opstelt, de rubric schrijft of de samenvatting produceert die wordt gescoord, is precies de call waarbij je in één middag van aanbieder wilt wisselen — één endpoint, meer dan 200 modellen, lijstprijs van de aanbieder doorgegeven tegen 0% opslag, en failover wanneer een aanbieder minder gaat presteren. Richt de scorerende call rechtstreeks op Google of Nace en houd de schrijfcall portable. Het model dat je niet kunt routeren is het goedkope deel; het model dat je wél kunt routeren, is degene die je zult willen veranderen.

Als je ze beide test op je eigen labels — en dat zou je moeten doen, want geen van beide leveranciers publiceert een kalibratiecurve op jouw data — laat ze dan los op dezelfde 200 documenten met dezelfde vragenset en vergelijk het slagingspercentage, niet de index. De kloof van 30 punten die het bestuur op Paperclip laat zien, is een sterke prior. Het is geen meting van jouw documenten.