Gemini Decision 1 vs Drex Max v1.1: Beide lesen 262K Token, nur eines zählt Dokumente

Stellt man Gemini Decision 1 und Drex Max v1.1 nebeneinander, überschneiden sich die Datenblätter fast: beide sind Entscheidungsmodelle, beide haben ein 262.144-Token-Fenster, beide lesen Bilder zusammen mit Text, beide geben Wahrscheinlichkeiten statt Prosa zurück. Die Lücke entsteht an einer Stelle. Bei der Dokumententscheidungs-Komponente des Artificial Analysis Decision Index v2.1 — dem zu 30 % gewichteten Test, der von einem Modell verlangt, fünf Entscheidungen und zehn Fakten aus einem einzigen dichten Dokument herauszuziehen und bei allen fünfzehn richtig zu liegen — besteht Drex Max v1.1 bei 63 % der Dokumente und Gemini Decision 1 bei 33 %. Diese eine Komponente ist der Hauptgrund dafür, dass das eine 73 und das andere 66 Punkte erreicht.

Der Rest des Unterschieds ist Arithmetik, auf deren Grundlage Sie handeln können. Drex Max v1.1 kostet $0,03 pro Million Eingabe-Tokens und Gemini Decision 1 kostet $0,10; bei einer Million Aufgaben sind das $103 gegenüber $345. Und Gemini Decision 1 umfasst bis zu 1.000 Fragen pro Anfrage bei gemeinsam genutzter Eingabe, während Drex Max v1.1 einen Zustand mit einer Handvoll angehängter Fragen erwartet. Welche dieser Zahlen Ihre Entscheidung bestimmt, hängt ganz davon ab, ob Ihre Entscheidungen jeweils ein Dokument auf einmal oder vierzig Regeln auf einmal betreffen.

Zwei unterschiedliche Ausprägungen derselben Idee

Beide Modelle weigern sich, Text zu generieren, und beide haben eine Eigenschaft gemeinsam, die für die Kostenmodellierung wichtig ist: Die Eingabe wird einmal gelesen und jede Frage wird gegen sie bewertet. Worin sie sich unterscheiden, ist, was man in diese Eingabe eingeben darf.

• Antworttypen — Drex Max v1.1 bietet choice, noul und score, die Anfrageform, die Jev von TypeSafe definiert und Nace übernommen hat. Gemini Decision 1 bietet dieselben drei, mit 2 bis 255 Optionen bei einer Choice und 2 bis 255 Rubrikstufen, wobei 2 bis 10 empfohlen werden.

• Fragen pro Aufruf — bis zu 1.000 für Gemini Decision 1, jede einzeln in einem Durchgang bewertet, Schlüssel von Ihnen bereitgestellt; eine Handvoll pro Status für Drex Max v1.1, wobei die Arbeitseinheit ein Element und dessen Fragen ist.

• Modalität — Gemini Decision 1 akzeptiert Text, Bild, Video, Audio und PDF; Drex Max v1.1 akzeptiert Text und bis zu acht Bilder pro Anfrage. Keines von beiden akzeptiert Medien innerhalb der Frageanweisungen; bei Gemini Decision 1 ist das eine dokumentierte Einschränkung, und dort gehören die Medien in die gemeinsame Eingabe.

• Fenster — 262.144 Token für Gemini Decision 1 für gemeinsam genutzte Eingabe und alle Fragen zusammen; Drex Max v1.1 dokumentiert 131.072 Token pro Frage, wobei Bild-Token darin eingerechnet sind, sowie eine Obergrenze von 262.144 für gepackte Anfragen.

• Abrechnung — Gemini Decision 1 berechnet 0,10 US-Dollar pro Million Eingabe-Tokens und stellt wiederholt gemeinsam genutzte Eingaben ausdrücklich in voller Höhe erneut in Rechnung, ohne Caching und ohne Batch-API. Drex Max v1.1 berechnet 0,03 US-Dollar pro Million Eingabe-Tokens – ein Tarif, den Nace halbierte, als vv1.1 v1 an Ort und Stelle ersetzte.

• Zugriff — Gemini Decision 1 auf der Gemini Developer API in v1beta, mit einer kostenlosen Stufe und unbegrenzten täglichen Anfragen ab Tier 2. Drex Max v1.1 gehostet von Nace.AI unter POST /v1/systemone, kein herunterladbarer Checkpoint.

Fassen Sie diese Liste als einen Satz auf: Drex Max v1.1 ist für einen Bildschirm oder eine Seite und ein paar Einschätzungen dazu ausgelegt, und Gemini Decision 1 ist für einen großen Kontext und ein umfangreiches Regelwerk ausgelegt. Die Obergrenze von 1.000 Fragen ist kein bloßes Schmuckelement auf dem Datenblatt. Sie ist der Unterschied zwischen einem Modell, das Sie pro Anfrage vierzig Mal aufrufen, und einem, das Sie einmal aufrufen.

Woher die Lücke von 6,6 Punkten tatsächlich kommt

Der Decision Index gewichtet sechs Bewertungen, und beide Modelle wurden auf allen sechs ausgeführt. Ihre Komponenten nebeneinanderzustellen ist aussagekräftiger als der Gesamtwert:

• AA-Paperclip, 30 % — Drex Max v1.1 72,8, Gemini Decision 1 56,8. Fünfzehn Antworten pro Dokument, alles oder nichts. Das ist die Lücke von sechzehn Punkten, die über das Ranking entscheidet.

• EvalSafe-O*NET-AA, 15 % — 88,3 gegenüber 87,1. Praktisch ein Gleichstand.

• When2Call, 10 % — 95,3 gegen 80,5. Drex Max v1.1 ist hier Zweiter im Feld; Gemini Decision 1 liegt auf Platz vierzehn von achtzehn.

• AA-Omniscience-Decision v1.1, 15 % — 60,3 gegenüber 66,3. Gemini Decision 1 holt sich diesen Punkt, und seine Rohgenauigkeit von 44,8 % ist die höchste aller Entscheidungsmodelle im Ranking.

• HLE-MultiChoice v1.1, 15 % — 46,6 gegenüber 48,7. Knapp, beide nahe der Spitze, beide mit einstelliger Rohgenauigkeit.

• AA-Symmetry v1.1, 15 % — 79,8 gegenüber 70,5. Drex Max v1.1 behält seine Antwort bei Umordnung und Negation in 53,3 % der Fälle bei; Gemini Decision 1, 38,3 %.

Das Muster ist konsistent. Drex Max v1.1 gewinnt die beiden Komponenten, die prüfen, ob eine Entscheidung wiederholbar und strukturell solide ist. Gemini Decision 1 gewinnt die beiden, die prüfen, ob es Dinge weiß und weiß, wann es sie nicht weiß. Beide sind vertretbare Produkte; sie beantworten unterschiedliche Fragen dazu, wofür ein Entscheidungsmodell gedacht ist.

Ein Vorbehalt zur Drex-Zahl: Die von Artificial Analysis gemeldeten 103 US-Dollar pro Million Aufgaben spiegeln einen temporären Einführungspreis wider, und das Board merkt in einer Fußnote an, dass der Standardpreis die Kosten verdoppeln würde. Zum Listenpreis liegt Drex Max v1.1 bei etwa 206 US-Dollar pro Million Aufgaben – immer noch deutlich unter den 345 US-Dollar von Gemini Decision 1, aber nicht mehr nur ein Drittel davon. Bei der Latenz ist es umgekehrt: 283 Millisekunden pro Aufgabe für Drex Max v1.1 gegenüber 211 für Gemini Decision 1; beide sind langsamer als der Median des Feldes von 209.

Wähle nach der Form deiner Anfrage, nicht nach der Punktzahl.

Nehmen Sie Drex Max v1.1, wenn Ihre Entscheidung ein einzelnes Artefakt betrifft, dessen Antwort Bestand haben muss. Triage von Versicherungsansprüchen anhand eines gescannten Formulars, screenshotbasierte Agentensteuerung, bei der dieselbe Klickentscheidung nach einem erneuten Rendern erneut abgefragt wird, Vertragsprüfung, bei der ein vertauschtes Ja/Nein ein echter Fehler ist. Die 63 % Dokument-Bestehensrate und die 53,3 % Symmetrie-Bestehensrate sind die Zahlen, die sich dort bezahlt machen, und 0,03 $ pro Million Eingabe-Tokens machen das Volumenargument einfach.

Wählen Sie Gemini Decision 1, wenn Ihre Entscheidung ein auf eine einzelne Eingabe angewendetes Regelwerk ist oder wenn es sich bei der Eingabe nicht um Text und Bilder handelt. Vierzig Richtlinienprüfungen an einem Support-Ticket in einem einzigen Aufruf sind eine Arbeitslast, für die Gemini Decision 1 dokumentiert wurde und Drex Max v1.1 nicht – und wenn es sich bei der Eingabe um eine Anrufaufzeichnung oder ein PDF handelt, kann nur eines der beiden sie lesen. In der Dokumentation von Google sind vierzehn nicht unterstützte Funktionen neben der einen unterstützten aufgeführt, sodass sich die Eignung vor der Festlegung leicht überprüfen lässt: kalibrierte Entscheidungen, alles andere aus.

Nimm keines von beiden – allerdings nur dann, wenn die Entscheidung von den Kosten im großen Maßstab abhängt. Gemini Decision 1 hat keine Batch-API und kein Context Caching, was bedeutet, dass ein nächtlicher Durchlauf über eine Million historischer Tickets zum vollen Tarif abgerechnet wird, wobei das Richtliniendokument jedes Mal neu eingelesen wird. Die Einführungspreise von Drex Max v1.1 sind temporär. Keines der beiden Produkte bietet derzeit die Rabattstruktur, die ein Backfill günstig macht, und das wird für jeden, der die Zahlen für ein Jahr Tickets durchrechnet, mehr zählen als sechs Indexpunkte.

Beide ohne einen zweiten Vertrag betreiben

OrcaRouter führt keinen der beiden. Beide sind Endpunkte, die ausschließlich Wahrscheinlichkeiten liefern, keine Chat-Completions-Ziele, und wir sagen das auch, statt etwas anderes nahezulegen — der Eintrag für Entscheidungsmodelle im Katalog ist TypeSafe's typesafe/jev-1.14, das auf derselben Übersicht mit 66,23 zwischen den beiden Modellen in diesem Beitrag liegt.

Was ein Bake-off dich tatsächlich kostet, ist der Teil, der in keinem Benchmark auftaucht: zwei SDKs, zwei Geschichten zum Schlüsselmanagement, zwei Sätze Rate-Limits, über die man nachdenken muss. Das ist der Grund, warum die generative Hälfte einer Entscheidungspipeline hinter einem Router gehören sollte, selbst wenn die bewertende Hälfte es nicht kann. Der Aufruf, der die Kandidatenantwort entwirft, die Rubrik schreibt oder die zusammengefasste Bewertung erzeugt, ist genau der Aufruf, bei dem du Anbieter innerhalb eines Nachmittags wechseln willst – ein Endpoint, mehr als 200 Modelle, Listpreis des Anbieters ohne Aufschlag weitergegeben, und Failover, wenn ein Anbieter schlechter wird. Richte den Bewertungsaufruf direkt auf Google oder Nace und halte den Schreibaufruf portabel. Das Modell, das du nicht routen kannst, ist der günstige Teil; das Modell, das du routen kannst, ist das, das du ändern wollen wirst.

Wenn Sie beide auf Ihren eigenen Labels testen – und das sollten Sie, denn keiner der Anbieter veröffentlicht eine Kalibrierungskurve für Ihre Daten –, führen Sie sie an denselben 200 Dokumenten mit demselben Fragensatz aus und vergleichen Sie die Bestehensquote, nicht den Index. Die 30-Punkte-Lücke des Boards bei Paperclip ist ein starker Prior. Sie ist keine Messung Ihrer Dokumente.