Eine Entscheidungs-Workload von Drex Max zu Gemini Decision 1 verschieben

Die Portierung wirkt wie eine URL-Änderung – ist aber keine. Drex Max v1.1 und Gemini Decision 1 nehmen beide einen Kontextblock und eine Reihe typisierter Fragen entgegen und geben Wahrscheinlichkeiten zurück, sodass der erste Nachmittag einer Migration gut läuft: das Feld umbenennen, den Client auf einen anderen Basispfad zeigen lassen, die Testsuite ausführen. Zum Problem wird es in der zweiten Woche, wenn das Volumen kommt und sich herausstellt, dass die beiden Abrechnungsmodelle uneinig darüber sind, was man eigentlich kauft. Dies ist der Bericht darüber, was sich tatsächlich ändern muss – geschrieben für jemanden, der eine funktionierende Drex Max v1.1-Integration besitzt und sich fragt, ob die herausgestellte Punktzahl des neueren Modells den Wechsel rechtfertigt.

Beginnen wir mit der ehrlichen Version des Vergleichs. Im Artificial Analysis Decision Index v2.1 erreicht Drex Max v1.1 73 Punkte und Gemini Decision 1 66 Punkte. Das ältere Modell gewinnt, und es gewinnt mit 6,6 Punkten, davon der größte Teil in der Komponente, die 30 % des Gesamtwerts ausmacht. Wenn Ihre Workload die Triage von Dokumenten ist, dann ist die Migration ein Downgrade, das als Upgrade verkleidet ist. Wenn es etwas anderes ist, lesen Sie weiter, denn die beiden Endpunkte sind sich nicht so ähnlich, wie es ihre Anfrageformen nahelegen.

Der Unterschied, der auf keiner Bestenliste steht

Drex Max v1.1 gibt jeder Frage ihr eigenes Budget von 131.072 Token. Gemini Decision 1 gibt der gesamten Anfrage 262.144 Token, die zwischen der Eingabe und jeder darin enthaltenen Frage aufgeteilt werden. Diese beiden Sätze beschreiben dieselbe Produktkategorie und führen zu gegensätzlichen technischen Empfehlungen.

Auf Drex kostet das Stellen von 200 Fragen 200 separate Budgets, und die praktische Obergrenze für eine Anfrage ist eher dein Ratenlimit als der Kontext. Bei Gemini Decision 1 passen 200 Fragen und ein Vertrag mit 200.000 Tokens nicht in dieselbe Anfrage: 200.000 Tokens Eingabe lassen 62.144 für die Fragen und Anweisungen übrig, was komfortabel ist, aber eine Eingabe mit 250.000 Tokens lässt 12.144 übrig, und die Anfrage schlägt fehl. Die Obergrenze ist real, sie wird gemeinsam genutzt, und sie verschiebt sich je nachdem, wie viel du sendest.

Dies ist die eine Änderung, die am ehesten eine funktionierende Drex-Integration zunichtemacht, denn der Fehlermodus ist bei geringem Volumen kein Fehler. Eine Testsuite, die 20 Fragen an einem Dokument mit 30.000 Tokens durchlaufen lässt, passt problemlos in beide Systeme. Die Produktion mit einem Datensatz von 180.000 Tokens und 900 Fragen passt in das eine, aber nicht in das andere.

Was der Preis pro Token verschweigt

Drex Max v1.1 ist zu einem Einführungspreis von $0.03 pro Million Eingabe-Tokens gegenüber einem Listenpreis von $0.06 gelistet, und Gemini Decision 1 liegt bei $0.10. Keiner der beiden berechnet die Ausgabe. Liest man nur diese Spalte, ist Drex zwischen 1,7- und 3,3-mal günstiger, was ausreicht, um bei einem Team mit hohem Volumen die Diskussion zu beenden.

Pro Aufgabe gemessen verringert sich die Lücke. Artificial Analysis beziffert Drex Max v1.1 auf 103 US-Dollar pro Million Entscheidungsaufgaben und Gemini Decision 1 auf 345 US-Dollar, ein Verhältnis von etwa 3,3 — der Listenpreisvergleich, nicht der Einführungspreis. Der Grund ist, dass Gemini Decision 1 mehr Tokens liest, um zu einer Antwort zu gelangen. Sein gemeinsamer Kontext ist doppelt so groß, und seine Komponentenwerte deuten darauf hin, dass es mehr Eingabe durch jede Frage laufen lässt statt weniger. Pro Aufgabe beträgt die ehrliche Spanne rund drei zu eins zugunsten von Drex, und der Einführungsrabatt ist ein vorübergehender Zustand, der Ihre zweite Vertragsverlängerung nicht überleben wird.

Das bedeutet, dass die Preisfrage nicht lautet „Was ist billiger?“, sondern „Für welchen Anteil Ihrer Aufgaben würden Sie das Dreifache zahlen, um sie richtig zu erledigen?“ Eine Regel, die Support-Tickets an eine Warteschlange weiterleitet, ist wertlos, wenn sie 5 % häufiger falsch liegt als die Alternative. Eine Regel, die eine Vertragsklausel zur juristischen Prüfung markiert, ist ihren Preis sofort wert.

Die Punkte kommen aus der Dokumentenverarbeitung.

Die zusammengesetzte Lücke von 6,6 Punkten ist nicht gleichmäßig verteilt, und das Migrationsargument hängt davon ab, zu wissen, wo sie liegt.

• AA-Paperclip, 30 % Gewichtung — Drex Max v1.1 erreicht 72,8 Punkte und besteht 63 % der Dokumente direkt im Alles-oder-nichts-Test; Gemini Decision 1 erreicht 56,8 Punkte und besteht 33 %. Allein diese Komponente macht den Großteil der Differenz im Gesamtwert aus.

• When2Call, 10% — Drex 95,3 gegenüber Gemini mit 80,5, eine Lücke von 14,8 Punkten bei der Beurteilung von Tool-Aufrufen, der größte proportionale Vorsprung, den Drex irgendwo verzeichnet.

• EvalSafe-O*NET-AA, 15 % — 88,3 gegenüber 87,1. Ein Rundungsfehler, und der einzige sicherheitsnahe Test im Set.

• AA-Omniscience-Decision v1.1, 15 % — Drex 60,3, Gemini 66,3. Geminis Vorsprung – und der Grund, warum bei der Berichterstattung zu seinem Launch Wissen im Vordergrund stand.

• HLE-MultiChoice v1.1, 15 % — Drex 46,6, Gemini 48,7. Knapp, und beide Modelle verweigern so oft die Antwort, statt zu raten, dass die rohe Genauigkeit weit unter diesen Zahlen liegt.

• AA-Symmetry v1.1, 15% — Drex 79,8 gegenüber 70,5. Ob die Antwort Bestand hat, wenn die Frage umgeordnet, neu beschriftet und negiert wird – das kommt auf dem Board einem Stabilitätstest am nächsten.

Zwei dieser Zeilen verdienen einen zweiten Blick, bevor Sie sich festlegen. Bei der Dokumentenextraktion ist Drex bei einer strengen Kennzahl nahezu doppelt so zuverlässig, und bei der Symmetrie ist es neun Punkte stabiler – das bedeutet, dass eine auf Drex basierende Pipeline weniger Antworten liefert, die kippen, wenn dieselbe Frage anders formuliert wird. Wenn Ihr Produkt einem Nutzer eine einzige Antwort anzeigt, ist Instabilität ein Fehlerbericht. Wenn sie in eine nachgelagerte Bewertung einfließt, ist Instabilität Varianz, die Sie herausmitteln können.

Geschwindigkeit – und das Argument, beides zu behalten

Drex Max v1.1 führt eine Aufgabe im Median in 283 Millisekunden aus. Gemini Decision 1 führt dieselbe Aufgabe in 211 aus. Das neuere Modell ist schneller, obwohl es mehr Arbeit leistet, und das ist der einzige Punkt, an dem die Migration vorbehaltlos hilft. Bei einer synchronen Prüfung vor einer benutzergerichteten Aktion sind 70 Millisekunden nicht nichts.

Geschwindigkeit, Preis und Genauigkeit passen selten so sauber in eine einzige Richtung zusammen, und hier tun sie es nicht: Gemini ist schneller und schlechter, Drex ist langsamer und besser, und das Kostenverhältnis folgt dem Qualitätsverhältnis statt dem Latenzverhältnis. Das ist die Signatur zweier Modelle mit wirklich unterschiedlichen Designs, statt dass eines eine strikte Verbesserung wäre.

Das ist die eigentliche Empfehlung. Ein Entscheidungsdienst mit nur einem Scoring-Modell hat einen einzigen Single Point of Failure und eine einzige Meinung. Beide laufen zu lassen kostet eine zweite Integration und liefert ein Signal für Uneinigkeit: Wenn die beiden Modelle bei hoher Konfidenz unterschiedliche Antworten liefern, ist der Fall wirklich mehrdeutig und sollte wahrscheinlich nicht automatisiert werden. Dieses Muster ist alt, es ist langweilig, und es erkennt Fehler, die kein Konfidenzwert eines einzelnen Modells erkennen würde.

Das Portieren des Aufrufs selbst

Der mechanische Teil ist kleiner als der buchhalterische Teil, und es gibt drei Fallstricke, die vor dem Start erwähnt werden sollten.

Zunächst wird Drex unter /v1/systemone mit der festgelegten Modell-ID drex-max aufgerufen; der Alias drex-latest im Quickstart ist nicht die festgelegte ID, und wenn Sie ihn verwenden, ändert sich Ihr Modell unter Ihnen, ohne dass ein Deployment erfolgt. Gemini Decision 1 hat das umgekehrte Problem: Es gibt überhaupt keinen Alias, nur gemini-decision-1, und eine Anfrage, die gemini-decision nennt, wird nicht aufgelöst. Legen Sie auf beiden Seiten die ID fest, und behandeln Sie die Modell-ID als Versionsnummer in Ihrer Konfiguration, nicht als Konstante in Ihrem Quellcode.

Zweitens lassen sich Medienlimits nicht übertragen. Drex Max v1.1 akzeptiert bis zu 8 Bilder pro Anfrage. Gemini Decision 1 akzeptiert Text, Bild, Audio, Video und PDF mit Grenzen von 100 MB für Inline-Base64, 50 MB pro PDF und 15 MB pro HTTPS-URL und lehnt YouTube-Links und gs://-URIs rundheraus ab. Eine Drex-Pipeline, die acht Seiten-Scans pro Anfrage bündelt, wird zu einer Gemini-Pipeline, die die Seiten entweder als ein PDF sendet oder den Stapel aufteilt.

Drittens sind die Fragetypen ähnlich, aber die Grenzwerte sind nicht identisch. Beide unterstützen Ja/Nein, Auswahl und Bewertung. Gemini begrenzt Auswahl und Bewertung auf 2–255 Optionen bzw. Stufen und klemmt die Ja/Nein-Wahrscheinlichkeit auf 0.01–0.99 fest, sodass jeder Schwellenwert, den Ihr Drex-Code über 0.99 gesetzt hat, nach der Portierung stillschweigend nie ausgelöst wird. Prüfen Sie jede Schwellenwert-Konstante in der Codebasis, nicht nur die in der Konfigurationsdatei.

Wo ein Router passt – und wo nicht

OrcaRouter führt weder gemini-decision-1 noch drex-max. Beide sind reine Wahrscheinlichkeits-Endpunkte, und ein Router unserer Ausprägung bedient Chat-Completions-Ziele; eine gegenteilige Behauptung wäre eine Verfügbarkeitsaussage, die bei der ersten Anfrage scheitert. In dieser Migration ist der Router für den Teil der Pipeline zuständig, der nicht der Scorer ist.

Nahezu jeder Entscheidungsdienst wird entworfen, bevor er bewertet wird: Ein generatives Modell extrahiert Kandidatenklauseln, schlägt das Bewertungsraster vor oder fasst den Datensatz zu dem gemeinsamen Kontext zusammen, den das Entscheidungsmodell anschließend liest. Dieser Entwurfsaufruf ist der Punkt, an dem die Anbieterwahl wirklich zählt und an dem ein zweiter Vertrag schmerzt, und er kann über mehr als 200 Modelle an einem Endpoint laufen, wobei die Anbieter-Listenpreise mit 0 % Aufschlag durchgereicht werden. Eine Routing-DSL ist hier wichtiger als in einem Chatprodukt, weil Entwurfsaufrufe heterogen sind – ein günstiges Modell für die Triage, ein Long-Context-Modell für den 180.000-Token-Datensatz – und weil es besser ist, dies als Regeln auszudrücken, als dies über drei SDKs zu tun.

Die ehrliche Einschränkung: Failover schützt den Drafting-Aufruf, nicht den Scoring-Aufruf. Es gibt genau eine Stelle, an die eine Entscheidungsanfrage gesendet werden kann, und wenn diese nicht verfügbar ist, ist Ihr Dienst nicht verfügbar. Wenn diese Abhängigkeit nicht akzeptabel ist, ist das obige Zwei-Modell-Muster nicht nur eine Genauigkeitsmaßnahme — es ist die einzige echte Redundanz, die verfügbar ist, denn es ist die einzige Möglichkeit, zwei unabhängige Scoring-Endpunkte zu haben.

Fazit

Wechseln Sie zu Gemini Decision 1, wenn Ihre Entscheidungen wissensförmig sind, wenn Geschwindigkeit zählt oder wenn Sie einen gemeinsamen Kontext wünschen, der groß genug ist, um einen ganzen Datensatz auf einmal zu halten. Bleiben Sie bei Drex Max v1.1, wenn sie dokumentförmig sind – und die Bestehensquote sagt, dass sie es wahrscheinlich sind, denn Dokumentenextraktion ist das, was sich bei den meisten Entscheidungs-Workloads herausstellt, sobald man genauer hinsieht. Führen Sie beides aus, wenn eine falsche Antwort teuer ist, und kalkulieren Sie das Kostenverhältnis von drei zu eins ein, bevor Sie jemandem eine Einsparung versprechen. Die Migration ist ein Tag Arbeit und ein Quartal Feinabstimmung; die Entscheidung dafür hängt davon ab, welcher Komponente des Index Ihr Workload tatsächlich ähnelt.