Gemini Decision 1 vs Drex Max v1.1 : les deux lisent 262K tokens, un seul prend en compte les documents

Mettez Gemini Decision 1 et Drex Max v1.1 côte à côte et les fiches techniques se chevauchent presque : tous deux sont des modèles de décision, disposent tous deux d’une fenêtre de 262 144 jetons, lisent tous deux des images en même temps que du texte et renvoient tous deux des probabilités plutôt que de la prose. L’écart se creuse à un seul endroit. Sur la composante de décision documentaire de l’Artificial Analysis Decision Index v2.1 — le test pondéré à 30 % qui demande à un modèle d’extraire cinq décisions et dix faits d’un seul document dense et d’avoir juste sur les quinze — Drex Max v1.1 réussit sur 63 % des documents et Gemini Decision 1 sur 33 %. Cette seule composante est la principale raison pour laquelle l’un obtient 73 et l’autre 66.

Le reste de la différence relève de l’arithmétique sur laquelle vous pouvez agir. Drex Max v1.1 coûte 0,03 $ par million de jetons d’entrée et Gemini Decision 1 coûte 0,10 $ ; sur un million de tâches, cela représente 103 $ contre 345 $. Et Gemini Decision 1 prend en charge jusqu’à 1 000 questions par requête sur une entrée partagée, tandis que Drex Max v1.1 attend un état unique auquel sont rattachées une poignée de questions. Lequel de ces chiffres décide de votre choix dépend entièrement de si vos décisions se présentent un document à la fois ou quarante règles à la fois.

Deux formes différentes de la même idée

Les deux modèles refusent de générer du texte, et tous deux partagent une propriété qui compte pour la modélisation des coûts : l’entrée est lue une seule fois et chaque question est évaluée par rapport à elle. Là où ils divergent, c’est ce qu’ils vous permettent de mettre dans cette entrée.

• Types de réponse — Drex Max v1.1 propose choix, noul et score, la forme de requête définie par Jev de TypeSafe et adoptée par Nace. Gemini Decision 1 propose les mêmes trois, avec de 2 à 255 options pour un choix et de 2 à 255 niveaux de rubrique, 2 à 10 recommandés.

• Questions par appel — jusqu'à 1 000 pour Gemini Decision 1, chacune évaluée indépendamment en une seule passe, clés que vous fournissez ; une poignée par état pour Drex Max v1.1, où l'unité de travail est un élément et ses questions.

• Modalité — Gemini Decision 1 accepte le texte, les images, la vidéo, l’audio et les PDF ; Drex Max v1.1 accepte le texte et jusqu’à huit images par requête. Aucun des deux n’accepte de média dans les instructions de la question ; sur Gemini Decision 1, il s’agit d’une limite documentée, et les médias y ont leur place dans l’entrée partagée.

• Fenêtre — 262 144 tokens pour Gemini Decision 1 sur l’entrée partagée et l’ensemble des questions ; Drex Max v1.1 documente 131 072 tokens par question, les tokens d’image étant comptés dans ce total, et un plafond de requête compactée de 262 144.

• Facturation — Gemini Decision 1 facture 0,10 $ par million de tokens d'entrée et refacture explicitement et intégralement les entrées partagées répétées, sans mise en cache ni Batch API. Drex Max v1.1 facture 0,03 $ par million de tokens d'entrée, un tarif que Nace a réduit de moitié lorsque vv1.1 a remplacé v1 en place.

• Accès — Gemini Decision 1 sur l'API Gemini Developer en v1beta, avec un niveau gratuit et des requêtes quotidiennes illimitées à partir du niveau 2. Drex Max v1.1 hébergé par Nace.AI à POST /v1/systemone, aucun checkpoint téléchargeable.

Lisez cette liste comme une seule phrase : Drex Max v1.1 est conçu pour un écran ou une page et quelques appréciations à son sujet, et Gemini Decision 1 est conçu pour un contexte volumineux et un manuel de règles volumineux. Le plafond de 1 000 questions n’est pas une fioriture de fiche technique. C’est la différence entre un modèle que vous appelez quarante fois par requête et un que vous appelez une seule fois.

D'où vient réellement l'écart de 6,6 points

Le Decision Index pondère six évaluations, et les deux modèles ont été exécutés sur les six. Aligner leurs composantes est plus instructif que le composite :

• AA-Paperclip, 30 % — Drex Max v1.1 72,8, Gemini Decision 1 56,8. Quinze réponses par document, tout ou rien. C'est l'écart de seize points qui décide du classement.

• EvalSafe-O*NET-AA, 15 % — 88,3 contre 87,1. En pratique, égalité.

• When2Call, 10 % — 95,3 contre 80,5. Drex Max v1.1 est deuxième sur le terrain ici ; Gemini Decision 1 est quatorzième sur dix-huit.

• AA-Omniscience-Decision v1.1, 15 % — 60,3 contre 66,3. Gemini Decision 1 remporte celle-ci, et sa précision brute de 44,8 % est la plus élevée de tous les modèles de décision du tableau.

• HLE-MultiChoice v1.1, 15 % — 46,6 contre 48,7. Serré, les deux près du sommet, tous deux avec une précision brute à un chiffre.

• AA-Symmetry v1.1, 15 % — 79,8 contre 70,5. Drex Max v1.1 conserve sa réponse lors d'un réordonnancement et d'une négation 53,3 % du temps ; Gemini Decision 1, 38,3 %.

Le schéma est cohérent. Drex Max v1.1 remporte les deux composantes qui évaluent si une décision est reproductible et structurellement solide. Gemini Decision 1 remporte les deux qui évaluent s'il connaît des choses et s'il sait quand il ne sait pas. Les deux sont des produits défendables ; ils répondent à des questions différentes sur la finalité d'un modèle de décision.

Une réserve sur le chiffre de Drex : les 103 $ par million de tâches rapportés par Artificial Analysis reflètent un prix de lancement temporaire, et le conseil précise en note que le prix standard doublerait le coût. Au prix catalogue, Drex Max v1.1 s’établit à environ 206 $ par million de tâches — toujours bien en dessous des 345 $ de Gemini Decision 1, mais ce n’est plus un tiers de ce montant. La latence va dans l’autre sens : 283 millisecondes par tâche pour Drex Max v1.1 contre 211 pour Gemini Decision 1, les deux étant plus lents que la médiane de 209 du secteur.

Choisissez selon la forme de votre requête, et non selon le score

Prenez Drex Max v1.1 si votre décision concerne un seul artefact avec une réponse qui doit rester valable. Le tri des déclarations d’assurance sur un formulaire numérisé, le contrôle d’agent par captures d’écran où la même décision de clic est redemandée après un nouveau rendu, la revue de contrats où un oui/non inversé constitue une véritable erreur. Les taux de réussite de 63 % sur les documents et de 53,3 % sur la symétrie sont les chiffres qui se rentabilisent dans ces cas, et 0,03 $ par million de tokens d’entrée rend l’argument du volume facile.

Choisissez Gemini Decision 1 si votre décision est un ensemble de règles appliqué à une seule entrée, ou si l’entrée ne consiste pas en texte et en images. Quarante contrôles de politique sur un ticket d’assistance en un seul appel constituent une charge de travail pour laquelle Gemini Decision 1 a été documenté et Drex Max v1.1 ne l’a pas été — et si l’entrée est un enregistrement d’appel ou un PDF, seul l’un de ces deux peut le lire. La documentation de Google répertorie quatorze capacités non prises en charge aux côtés de celle qu’il prend en charge, donc l’adéquation est facile à vérifier avant de vous engager : décisions calibrées, tout le reste désactivé.

Ne choisissez ni l’un ni l’autre, mais si la décision dépend du coût à grande échelle, alors : Gemini Decision 1 n’a ni Batch API ni mise en cache du contexte, ce qui signifie qu’un balayage nocturne d’un million de tickets historiques est facturé au tarif plein, avec le document de politique relu à chaque fois. Le tarif de lancement de Drex Max v1.1 est temporaire. Aucun des deux produits n’offre actuellement la structure de remise qui rend un remplissage rétroactif bon marché, et cela comptera plus que six points d’indice pour quiconque fait le calcul sur une année de tickets.

Exécuter les deux sans un deuxième contrat

OrcaRouter ne propose aucun de ces deux. Tous deux sont des points de terminaison uniquement probabilistes plutôt que des cibles de complétion de chat, et nous le précisons plutôt que de laisser entendre le contraire — dans le catalogue, le modèle de décision référencé est typesafe/jev-1.14 de TypeSafe, qui se classe à 66,23 sur le même tableau, entre les deux modèles présentés dans cet article.

Ce qu'un comparatif vous coûte réellement, c'est la partie qui n'apparaît jamais dans un benchmark : deux SDK, deux façons de gérer les clés, deux ensembles de limites de débit à prendre en compte. C'est la raison pour laquelle la moitié générative d'un pipeline de décision a sa place derrière un routeur, même lorsque la moitié d'évaluation ne le peut pas. L'appel qui rédige la réponse candidate, écrit la grille d'évaluation ou produit le résumé qui sera évalué est exactement l'appel où vous voulez changer de fournisseur en un après-midi — un seul point de terminaison, plus de 200 modèles, prix catalogue du fournisseur répercuté avec 0 % de marge, et bascule automatique lorsqu'un fournisseur se dégrade. Dirigez l'appel d'évaluation directement vers Google ou Nace et gardez l'appel de rédaction portable. Le modèle que vous ne pouvez pas router est la partie bon marché ; celui que vous pouvez router est celui que vous voudrez changer.

Si vous testez les deux sur vos propres étiquettes — et vous devriez, car aucun des deux fournisseurs ne publie de courbe d’étalonnage sur vos données —, faites-le sur les mêmes 200 documents avec le même jeu de questions et comparez le taux de réussite, pas l’indice. L’écart de 30 points du board sur Paperclip constitue un a priori fort. Ce n’est pas une mesure de vos documents.