Gemini Decision 1 vs Kev : Mille questions en un seul appel, ou une recette que vous pouvez réentraîner

La famille Kev de Jared Palmer a coûté environ 95 $ en temps H100 sur Modal pour l’entraînement, plus environ 0,03 $ d’appels API pour les données d’évaluation, et toute la recette se trouve dans le dépôt. Gemini Decision 1 coûte ce qu’un laboratoire de pointe dépense pour un modèle qu’il ne décrira pas, et ce que vous obtenez pour cet argent est un schéma de requête : un seul point de terminaison, jusqu’à 1 000 questions typées sur une seule entrée de 262 144 jetons, des probabilités calibrées en retour, zéro jeton de sortie, 0,10 $ par million de jetons d’entrée. Mettez Kev à côté et la comparaison n’est pas vraiment entre deux modèles. Elle est entre un appareil de notation par lots et un petit mécanisme que vous pouvez démonter.

Ni l’un ni l’autre des projets n’a publié de chiffre auquel l’autre pourrait être comparé, et c’est la première chose honnête à dire. Google n’a publié aucun tableau de référence avec Gemini Decision 1 ; chaque chiffre de performance dans cet article provient d’Artificial Analysis, qui situe le modèle à 66 sur Decision Index v2.1. Kev n’apparaît pas du tout dans ce classement. Ce que Kev publie à la place, c’est un harnais, un jeu de tests verrouillé et ses propres taux d’erreur, et ceux-ci ne peuvent être soustraits de quoi que ce soit.

Ce que Gemini Decision 1 fait et que Kev ne peut pas faire

Commencez par l’écart de capacités, car c’est lui qui détermine les architectures plutôt que les scores. Gemini Decision 1 évalue jusqu’à 1 000 questions indépendantes par rapport à une entrée partagée, en une seule passe avant. Les questions ne peuvent pas se voir entre elles, l’ajout ou le retrait de l’une ne modifie pas les autres, et l’entrée partagée n’est facturée qu’une seule fois.

Cette dernière proposition est le produit. Un ticket d'assistance vérifié au regard de quarante règles de politique, c'est une requête, une lecture du ticket, quarante réponses calibrées. Sur un modèle par question — ce qu'est Kev, en ce sens que la tête note chaque option par rapport à la question sur une seule ligne — les mêmes quarante vérifications sont quarante passes sur l'état, que vous les traitiez par lots ou non. Les propres chiffres de service de Kev rendent le coût concret : 18,1 millisecondes pour six questions sur un état court sur un H100, 12,9 millisecondes en cache, 14,3 Go résidents. Six questions, pas un millier.

La surface d’entrée diffère de la même manière :

• Modalité — Gemini Decision 1 lit le texte, les images, la vidéo, l’audio et les PDF ; Kev lit le texte. Un enregistrement d’appel ou un formulaire numérisé constitue un problème de prétraitement pour Kev et une entrée native pour Gemini Decision 1.

• Contexte — 262 144 tokens pour Gemini Decision 1 en entrée et dans les questions ; Kev prend en charge jusqu’à 65 536, avec au moins 8 192 par question, mais ne valide que jusqu’à 8 192, et sa fiche le précise.

• Abstention — Gemini Decision 1 renvoie des probabilités bornées entre 0,01 et 0,99 avec un champ de confiance, de sorte qu'une réponse peu fiable est visible sans option distincte. Kev renvoie un softmax sur les options que vous fournissez, ce qui signifie que l'abstention correspond à l'option que vous nommez, plus un seuil que vous définissez.

• Poids — aucun pour Gemini Decision 1 ; un point de terminaison hébergé sur l’API Gemini Developer en v1beta, avec une offre gratuite de 200 requêtes par minute et 10 000 par jour. Apache-2.0 pour Kev, avec un adaptateur LoRA de rang 16 sur une base Qwen3.5 gelée et une tête de pointeur, en tailles 0,8B, 4B et 9B.

Ce que Kev fait et que Gemini Decision 1 ne peut pas faire

Kev vous permet de changer le modèle. Non pas en le promptant différemment — mais en réentraînant le comportement décisionnel sur vos propres étiquettes, pour un montant que vous pouvez faire figurer sur une note de frais.

La construction est délibérément modeste : une base Qwen3.5 gelée, un adaptateur de rang 16 d'environ 33,8 millions de paramètres entraînables, et une petite tête de pointage qui note le token de fermeture de chaque option par rapport au token final de la question. Comme la base reste gelée, le coût marginal d'un nouveau domaine de décision est de la taille d'un adaptateur, et non de celle d'un modèle de fondation. On peut garder une seule base en mémoire et permuter les adaptateurs selon le domaine, une forme de déploiement qu'aucun point de terminaison hébergé n'exprime.

Ce que Kev publie sur lui-même est suffisamment précis pour être contesté, ce qui est plus rare que cela ne devrait l’être :

• Transfer-v4, verrouillé hors domaine — précision 0,838, Brier 0,224, ECE 0,017.

• Breadth-v1, 14 jeux de données de validation, 3 089 questions — exactitude 0,690, ECE 0,029.

• Documents-v1 — 0,903. Hard-v1 — 0,803. MMLU-Pro avec dix options — 0,565.

• Arithmétique de dates — 0,65 à la précision du jour, désigné par l’auteur comme le point le plus faible, avec un indicateur de préprocesseur proposé comme correctif partiel et aucune nouvelle mesure revendiquée.

Ce sont les propres mesures de l’auteur sur son propre banc d’essai, et la fiche indique que la calibration est une température unique en distribution, de sorte que la couverture se dégrade hors domaine et que l’ordre des options peut inverser une réponse. Il s’agit d’une auto-évaluation crédible, pas d’un résultat audité. C’est néanmoins une échelle que vous pouvez tenter de reproduire dès ce soir, ce qui est plus qu’on ne peut en dire de la plupart des chiffres des fournisseurs dans cette catégorie.

Pourquoi les deux nombres sur la table ne se rencontrent jamais

La tentation est de mettre la précision de transfert de 0,838 de Kev à côté du 66 de Gemini Decision 1 et d’annoncer un vainqueur. Résistez-y, pour trois raisons.

Les instruments mesurent des choses différentes. Le Decision Index note l’exactitude moins la pénalité de Brier liée à la confiance attachée à la réponse, agrégée sur six évaluations, dont 45 % reposent sur des données privées. Le chiffre transfer-v4 de Kev est une exactitude brute sur un ensemble verrouillé que l’auteur a constitué, avec le Brier et l’ECE indiqués à côté plutôt qu’intégrés au résultat principal.

Les combinaisons de tâches ne sont pas identiques. La composante la plus importante de l’indice, AA-Paperclip à 30 %, représente quinze réponses tout ou rien par document — une forme que le test documents-v1 de Kev approche sans la reproduire.

Et les dénominateurs diffèrent. Un score d’indice est un composite pondéré où l’abstention est récompensée ; un chiffre de précision est la part des questions où l’option la plus probable était correcte. Un modèle peut battre un autre sur l’un et perdre sur l’autre sans que ni l’un ni l’autre ne soit faux.

Ainsi, l’affirmation défendable est étroite : Gemini Decision 1 se situe au milieu du tableau des modèles de décision hébergés avec un score de 66, neuvième sur dix-huit, avec une première place sur les composantes de connaissances et un taux de réussite de 33 % aux documents en tout ou rien ; Kev est un adaptateur de classe 4B dont l’auteur rapporte une forte calibration dans le domaine et une faible arithmétique des dates. Quiconque vous dit que l’un est meilleur fait une extrapolation.

Ce que chacun coûte réellement à exploiter

L’économie de Gemini Decision 1 est facile à calculer et difficile à accepter à grande échelle. À 0,10 $ par million de tokens d’entrée, Artificial Analysis mesure 345 $ par million de tâches — le modèle le plus cher de la moitié supérieure du classement, sans mise en cache du contexte, sans Batch API et sans inférence Flex ou Priority. Les entrées partagées répétées sont comptées intégralement à chaque requête. Un balayage nocturne d’un million de tickets relit le document de politique un million de fois.

Le modèle économique de Kev est de forme opposée : quasiment gratuit à chaque appel une fois le GPU amorti, le coût réel résidant dans les heures que vous passez à construire des étiquettes, entraîner des adaptateurs et les valider. Le chiffre d’environ 95 $ de Palmer couvre l’exécution de l’entraînement, pas l’étiquetage. Si vos règles de routage diffèrent de celles d’un juge générique — et c’est le cas —, ce coût d’étiquetage vous achète ce qu’aucun modèle de décision hébergé ne vend : un scoreur qui encode votre politique plutôt que de l’approximer.

Il existe un troisième coût qui détermine plus de projets que l’un ou l’autre des prix : la vitesse d’itération. Les limites de Gemini Decision 1 sont documentées et fixes, de sorte qu’un changement de comportement consiste à réécrire le prompt et à réexécuter votre jeu d’évaluation. Celui de Kev est un réentraînement d’adaptateur, peu coûteux en calcul mais pas en processus. Pour une équipe avec un seul domaine et un fort volume, le réentraînement est rentable. Pour une équipe avec douze domaines et sans ingénieur ML, le point de terminaison hébergé l’emporte en heures d’ingénierie, même à 345 $ par million de tâches.

Si le pipeline autour de la décision est l’endroit où vous dépensez réellement

OrcaRouter ne prend en charge aucun des deux modèles. Kev est un ensemble de poids Apache-2.0 que vous exécutez vous-même, et Gemini Decision 1 est un point de terminaison uniquement probabiliste sur l’API de Google — aucun des deux n’est une cible de chat-completions, et nous ne prétendons pas le contraire. Le modèle de décision de notre catalogue est typesafe/jev-1.14 de TypeSafe, à 66,23 sur le même classement, pour les équipes qui veulent un appel de scoring sur la même clé que tout le reste.

La moitié du pipeline pour laquelle nous sommes conçus est celle en amont de la décision : générer la réponse candidate, rédiger la grille d'évaluation, résumer le ticket avant qu'il ne soit noté. C'est sur cet appel que vous changez de modèle le plus souvent et que le coût d'un second contrat fournisseur est le plus élevé, et c'est celui qui s'exécute sur un point de terminaison unique regroupant plus de 200 modèles, prix catalogue du fournisseur répercuté avec 0 % de marge, et basculement automatique en cas de dégradation d'un fournisseur. Si vous comparez Kev à un moteur de notation hébergé, confiez-nous la moitié dédiée à la rédaction et gardez la décision de notation réversible — ainsi, le choix que vous faites aujourd'hui concernant un adaptateur à 95 $ ne se transformera pas en migration plus tard.

La décision entre les deux décisions

Choisissez Gemini Decision 1 lorsque la décision repose sur une seule entrée et de nombreuses règles, lorsque l'entrée est de l'audio, de la vidéo ou un PDF, lorsque mille vérifications en une seule passe facturée changent votre modèle de coûts, et lorsque vous acceptez de faire confiance à un calibrage que vous n'avez pas ajusté. Acceptez que vous achetez une boîte noire au tarif des entrées d'un laboratoire de pointe, sans remise par lot.

Choisissez Kev lorsque la décision repose sur une seule entrée et quelques questions saisies, lorsque le texte est assez court pour être validé en 8 192 tokens, lorsque votre politique est suffisamment spécifique pour qu’un juge générique l’approxime mal, et lorsque posséder l’artefact compte plus que posséder le point de terminaison. Acceptez d’être désormais responsable de la calibration, de l’arithmétique des dates et de la sensibilité à l’ordre des options dont la carte vous avertit.

La seule chose que cette comparaison ne doit pas faire, c’est produire un classement. Il n’existe aucun instrument commun, aucun ensemble de tâches partagé et aucune reproduction de l’un ou l’autre chiffre par un tiers. Ce que vous pouvez faire cette semaine, c’est passer 200 de vos propres éléments étiquetés dans les deux et comparer les taux de réussite et les courbes de confiance — un travail d’une matinée qui vous en apprendra plus que ne le fera la prochaine révision du classement.