Gemini Decision 1 vs Microsoft-Decision-1 : deux évaluateurs hyperscalers, quatre points d’écart

Les deux plus grands fournisseurs cloud vendent désormais tous deux un modèle qui répond par une probabilité plutôt que par une phrase, et aucun des deux ne vous dira à quel point il fonctionne bien. Microsoft-Decision-1 est disponible en version générale sur Microsoft Foundry depuis le 8 octobre 2026 : une base Qwen3.5-9B post-entraînée par Microsoft, du texte en entrée, 32 768 tokens de contexte, des distributions calibrées en sortie, des poids non distribués. Gemini Decision 1 est arrivé le 11 novembre 2026 sur l’API Gemini Developer : texte, image, vidéo, audio et PDF en entrée, 262 144 tokens de contexte, jusqu’à 1 000 questions typées par requête, 0,10 $ par million de tokens d’entrée, des poids non distribués non plus. Les deux livrent une section méthodologie et aucune table de résultats, ce qui laisse un seul instrument indépendant comme seul lieu de comparaison — Artificial Analysis, où ils sont séparés de quatre points, neuvième et dixième sur dix-huit.

Quatre points, ce n'est pas l'écart intéressant. L'écart intéressant, c'est que sur l'évaluation pour laquelle la plupart des modèles de décision sont réellement achetés, les deux ne sont séparés que de cinq points, alors que tous deux se situent près du bas du classement, et le modèle qui remporte le classement global y parvient dans un tout autre registre.

Ce que chacun vous présente

Les formes de requête sont suffisamment proches pour qu’un client écrit pour l’une s’adapte à l’autre en un après-midi, et suffisamment différentes pour que le choix soit généralement fait avant même qu’un benchmark ne soit lu.

• Entrée — Gemini Decision 1 prend en charge le texte, l’image, la vidéo, l’audio et le PDF, jusqu’à 100 Mo intégrés par requête et 15 Mo par URL externe. Microsoft-Decision-1 prend du texte, sérialisé en 32 768 tokens. Un formulaire numérisé ou un enregistrement d’appel constitue une entrée native pour l’un et une tâche de prétraitement pour l’autre.

• Contexte — 262 144 tokens pour Gemini Decision 1, partagés entre l’entrée et chaque question. 32 768 pour Microsoft-Decision-1, l’entrée et l’ensemble des options le consommant, et aucun budget de génération à soustraire puisqu’il n’y a pas de génération.

• Formes de questions — Gemini Decision 1 en formalise trois : oui/non borné à 0,01–0,99, un choix parmi 2 à 255 options nommées, et une note sur 2 à 255 niveaux ordonnés renvoyant un niveau attendu pondéré par les probabilités. Microsoft-Decision-1 couvre le oui/non, le choix multiple, la notation, la classification et la notation par grille, et prend explicitement en charge les options d'abstention telles que « cannot tell » au sein de l'ensemble d'options.

• Traitement par lots au sein d'une requête — jusqu'à 1 000 questions indépendantes pour Gemini Decision 1, chacune isolée des autres, le tout sur une seule lecture facturée de l'entrée partagée. Le contrat publié de Microsoft-Decision-1 prévoit un état et son ensemble de questions par invocation, de sorte que l'étendue vient du regroupement des questions plutôt que d'un plafond documenté par requête.

• Prix — 0,10 $ par million de jetons d’entrée pour Gemini Decision 1, sans frais de sortie puisque la sortie représente zéro jeton. Le conseil enregistre 345 $ par million de tâches pour celui-ci, et 143 $ par million de tâches pour Microsoft-Decision-1 au tarif d’entrée qu’il suit.

• Accès — API Gemini pour développeurs uniquement en v1beta, avec un niveau gratuit à 200 requêtes par minute et 10 000 par jour, des requêtes quotidiennes illimitées à partir du niveau 2 (Tier 2), et aucune mention de Vertex AI dans la documentation fournie par Google. Microsoft-Decision-1 en tant que déploiement Foundry dans le portefeuille Direct from Azure, avec options serverless et de point de terminaison unifié, SKU standard, authentification Azure et un seul chemin de facturation, inférence par lots désactivée, et aucun téléchargement de poids ni chemin de fine-tuning.

C’est au niveau de la ligne d’accès que se prennent les décisions d’achat plutôt que techniques. Si votre organisation achète via un engagement Azure, Microsoft-Decision-1 est une facture que vous savez déjà payer. Si elle achète via Google Cloud, Gemini Decision 1 ne l’est pas actuellement — la seule porte documentée est une clé API Gemini, qui relève d’une autre ligne budgétaire et, pour certaines entreprises, d’un autre processus d’approbation.

Le tableau des scores, composant par composant

Le Decision Index d’Artificial Analysis évalue chaque évaluation comme la précision moins la pénalité de Brier liée à la confiance associée à la réponse, pondérée sur six composantes. Voici comment les deux modèles se les répartissent :

• AA-Paperclip, pondération de 30 % — Gemini Decision 1 56,8 contre Microsoft-Decision-1 51,8. Les deux sont faibles. Le taux de réussite par document, en tout ou rien, est de 33 % pour Gemini Decision 1 et de 20,9 % pour Microsoft-Decision-1, contre 63 % pour le leader du secteur. Aucun des deux modèles hyperscalers n'extrait de manière fiable quinze faits d'un document dense.

• EvalSafe-O*NET-AA, 15% — 87,1 contre 86,8. Pratiquement identiques, et tous deux proches du sommet d’un peloton très regroupé.

• When2Call, 10 % — 80,5 contre 88,0. Microsoft-Decision-1 remporte clairement cette manche et se place près des leaders ; Gemini Decision 1 est quatorzième sur dix-huit.

• AA-Omniscience-Decision v1.1, 15% — 66,3 contre 54,9. Gemini Decision 1 prend la première place du classement ; son taux de non-hallucination de 49,6 % en est la raison. Microsoft-Decision-1 affiche ici un taux de non-hallucination de 21,7 %, le chiffre qui devrait inquiéter quiconque envisage de fixer un seuil pour ses abstentions.

• HLE-MultiChoice v1.1, 15% — 48,7 contre 39,4. Première place contre onzième. La précision brute est de 13,2 % contre 8,6 %, et la non-hallucination de 35,7 % contre 15,1 %.

• AA-Symmetry v1.1, 15% — 70,5 contre 70,4. Une égalité parfaite, tous deux en milieu de tableau, conservant la même réponse sous réordonnancement et négation pour 38,3 % et 51,7 % des familles de questions, respectivement.

Le score composite se situe à 65,98 et 62,07, neuvième et dixième. En lisant les composantes, la physionomie de chaque produit devient claire. Microsoft-Decision-1 est un solide évaluateur des appels d’outils et du jugement en milieu de travail, dont le comportement en matière de connaissances et d’abstention est faible. Gemini Decision 1 est l’inverse : les meilleurs scores de connaissances et d’abstention du tableau, associés à une extraction de milieu de tableau et à une faible discrimination du choix d’outil.

Ce qu’ils partagent est la chose dont il faut se méfier.

Aucun des deux fournisseurs ne publie de tableau de benchmarks. La fiche de Microsoft-Decision-1 décrit sa méthodologie — benchmarks de décision publics et communautaires, ensembles internes tenus à l’écart, exactitude et erreur de calibration, ordre des options varié, tests statistiques appariés — et affirme que le modèle « obtient des performances comparables à celles des principaux modèles de décision et supérieures à celles d’autres modèles de décision ouverts évalués selon la même méthodologie ». Aucun tableau ne figure sous cette phrase. Les notes de version de Gemini Decision 1 annoncent le modèle et renvoient à la documentation de l’API, qui répertorie les fonctionnalités prises en charge et non prises en charge et ne donne aucun chiffre d’exactitude.

Cela compte parce que toute l’interface d’un modèle décisionnel est un nombre sur lequel votre code se branche. Un modèle de chat un peu plus faible produit une prose moins bonne ; un scoreur mal calibré achemine silencieusement 8 % de vos tickets vers la mauvaise file, et rien dans la réponse ne vous l’indique. Deux fournisseurs de pointe ont commercialisé des produits dont l’affirmation centrale — que la probabilité signifie ce qu’elle dit — est affirmée en prose et mesurée uniquement par un tiers.

Il faut reconnaître au tiers qu’il mesure les deux avec le même instrument, ce qui explique que cette comparaison soit possible tout court. Mais un tableau reste un tableau, sa principale composante est constituée à 45 % de données privées, et il n’évalue des modèles de décision que depuis quelques semaines. Considérez 66 et 62 comme le premier relevé externe, et non comme une capacité établie.

Lequel placer derrière votre seuil ?

Choisissez Microsoft-Decision-1 lorsque la décision est un appel d’outil ou un jugement sur un document professionnel, lorsque l’entrée est un texte qui tient confortablement dans 32K tokens et lorsque la condition de déploiement est un contrat Azure avec facturation unifiée et un forfait Responsible AI associé. Ses scores de 88,0 sur When2Call et de 86,8 sur EvalSafe-O*NET sont de véritables atouts, et ses options d’abstention explicites vous permettent d’intégrer dès la conception une échappatoire « impossible à déterminer » dans l’ensemble d’options, plutôt que de l’y ajouter après coup.

Choisissez Gemini Decision 1 lorsque l’entrée est longue, multimodale ou partagée entre de nombreuses questions, lorsque les questions de connaissances et le contrôle des hallucinations sont l’enjeu, et lorsque vous êtes prêt à payer pour le contexte. Sa première place sur les deux composantes de connaissances et son taux de non-hallucination de 49,6 % sur AA-Omniscience sont les raisons de le choisir plutôt que le modèle Microsoft moins cher, et son taux de réussite de 33 % sur les documents est la raison de ne pas le choisir pour des tâches d’extraction.

N'en choisissez aucun pour l'extraction à grande échelle. Les deux scoreurs des hyperscalers se situent dans la moitié inférieure de la composante documentaire pondérée à 30 %, et les modèles qui y sont en tête — un modèle multimodal 27B de Nace.AI et un encodeur 421M de Convai Innovations que vous pouvez fine-tuner vous-même — coûtent moins par tâche et, dans le cas des poids ouverts, peuvent être entraînés sur vos propres documents.

Le reste du pipeline n’a pas à être pris en otage à cause de cela.

OrcaRouter ne propose ni l’un ni l’autre modèle. Tous deux sont des points de terminaison uniquement dédiés aux probabilités — l’un sur l’API Gemini Developer, l’autre sur Foundry — et aucun n’est une cible de chat-completions, donc nous ne les listons pas. Ce que le catalogue propose, en revanche, c’est typesafe/jev-1.14 de TypeSafe, un modèle de décision à 66,23 sur ce même indice, ce qui constitue une troisième option raisonnable si vous voulez que l’appel de scoring utilise la même clé que tout le reste.

L'appel qui entoure le scoreur est là où un routeur justifie sa place, et c'est la moitié que ces deux produits n'abordent délibérément pas. Quelque chose doit écrire la grille d'évaluation sur laquelle le scoreur se base, résumer le document de 60 pages pour le ramener à 32K tokens, ou rédiger la réponse candidate en cours de classement — et ce quelque chose est un modèle génératif dont le prix et la qualité évoluent toutes les quelques semaines. Cet appel passe par un seul endpoint réunissant plus de 200 modèles, à prix catalogue des fournisseurs répercuté avec 0 % de marge, avec un basculement automatique en cas de dégradation d'un fournisseur et un langage DSL de routage si vous voulez que plusieurs modèles composent une seule réponse. Gardez la moitié « rédaction » portable et la décision de notation reste réversible, ce qui vaut plus que quatre points d'indice lorsque les deux fournisseurs révisent leur offre au rythme trimestriel.

Quoi regarder

Trois signaux changeraient le classement, et aucun n’est arrivé. Un tableau de benchmark Microsoft avec des courbes de calibration permettrait à ses clients Azure de fixer des seuils sur des preuves ; la fiche ne propose actuellement qu’une méthodologie et une affirmation. Une inscription dans Vertex AI pour Gemini Decision 1 le ferait passer d’un achat par clé API à un achat via contrat cloud et changerait entièrement la comparaison des achats. Et un second comité indépendant évaluant les deux modèles nous dirait si l’écart de quatre points est un signal ou le bruit d’un classement vieux de trois semaines.

D’ici là, la lecture défendable est la suivante : Gemini Decision 1 est le meilleur modèle sur les deux composantes où savoir quand refuser est la compétence ; Microsoft-Decision-1 est le meilleur sur la sélection d’outils et légèrement moins cher ; et les deux se situent dans la moyenne pour l’extraction de documents, qui constitue en réalité l’essentiel des charges de travail décisionnelles en entreprise. Faites passer 200 de vos propres éléments étiquetés dans chacun avant que l’un ou l’autre chiffre ne décide quoi que ce soit.