Une carte de tableau des scores à deux colonnes générée, intitulée « ScaleDown Classify vs Microsoft-Decision-1 — le tableau des scores », où les lignes de ScaleDown Classify indiquent une méthode non décrite, des résultats revendiqués par le fournisseur, aucune liste de langues, un contexte de 1 M de tokens, une explication en une phrase et des poids privés, face à la méthode documentée en détail de Microsoft-Decision-1, aucun résultat imprimé, 25 langues avec réserves, un contexte de 32 768 tokens, aucune explication et aucun chemin de fine-tuning.
Engineering & Research

ScaleDown Classify vs Microsoft-Decision-1 : L'un publie des chiffres, l'autre publie la méthode.

Auteur

Rowan Sterling

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

ScaleDown Classify et Microsoft-Decision-1 sont les deux options fermées et hébergées de cette comparaison. Ni l'un ni l'autre ne fournit de poids, ni l'un ni l'autre n'est quelque chose que vous téléchargez, et tous deux reposent sur la même prémisse : qu'une décision — quelle catégorie, quelle option, laquelle de celles-ci — devrait être lue à partir des probabilités d'un modèle plutôt qu'écrite sous forme de texte par une boucle de génération. Microsoft-Decision-1 est disponible en version générale sur Microsoft Foundry depuis le 8 octobre 2026 en tant que décodeur dense de 9 milliards de paramètres post-entraîné par Microsoft, avec 25 langues prises en charge et un contexte de 32 768 tokens. ScaleDown Classify est un moteur de rubriques hébergé à 0,05 $ par million de tokens d'entrée et 0 $ par million de tokens de sortie, avec une limite d'entrée de 1 M de tokens et un plafond de vingt étiquettes. Ce qui les sépare n'est pas la capacité. C'est ce que chaque entreprise est disposée à publier sur son propre modèle, et elles ont choisi des moitiés opposées.

L'inversion de la divulgation

La documentation Foundry de Microsoft-Decision-1 décrit son évaluation avec un luxe de détails inhabituel. Des benchmarks de décision publics et communautaires, plus des ensembles internes tenus à l'écart. Des métriques incluant l'exactitude et l'erreur de calibration. L'ordre des options variait. Des tests statistiques appariés. Un harnais identique pour chaque modèle auquel il est comparé. Et puis il rapporte que le modèle « affiche des performances comparables aux principaux modèles de décision et supérieures à celles des autres modèles de décision ouverts évalués avec la même méthodologie » — sans publier le moindre chiffre. Aucun chiffre d'exactitude, aucune erreur de calibration, aucun tableau par benchmark.

Ce que Microsoft publie, en revanche, c'est une liste de limitations, et elle est bonne. Les scores varient selon la formulation et l'ordre des options. Une question mal formulée renvoie tout de même un score. La calibration est plus forte sur les types de tâches familiers. Aucune explication n'est produite. Les forces citées du modèle sont le raisonnement, l'application de règles et la robustesse au formatage des invites ; ses faiblesses citées sont les connaissances spécialisées d'un domaine et les performances en langues autres que l'anglais.

ScaleDown Classify applique l'image miroir de cette politique. Sa documentation entre dans les détails opérationnels sur la façon de rédiger une requête — la rubrique est décrite comme la partie la plus importante d'une requête de classification, formulée comme une question directe par oui ou non, en évitant les négations, maintenue non chevauchante afin que la masse de probabilité ne soit pas divisée de manière imprévisible — et le marketing du fournisseur comporte des affirmations de précision et de coût, y compris un modèle d'environ un demi-milliard de paramètres atteignant 91,7 % sur une tâche de classification simple contre 88,6 % pour un modèle de 72 milliards de paramètres. Aucun de ces éléments n'est rattaché à une méthodologie décrite, et ScaleDown Classify n'a aucune erreur de calibration attendue publiée sur le moindre banc d'essai public.

Ainsi, le choix se situe entre un fournisseur qui vous dit comment il a mesuré et non ce qu’il a trouvé, et un fournisseur qui vous dit ce qu’il a trouvé et non comment il a mesuré. Ni l’un ni l’autre n’est une divulgation complète, et aucun des deux ne devrait être traité comme telle.

A screenshot of ScaleDown's /classify API reference page, captured 14 October 2026, showing the POST /classify endpoint description, the text, chunks and optional document input fields, and the required labels array of name-and-rubric objects that the documentation describes as the most important part of the request.

Langues : l'une publie un décompte, l'autre ne publie rien.

Microsoft-Decision-1 répertorie 25 langues prises en charge et déclare sans détour que la couverture, la qualité et la calibration « peuvent varier selon la langue », en désignant les langues autres que l’anglais et surtout les langues à faibles ressources comme des domaines où les performances sont insuffisantes. C’est une information exploitable : elle vous indique que le modèle est multilingue, vous donne une idée approximative de son degré de multilinguisme et vous indique où ne pas lui faire confiance.

La documentation de Classify de ScaleDown ne publie pas de liste de langues. Rien dans la référence de l’API n’indique quelles langues la notation par grille d’évaluation prend en charge, ni si la formulation d’une grille d’évaluation dans une langue autre que l’anglais se comporte de la même manière, et les consignes relatives aux grilles d’évaluation — formulez-la comme une question directe à laquelle on répond par oui ou non, évitez les négations — sont rédigées d’une manière qui suppose implicitement un appelant anglophone rédigeant des grilles d’évaluation en anglais. Pour un classifieur qui, en pratique, sera dirigé vers des tickets d’assistance internationaux, c’est l’écart à combler avant de vous engager, et c’est un écart que seule votre propre évaluation peut combler.

Si vous avez besoin d'une empreinte linguistique documentée, cette comparaison s'arrête ici et Microsoft l'emporte par défaut. Si vous n'utilisez que l'anglais, le décompte n'entre pas en compte et le reste de la décision porte sur la longueur des entrées et les seuils.

Contexte : 32 768 tokens contre un million

Microsoft documente une invocation unique portant sur jusqu'à 32 768 tokens. ScaleDown documente une limite d'entrée de 1 M de tokens et indique que la calibration par bloc est identique qu'un bloc soit envoyé seul ou dans le cadre d'un lot de cinquante blocs, le profil partagé étant facturé une fois par requête. Sur le chiffre brut, cela représente une différence d'un facteur trente, et c'est le plus grand écart isolé entre les deux produits.

Ce que cela apporte n'est pas le débit — c'est de savoir si vous avez besoin d'une couche de découpage. Un fil de support, un ticket avec son historique, un court passage récupéré : tout cela tient dans 32k avec de la place pour un schéma de question, et les deux modèles sont à peu près équivalents à cette taille. Un contrat complet, un document de politique de plusieurs pages, un long contexte récupéré ou un formulaire numérisé : rien de tout cela ne tient dans 32k, et le chemin documentaire de Classify — JPEG, PNG, TIFF ou PDF en base64, sur une ou plusieurs pages, avec le texte extrait renvoyé dans un champ ocr_text — signifie que le document peut être envoyé sous forme d'octets plutôt que de texte prétraité.

Les deux chiffres sont ceux des fournisseurs eux-mêmes. L'affirmation de ScaleDown relative à un million de tokens n'a pas été corroborée de manière indépendante, et les fiches de catalogue tierces consacrées au modèle indiquent une longueur de contexte non applicable plutôt que de reprendre ce nombre, ce qui relève d'une limitation de catalogue plutôt que d'une contradiction.

Explications : l'un refuse, l'autre facture le double

Microsoft-Decision-1 ne produit aucune explication, et la page du modèle l’indique comme une limitation plutôt que comme un choix de conception. ScaleDown Classify renvoie une explication d’une phrase de son étiquette principale, et la documentation est précise sur ce qu’est cette phrase : elle est générée après que l’étiquette principale est fixée, de sorte qu’elle explique la décision plutôt que de la remettre en question, elle est de forme libre, et elle renvoie les étiquettes et les rubriques à 2x les tokens d’entrée facturés. Elle n’est disponible que pour les requêtes à étiquette unique avec une seule entrée de texte ou de document — les requêtes multi-étiquettes et par lots ne la renvoient jamais.

Pour une file de révision humaine, cette phrase fait souvent la différence entre un évaluateur qui accepte une classification et un évaluateur qui la refait, ce qui rend la majoration de 2x facile à justifier sur la fraction du trafic qui atteint un humain. Pour un pipeline automatisé, c’est du poids mort sur la facture, et elle devrait être désactivée.

Les deux sont fermés, et cela change ce que vous pouvez tester.

• Poids — aucun des deux ne les fournit ; ScaleDown propose l'auto-hébergement en entreprise et l'octroi de licences sur demande, la page de Microsoft ne documente aucune voie de fine-tuning

• Plafond d'options — ScaleDown : 20 labels par requête, 16 en mode multi-label, notés indépendamment ; le plafond de l'ensemble d'options de Microsoft-Decision-1 n'est pas indiqué sur la page du modèle

• Inférence par lots — ScaleDown documente jusqu'à 50 chunks par requête sur un profil de libellés partagé ; la page de Microsoft indique que l'inférence par lots est désactivée

• Divulgation de facturation — Le tarif de Classify est indiqué, à 0,05 $ par million de jetons d'entrée et 0 $ par million de jetons de sortie ; le tarif par jeton de Foundry n'est pas indiqué sur la page du modèle

• Forme du prix — Classify est multiplié par votre nombre d'étiquettes en mode multi-étiquettes et double lorsque le raisonnement est activé ; le tarif Foundry est par token, sans multiplicateur d'étiquettes publié

• Réponse vide — Classify renvoie un gagnant même quand rien ne correspond, c'est donc à vous de définir le seuil ; le comportement déclaré de Microsoft est qu'une question mal formulée renvoie quand même un score

La conséquence du fait que les deux soient fermés est la même dans les deux cas : vous ne pouvez pas inspecter l'artefact, de sorte que votre seule vérification est comportementale. Cela rend incontournable un ensemble mis de côté de vos propres données étiquetées, et cela fait du coût d'un changement de fournisseur une réexécution de cette évaluation plutôt qu'une modification de code.

A screenshot of the OrcaRouter models catalogue, captured 14 October 2026, showing the header '210 models, 16 providers, one API key, one bill' and the filter row for input modalities, context length, input price, status, access tier, series and supported parameters.

Où se situe OrcaRouter dans un pipeline construit sur l'un ou l'autre

Aucun de ces deux modèles ne figure dans notre catalogue, et rien ici ne constitue une affirmation de disponibilité — l'un comme l'autre sont des points de terminaison de scoring structuré plutôt que des cibles de chat-completions, et une couche de routage n'est pas ce dont l'un ou l'autre a besoin. Ce que nous proposons, c'est la couche située au-dessus : les plus de 200 modèles génératifs derrière une seule clé compatible OpenAI qui produisent le brouillon que le classifieur évalue, à prix catalogue du fournisseur répercuté avec 0 % de marge, avec un DSL de routage permettant de composer plusieurs modèles en un seul appel et un basculement automatique lorsqu'un chemin de service se dégrade. Si un modèle de décision conditionne ce que votre couche de génération est autorisée à livrer, alors c'est dans la couche de génération que réside votre risque de disponibilité, et c'est la moitié qu'une seule clé peut consolider.

Lequel choisir

Choisissez Microsoft-Decision-1 si vous avez besoin d'une empreinte linguistique documentée, si vous êtes déjà dans Azure, ou si la posture de conformité d'un grand fournisseur compte plus pour vos achats qu'un chiffre de précision publié. Acceptez le fait que vous devrez l'évaluer entièrement sur vos propres données, car Microsoft a choisi de ne rien vous donner d'autre.

Choisissez ScaleDown Classify si vos entrées dépassent 32k tokens, si vous souhaitez que l'étape d'extraction soit intégrée à l'appel de classification, ou si vous voulez une grille d'évaluation par étiquette que vous pouvez réécrire sans rien réentraîner. Acceptez que l'argument sur l'exactitude soit celui du fournisseur et non reproduit, qu'aucun chiffre de calibration ne soit publié, et que vous devrez écrire votre propre seuil de confiance et une étiquette fourre-tout.

La mesure qui permettrait de trancher — les deux modèles sur des entrées identiques, le même ordre des options, le même balayage de seuils, exécutée par quelqu’un sans intérêt en jeu — n’a été publiée par aucun des deux fournisseurs. Tant que l’un d’eux ne la réalise pas, l’interprétation honnête est que Microsoft est la valeur par défaut la plus sûre et que ScaleDown est l’instrument le plus performant.

A generated two-column scoreboard comparing ScaleDown Classify and Microsoft-Decision-1 across published methodology, published results, supported languages, context length, explanation output and weight access, with a footer reading that both vendors self-report and neither publishes independently audited results.

C'est aussi dans des comparaisons comme celle-ci que les modes de défaillance apparaissent : les incidents d'IA et les défaillances d'agents documentés derrière les modèles de cette classe sont recueillis dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son niveau de gravité, sa note de confiance et un indicateur de contestation.