SubQ Snap 1.1 à égalité à la première place du Decision Index grâce à l'apprentissage de l'abstention

Le modèle le plus récent en tête de l'Artificial Analysis Decision Index v1.0 n'est pas celui qui obtient le plus de réponses correctes. SubQ Snap 1.1, lancé par Subquadratic le 22 octobre 2026, a obtenu un score de 65 et a terminé à égalité avec d1-ultra et Elephant 9B à la première place. Jev 1.14 se classe à 57. Lisez les petits caractères sous l'indice et la raison de l'égalité n'est pas du tout la précision brute : l'analyse d'Artificial Analysis situe la précision de Snap 1.1 à 20 %, contre 32 % pour d1-ultra et 12 % pour Elephant 9B. Ce que Snap 1.1 fait mieux que chacun d'eux, c'est refuser de répondre.

C'est un véritable résultat d'ingénierie, pas une astuce de benchmark, mais cela change les personnes qui devraient s'y intéresser. Un modèle de décision n'est pas un modèle de chat. Il prend un document et un ensemble fixe de réponses autorisées — acheminer vers cette file d'attente-ci ou celle-là, appeler cet outil ou refuser, oui ou non ou escalader — et renvoie un choix assorti d'une probabilité calibrée. L'argumentaire de Subquadratic depuis la livraison de la preview dix jours plus tôt est que cette charge de travail mérite sa propre architecture plutôt qu'un LLM général qui brûle des tokens de sortie pour produire le mot « refund ». La version 1.1 est la première sortie où l'affirmation de calibration est suffisamment précise pour être vérifiée.

Qu'est-ce qui a réellement changé entre Snap 1.0 et 1.1

Il s'agit d'une version post-entraînement, et non d'un nouveau modèle. La base Subquadratic Sparse Attention, la fenêtre de 384K tokens et le chemin d'entrée texte-plus-image sont tous inchangés par rapport à Snap 1.0, mis en service le 12 octobre à 0,05 $ par million de tokens d'entrée. Ce qui change, c'est le comportement du modèle lorsqu'il est incertain : l'éditeur indique que la version 1.1 ajoute une calibration explicite de l'incertitude et distille un raisonnement en plusieurs étapes en une seule passe avant, plutôt que de générer une chaîne de pensée puis de s'engager sur une réponse.

Les chiffres que Subquadratic rapporte pour ce changement sont d’une précision inhabituelle, ce qui est à la fois une bonne chose et mérite un examen minutieux. L’erreur de calibration attendue sur des benchmarks de probabilité mis de côté est passée de 0,108 à 0,014. Les erreurs confiantes sur des questions sans réponse ont chuté de 294 sur 600 à 57 sur 600 — la réduction de 81 % que la couverture médiatique du lancement ne cesse de citer. Les hallucinations trop confiantes sur des entrées hors distribution ont chuté de 99,3 % à 12,5 %. L’accord avec une règle de décision bayésienne optimale est passé de 83 % à 90 %. Sur la suite d’entreprise de 16 benchmarks du fournisseur, 1.1 obtient en moyenne 7,2 points de plus que Jev 1.14, avec un intervalle de confiance à 95 % de 6,5 à 7,8, gagnant 12, faisant match nul 3 et perdant 1, et obtient en moyenne 5,5 points de plus que Snap 1.0.

Tout cela est rapporté par le fournisseur. Personne en dehors de Subquadratic n’a encore publié d’exécution de la version 1.1 ; les dépôts indépendants qui existent ont testé le modèle de préversion, et ils sont abordés plus bas.

Comment un modèle avec 20 % de précision arrive à égalité pour la première place

Le Decision Index n’évalue pas la précision de manière isolée. Il évalue le résultat d’une décision dans l’incertitude, ce qui signifie qu’une abstention sur une question à laquelle le modèle ne peut pas répondre vaut mieux qu’une supposition confiante — et bien plus qu’une supposition confiante et erronée. Artificial Analysis indique que le taux de non-hallucination de Snap 1.1, c’est-à-dire la fréquence à laquelle il a répondu « Je ne sais pas » à des questions auxquelles il ne pouvait pas répondre correctement, est de 86 %. Elephant 9B est plus élevé, à 93 %, et d1-ultra est légèrement inférieur, à 85 %. La précision de 20 % de Snap 1.1 se situe au milieu de ce trio, et son score à l’indice est identique à celui des deux autres.

La pertinence de ce compromis dépend entièrement de ce que vous coûte en aval une mauvaise réponse. Dans un routeur de tickets d’assistance, une mauvaise orientation décidée avec assurance envoie une réclamation de facturation dans la file d’ingénierie et un client attend deux jours ; une abstention l’envoie vers une étape de tri humaine qui coûte trente secondes. Dans une tâche de classification de contenu en masse sans intervention humaine, l’abstention n’est qu’une ligne non étiquetée, et c’est le chiffre d’exactitude qui compte. L’indice vous dit que Snap 1.1 est conçu pour le premier cas. Il ne vous dit pas qu’il s’agit du classifieur le plus exact que vous puissiez acheter, car ce n’est pas le cas.

La baisse des prix, et le dénominateur que personne ne cite

L'autre changement de la version 1.1 concerne le prix : 0,04 $ par million de tokens d'entrée, soit 20 % de moins que les 0,05 $ de la version d'aperçu, les tokens de sortie étant gratuits. C'est cette seconde moitié qui refaçonne la facture. Un classificateur bâti sur un modèle génératif paie la réponse — généralement courte, mais les modèles de raisonnement peuvent passer des centaines de tokens à décider quoi émettre. Snap n'a aucune sortie à payer : un appel qui lit 100 K tokens coûte environ quatre dixièmes de centime, et rien de plus.

Artificial Analysis présente le même chiffre par tâche plutôt que par token : environ 30 $ par million de tâches pour Snap 1.1, contre 32 $ pour d1-ultra et 8,4 $ pour Elephant 9B. Ce chiffre par tâche est celui qui est utile, et il rappelle aussi que le prix catalogue par token est un mauvais moyen de comparer un modèle de décision à quoi que ce soit. La facture évolue avec la longueur de l’entrée, si bien qu’un appel de routage de 4K tokens et une revue de contrat de 300K tokens se situent dans des tranches de coût complètement différentes, même si le tarif est identique.

Ce que les chiffres du fournisseur ne permettent pas de trancher

Deux choses méritent d’être distinguées de l’article de lancement. La première est le scepticisme. La couverture communautaire des sorties de Subquadratic — y compris le reportage de BlockBeats qui a circulé sous l’appellation « AI jack-of-all-trades » — a remis en question la part de l’ensemble des affirmations qui est reproductible de manière indépendante, et le modèle n’a pas de poids ouverts, donc il n’existe aucun checkpoint qu’un tiers puisse exécuter. La seconde est que les tests indépendants qui existent ont été menés sur la preview, pas sur la 1.1. Une comparaison reproductible de jcarlosrodicio a trouvé Snap légèrement derrière Jev sous 30K tokens (93,9 % contre 94,7 %) et nettement derrière sur des journaux de 360K tokens (58,8 % contre 77,1 % pour Jev lorsque Jev était découpé en blocs). Un benchmark distinct d’ingénierie logicielle, snap-vs-jev-swe, a trouvé Snap à 87,5 % sur la localisation de fichiers de SWE-bench Verified contre une base de référence aléatoire de 10,6 %, et a mesuré des inversions de réponse sur 5,0 % des éléments lorsque l’ordre des options était inversé.

Ces résultats ne sont pas contredits par 1.1 — le travail de calibration est exactement le genre de changement qui les ferait évoluer — mais ils n’en constituent pas non plus une preuve. Il y a aussi une petite incohérence interne dans les chiffres publiés : la couverture du lancement cite un score When2Call de 96,2, tandis que la propre variante à choix multiples corrigée du hasard de Subquadratic pour le même benchmark affiche 91,0. Les deux peuvent être vrais pour des formats de tâche différents ; un acheteur qui compare le 96,2 au chiffre d’un concurrent devrait savoir quelle variante il a entre les mains.

Là où ça casse.

La colonne des pertes de la suite de 16 benchmarks du fournisseur lui-même est instructive. PhishNChips, un ensemble de détection d’hameçonnage, arrive 22 points derrière Jev 1.14, et Subquadratic l’attribue à la calibration du seuil plutôt qu’à la qualité du classement — le ROC-AUC est à peu près au même niveau, à 0,91 contre 0,92. C’est un problème soluble pour une équipe disposée à régler un seuil, et insoluble pour une équipe qui voulait une solution directement utilisable. Le sous-domaine connaissances et raisonnement est le seul des cinq où Jev est nettement en tête, 55,1 contre 50,9. Snap 1.1 est le plus fort là où l’ensemble de réponses est explicite et où les preuves se trouvent dans le document : outils et automatisation (85,3 contre 74,6), récupération et classification (67,0 contre 63,1), compréhension du langage (71,6 contre 63,3).

Qui doit bouger, et qui doit attendre

Migrez si votre décision est un appel de routage, de sélection d’outil, d’escalade ou de pertinence pris sur de longs documents, et qu’une réponse confiante mais erronée coûte plus cher qu’une escalade. La fenêtre de 384K en est la raison opérationnelle : une seule passe sur un contrat complet, un fil de tickets ou un lot de journaux, sans couche de découpage à construire ni pipeline de récupération à maintenir synchronisé. Les équipes qui utilisent déjà la préversion ont le cas le plus évident, puisque le prix a baissé et la calibration s’est améliorée sans modification de l’API.

Attendez si vous avez besoin de texte généré, si une précision de 20 % sur le mélange de questions du benchmark est en dessous de votre seuil minimal, ou si vous avez besoin d’une latence inférieure à 100 ms sur un chemin critique — Subquadratic ne publie aucun chiffre de latence pour la 1.1, et la mesure tierce de la preview situe un appel de 8K tokens à environ 0,75 seconde. Attendez également si vous avez besoin de l’auto-hébergement : il n’y a pas de poids.

Une remarque pratique sur la place de cet élément dans une stack. SubQ Snap 1.1 est servi via l'API et la console propres à Subquadratic ; il ne figure pas au catalogue d'OrcaRouter, et nous ne prétendrons pas le contraire. Ce que nous proposons, c'est la couche qui se trouve derrière la décision : lorsque Snap résout un appel en « utiliser un modèle », ce modèle est l'un des plus de 200 accessibles via une seule clé chez OrcaRouter, au prix catalogue du fournisseur, avec 0 % de marge et un basculement automatique entre fournisseurs. La couche de décision et la couche d'exécution échouent indépendamment, et il vaut mieux éviter de placer les deux derrière le même fournisseur.

La question ouverte n’est pas de savoir si les chiffres de calibration de la version 1.1 sont réels — ils sont suffisamment précis pour être vérifiés — mais s’ils résistent à un harnais différent. La formulation des prompts a fait varier la précision de 11 à 14 points dans les benchmarks publics Snap, soit plus que l’écart entre deux modèles quelconques de l’indice. Une amélioration de la calibration qui ne tient que sous le modèle de prompt propre au fournisseur serait bien moins importante que ne le suggère le lancement.