SubQ Snap 1.1 vs Gemma 4 12B : un juge spécialiste face à un généraliste ouvert

Demandez aux deux SubQ Snap 1.1 et Gemma 4 12B lesquels de cinq cents tickets d’assistance sont des demandes de remboursement, et les deux produiront une réponse exploitable. Un seul d’entre eux vous dira aussi, pour chaque ticket, à quel point il est sûr de sa réponse — et un seul d’entre eux peut être téléchargé et exécuté sur du matériel qui vous appartient. Voilà toute la comparaison, et la raison pour laquelle elle ne désigne pas de gagnant est que les deux modèles n’appartiennent pas vraiment à la même catégorie de produit. Snap 1.1 est un modèle de décision publié par Subquadratic le 22 octobre 2026 : il attribue des scores à un ensemble fixe d’options et ne génère aucun texte. Gemma 4 12B est le généraliste à pondérations ouvertes de Google DeepMind, un modèle dense d’environ 12 milliards de paramètres sous Apache 2.0 qui lit le texte, les images, l’audio et la vidéo et rédige de la prose en retour.

Si vous les traitez comme des substituts, vous commettrez l’une de deux erreurs : payer des tarifs d’API pour un classifieur que vous pourriez exécuter sur un ordinateur portable, ou tenter d’obtenir un routage structuré d’un modèle qui n’a jamais été entraîné à s’abstenir. Considérés comme deux couches d’un même pipeline, ils s’articulent raisonnablement bien.

Ce que chacun est réellement

Gemma 4 12B est l'enfant du milieu de la famille Gemma 4, se situant entre les modèles E2B et E4B exécutés sur l'appareil et les niveaux 26B-A4B et 31B. Son argument architectural marquant est qu'il est exempt d'encodeur : les patchs d'image et les formes d'onde audio sont projetés directement dans le réseau principal linguistique plutôt que d'être transmis à des encodeurs visuels et audio distincts. Il fonctionne en configuration de raisonnement et en configuration sans raisonnement, est distribué sous Apache 2.0, et c'est le genre de modèle qu'une équipe choisit parce qu'il peut être affiné, quantifié, intégré et distribué sans demander la permission à quiconque. Les sites de suivi ne s'accordent pas sur la date de sortie exacte — Artificial Analysis et BenchLM indiquent le 3 juin 2026, llm-stats indique le 23 mai — ce qui rappelle discrètement que même les faits les plus banals concernant les sorties ouvertes sont reformulés différemment selon qui tient le compte.

SubQ Snap 1.1 est délibérément plus restreint. Il accepte jusqu’à 384 K tokens de texte et d’images, ainsi qu’un ensemble de réponses défini par l’application — de une à seize questions, avec deux à 255 alternatives par question — et renvoie une sélection assortie d’une probabilité. Il n’y a pas de sortie en texte libre à analyser, pas de schéma JSON à imposer, et aucun moyen pour le modèle de répondre à une question que vous ne lui avez pas proposée. Subquadratic soutient qu’il s’agit d’une tâche computationnelle différente de la génération, et qu’une architecture à attention éparse peut l’accomplir à coût de calcul constant par token plutôt que de payer une attention quadratique sur un document de 300 K tokens.

Les spécifications, côte à côte

• Contexte — SubQ Snap 1.1 accepte 384 K jetons en une seule passe ; Gemma 4 12B accepte 256 K (262 144).

• Modalité d’entrée — Snap 1.1 prend en charge le texte et les images ; Gemma 4 12B prend en charge le texte, les images, l’audio et la vidéo.

• Sortie — Snap 1.1 renvoie un choix ou un score de votre liste, avec une probabilité ; Gemma 4 12B génère du texte de longueur arbitraire.

• Prix — Snap 1.1 coûte $0.04 par million de tokens d’entrée, la sortie étant gratuite ; la médiane de Gemma 4 12B chez les fournisseurs est de $0.10 par million de tokens d’entrée et de $0.30 par million de tokens de sortie.

• Poids — Snap 1.1 n’en publie aucun ; Gemma 4 12B fournit des poids sous Apache 2.0 que vous pouvez télécharger, quantiser et auto-héberger.

• Calibration — Snap 1.1 rapporte une erreur de calibration attendue de 0,014 et un taux d’abstention de 86 % sur les questions auxquelles il ne peut pas répondre ; Gemma 4 12B ne publie aucune valeur de calibration comparable.

• Point de référence du benchmark — Snap 1.1 obtient 65 sur l’Artificial Analysis Decision Index v1.0, à égalité à la première place ; Gemma 4 12B obtient 14 sur l’Artificial Analysis Intelligence Index, un chiffre estimé pour sa catégorie de taille.

Ces deux dernières lignes ne sont pas comparables et ne devraient pas être placées côte à côte sans avertissement. Le Decision Index mesure la qualité des décisions sur une tâche à réponse fixe ; l’Intelligence Index mesure le raisonnement général. Un score de 65 et un score de 14 répondent à des questions différentes.

La tâche que les deux peuvent accomplir, et ce qu’elle coûte

Prenons un appel de routage réaliste : un fil de tickets de 8 000 jetons, cinq files d’attente candidates, une réponse. Snap 1.1 facture 0,04 $ par million de jetons d’entrée et rien pour la sortie, donc l’appel coûte environ 0,00032 $. Gemma 4 12B, au tarif médian des fournisseurs, facture 0,0008 $ pour les mêmes 8 000 jetons d’entrée, plus la sortie — une simple étiquette représente peut-être cinq jetons, soit 0,0000015 $, mais une configuration de raisonnement qui réfléchit avant de répondre peut facilement consommer 200 à 400 jetons, soit 0,00006 $ à 0,00012 $ de plus.

Aux tarifs de l’API, Snap est donc deux à trois fois moins cher par appel, et l’écart se creuse à mesure que le document s’allonge, car le prix des tokens d’entrée de Gemma est deux fois et demie celui de Snap. À 100 K tokens, la comparaison est de 0,004 $ contre 0,010 $ avant même que Gemma n’écrive quoi que ce soit.

Hébergez désormais Gemma 4 12B vous-même sur un GPU que vous possédez déjà. Le coût marginal par appel se réduit à l'électricité, et la comparaison s'inverse complètement. C'est l'élément le plus important de cette confrontation : Snap 1.1 n'est moins cher que si vous achetez l'inférence au token. Si vous disposez d'une capacité inutilisée, Gemma est gratuit à la marge, et Snap ne le sera jamais.

Là où Gemma 4 12B l’emporte

La réponse évidente est l’ouverture, mais la version utile est plus précise. Apache 2.0 signifie qu’aucun fournisseur ne peut rendre obsolète le point de terminaison que vous utilisez, qu’aucune limite de débit ne peut étrangler un traitement par lots à 2 h du matin, et qu’aucune donnée ne quitte votre réseau. Pour un flux de travail réglementé — triage des sinistres, codage clinique, relecture de contrats — ce dernier point tranche généralement le débat avant même que le prix ne soit abordé.

Gemma fait aussi des choses que Snap ne peut structurellement pas faire. Il rédige le résumé d’escalade après que le routeur a décidé d’escalader. Il lit un formulaire scanné, transcrit un enregistrement d’appel et répond à une question sur les deux en une seule passe. Il peut être fine-tuné sur vos propres données étiquetées, ce qui, pour une tâche de classification restreinte, surpasse souvent le comportement zero-shot de n’importe quel modèle généraliste. Selon les chiffres publiés par le fournisseur lui-même, il obtient 77,2 sur MMLU-Pro, 78,8 sur GPQA et 72,0 sur LiveCodeBench v6 — modeste pour un modèle de pointe, tout à fait respectable pour quelque chose qui tient sur un seul accélérateur.

Ses faiblesses sont tout aussi précises : un 5,2 sur Humanity's Last Exam sans outils, 43,4 sur la récupération en contexte long MRCRv2, et une latence du premier token d'environ 2,4 à 2,6 secondes aux vitesses typiques des fournisseurs, ce qui est plutôt lent pour un saut de routage dans une boucle d'agent.

Là où SubQ Snap 1.1 l'emporte

Trois choses, par ordre d’importance. Premièrement, l’abstention calibrée. Snap 1.1 rapporte un taux de 86 % de réponses « Je ne sais pas » aux questions auxquelles il ne peut pas répondre correctement, contre 0,7 % pour sa propre version 1.0 sur le proxy d’omniscience du fournisseur — cette amélioration est le point phare de cette version. Amener un LLM généraliste à s’abstenir de manière fiable nécessite de l’ingénierie de prompt, une heuristique de confiance ou un second modèle pour évaluer le premier, et aucune de ces approches n’est aussi propre qu’un modèle entraîné avec l’abstention comme objectif explicite.

Deuxièmement, le contexte. 384K en une seule passe contre 256K et, plus pertinent encore, aucune stratégie de découpage à concevoir. Un modèle généraliste à 256K peut techniquement contenir le document ; savoir s'il en retrouve la bonne phrase au milieu est une autre question, et le score de 43,4 de Gemma sur MRCRv2 suggère que la réponse honnête est « parfois ».

Troisièmement, la forme de la sortie. Une probabilité sur vos cinq files d’attente est directement utilisable comme seuil de routage. Une phrase générée ne l’est pas, et c’est dans le code de liaison qui transforme l’une en l’autre que se trouvent la plupart des bugs de classification en production.

Ce dont Snap ne dispose pas, c’est d’une quelconque vérification indépendante de 1.1. Les évaluations tierces existantes ont testé le modèle d’aperçu, et l’une d’elles — une étude de notation de pertinence documentaire menée par 95pctai comparant Snap à Gemma 4 31B — a constaté que Snap était environ deux fois plus rapide et moitié moins cher par exécution, mais qu’il manquait 21 réponses que la référence Gemma avait détectées. L’auteur de l’étude signale que le juge et la référence étaient tous deux des modèles Google, ce qui pourrait favoriser Gemma, et que Snap n’a été exécuté qu’une seule fois.

Réalité du déploiement

Gemma 4 12B ne figure pas au catalogue d’OrcaRouter. Nous proposons les niveaux 26B-A4B et 31B de la même famille, et le 12B est disponible via les canaux propres à Google et un certain nombre de plateformes tierces. Snap 1.1 n’est pas non plus le nôtre : il fonctionne via l’API de Subquadratic à console.subq.ai.

Pour la plupart des équipes, la vraie question n'est pas de savoir sur lequel standardiser, mais si la couche de décision et la couche de génération doivent partager une dépendance. Elles ne tombent pas en panne de la même manière. Un routeur qui tombe en panne bloque votre pipeline avant même que le moindre travail ne commence ; un générateur qui tombe en panne l'interrompt à mi-parcours. Maintenir les deux chez des fournisseurs distincts — une seule clé pour plus de 200 modèles de génération chez OrcaRouter, avec 0 % de marge sur les tarifs des fournisseurs et un basculement automatique en cas d'incident, un seul contrat pour le modèle de décision — signifie qu'une mauvaise après-midi chez l'un ou l'autre fournisseur dégrade le pipeline au lieu de l'arrêter.

Comment décider en une seule passe

Si la décision consiste à attribuer une étiquette parmi un ensemble d'options fixe, que les documents sont longs et que vous ne pouvez pas héberger de poids : Snap 1.1, et prévoyez de construire votre propre banc d'évaluation, car personne n'en a publié pour cette version.

Si la décision est une étiquette mais que le même appel doit aussi produire du texte, ou si les données ne peuvent pas quitter votre réseau, ou si vous disposez de capacité GPU disponible : Gemma 4 12B, affiné sur quelques milliers de vos propres exemples, surpassera généralement un modèle de décision généraliste sur votre tâche spécifique.

Si vous n'êtes vraiment pas sûr, l'expérience peu coûteuse consiste à faire tourner les deux sur les mêmes 2 000 cas étiquetés et à comparer non pas la précision, mais le coût des erreurs que chacun commet. Snap s'abstiendra plus souvent. Gemma répondra plus souvent et se trompera plus souvent sans le dire. Lequel de ces deux comportements est pire est une caractéristique de votre entreprise, pas de l'un ou l'autre modèle.