SWE-2 Flash vs North Mini Code : le benchmark à l’intérieur du benchmark

Voici un rapprochement inconfortable. SWE-2 Flash est un modèle post-entraîné de 276 milliards de paramètres publié le 4 novembre 2026, avec huit lignes de benchmarks et aucun moyen de l’invoquer. North Mini Code est un modèle de 30 milliards de paramètres que Cohere a livré en juin 2026 sous Apache 2.0, avec un tableau de benchmarks qui ne recoupe SWE-2 Flash sur exactement aucune ligne — et un score indépendant que SWE-2 Flash n’a pas du tout. Sur le papier, le modèle plus récent et plus grand l’emporte sur tout. Au vu des preuves, le plus ancien et plus petit est le seul des deux qu’un tiers ait mesuré.

Cette inversion est tout l’article, et elle est plus utile qu’une comparaison des scores, car cette comparaison ne peut pas réellement être faite.

Deux MoEs aux budgets de paramètres opposés

Tous deux sont des modèles à mélange d’experts clairsemé, construits autour du même argument de coût : payer pour les paramètres actifs, pas pour le total. Ils se situent à des extrémités presque opposées de la gamme.

• Nombre total de paramètres — SWE-2 Flash 276B vs North Mini Code 30B

• Actifs par token — SWE-2 Flash 12B vs North Mini Code 3B

• Disposition des experts — SWE-2 Flash hérite de la structure d’Inkling-Small ; North Mini Code est routé vers 8 des 128 experts

• Contexte — SWE-2 Flash non publié vs North Mini Code 256K, avec une sortie maximale de 64K

• Sortie maximale — SWE-2 Flash non publié vs North Mini Code 64K

• Licence — SWE-2 Flash non publiée vs North Mini Code Apache 2.0 en BF16, FP8 et W4A16

La différence d’un facteur neuf dans les paramètres actifs est le chiffre qui explique tout le reste. SWE-2 Flash peut se permettre d’être un modèle plus grand et plus lent à entraîner, mais peu coûteux par token, car seuls 12B de ses paramètres s’activent. North Mini Code fonctionne avec une fraction de cela, ce qui explique pourquoi Cohere peut le déployer sur une configuration de classe ordinateur portable et pourquoi son plafond de performance sur les benchmarks est plus bas.

Pourquoi ne pouvez-vous pas mettre 89,2 à côté de 36,0 ?

La comparaison qui circulera est Terminal-Bench : SWE-2 Flash à 89,2, North Mini Code à 36,0. Un écart de 53 points qui ferait de ce sujet un non-article. Ce n'est pas une soustraction valable, pour une raison qu'il est facile de négliger.

North Mini Code rapporte « Terminal-Bench v2 » à 36,0 et « Terminal-Bench Hard » à 31,1. SWE-2 Flash rapporte « Terminal-Bench 2.1 » à 89,2 et « Terminal-Bench 4.0 » à 20,0. « v2 » et « 2.1 » sont des libellés adjacents sur ce qui peut ou non être le même ensemble de tâches, et aucun des deux fournisseurs n’indique le nombre de tâches, le harnais ni la convention de notation dans le matériel comparé.

Les preuves internes indiquent que ces versions sont des instruments radicalement différents. Les deux lignes Terminal-Bench de SWE-2 Flash sont elles-mêmes séparées de 69 points — 20.0 sur 4.0, 89.2 sur 2.1. Quand un même modèle obtient 20 et 89 sur deux benchmarks portant le même nom et des numéros différents, c’est la version qui constitue la mesure. Comparer un score 2.x à un score v2 et qualifier l’écart de différence de capacités est l’erreur la plus courante dans cet espace de comparaison.

D’autres lignes semblent communes alors qu’elles ne le sont pas. North Mini Code indique SWE-bench Pro à 40,2 ; SWE-2 Flash indique SWE-Bench Pro v2 Hard à 89,9. Génération de benchmark différente et sous-ensemble filtré. North indique SWE-bench Verified à 67,6 ; SWE-2 Flash n’indique pas du tout Verified. North indique SciCode 38,2 et LiveCodeBench v6 70,3 ; SWE-2 Flash n’indique ni l’un ni l’autre.

Il reste donc DeepSWE 1.1, où SWE-2 Flash annonce 60,1 et North Mini Code n’annonce rien.

Le numéro indépendant que seul l’un d’entre eux possède.

North Mini Code obtient un indice d'intelligence Artificial Analysis de 27,6 et un Coding Index de 33,4. Il s'agit de mesures tierces reposant sur une méthodologie cohérente, effectuées sur un modèle que tout le monde peut télécharger et réexécuter.

SWE-2 Flash n’a aucune entrée dans Artificial Analysis, car Artificial Analysis mesure les modèles via une API et SWE-2 Flash n’a pas d’API. Chaque chiffre qui lui est associé — le 60,1, le 89,2, le 20,0, le 24,0 sur FrontierCode 2.0 — provient de Cognition elle-même, produit sur un harnais d’évaluation non divulgué, et FrontierCode est le benchmark propre à Cognition. Rien ici ne dit que ces chiffres sont faux. Cela dit qu’un lecteur n’a aucun moyen de distinguer une capacité réelle d’un échafaudage généreux.

Pour un modèle open-weight de 30B datant de juin, un AA Coding Index de 33,4 est un score modeste — au-dessus des 25,9 de GLM-4.7-Flash, en dessous des 35,2 de Qwen3.6 35B-A3B. C’est aussi un score que vous pouvez vérifier, ce qui vaut plus qu’une ligne de fournisseur que vous ne pouvez pas vérifier.

Vitesse, et quelle affirmation est vérifiable

Cohere rapporte environ 199 jetons de sortie par seconde sur sa propre API, soit environ 2,8 fois le débit de Devstral Small 2. Il s'agit d'une mesure effectuée sur un point de terminaison en service : une requête entre, des jetons sortent, et quiconque y a accès peut la reproduire.

Cognition rapporte environ 200 tokens par seconde pour SWE-2 Flash, contre 60 pour SWE-2, obtenus en rejouant des transcriptions de sessions raccourcies à des débits simulés. Les deux chiffres sont à un token par seconde l'un de l'autre et signifient des choses totalement différentes. L'un est une mesure de débit ; l'autre est une démonstration de ce à quoi ressemblerait le modèle à cette vitesse.

C'est le schéma que l'on retrouve dans toute la comparaison. L'ancien modèle publie des affirmations moins impressionnantes, accompagnées de davantage de méthodologie. Le nouveau modèle publie des affirmations plus séduisantes, sans aucune méthodologie.

Là où North Mini Code est véritablement faible

Tout ne plaide pas en faveur de Cohere. North Mini Code est un spécialiste du codage et se comporte comme tel : il obtient 14 % sur GDPval-AA et 37 % sur τ²-Bench Telecom, deux évaluations agentiques non liées au codage où un modèle généraliste ferait bien mieux. Si votre agent doit faire autre chose qu'écrire et tester du code — gérer un flux de travail client, raisonner sur un processus métier —, North Mini Code n'est pas le bon outil, et la base plus large de SWE-2 Flash est plausiblement le meilleur choix.

Sa fenêtre de contexte est publiée et grande — 256 000 tokens avec un plafond de sortie de 64 000 tokens — bien que la fenêtre utilisable dépende encore de la pile de serving. Et un modèle 30B avec 3B actifs a un plafond inférieur à celui d’un modèle 276B avec 12B actifs ; aucune transparence méthodologique ne comble cet écart.

Coût, et l’argument en faveur d’une couche de routage

North Mini Code est téléchargeable gratuitement sous Apache 2.0, avec un tarif hébergé sur l’API propre à Cohere et une disponibilité via plusieurs plateformes tierces. SWE-2 Flash est gratuit dans Devin jusqu’au 30 novembre 2026 et sans tarif annoncé ensuite, sans version téléchargeable en perspective.

Ni l'un ni l'autre ne figure au catalogue d'OrcaRouter. Le modèle de Cohere peut être auto-hébergé par quiconque dispose du matériel, et celui de Cognition n'a aucun point de terminaison vers lequel router — la formulation honnête est donc que cette décision se prend de toute façon en dehors de notre catalogue. Ce qu'une couche de routage change, en revanche, c'est le coût de l'erreur. OrcaRouter répercute le prix catalogue du fournisseur avec 0 % de marge et bascule automatiquement en cas de défaillance, si bien qu'une application écrite pour un identifiant de modèle n'est pas une application écrite pour la disponibilité d'un seul fournisseur. Pour un duo où l'un des modèles peut voir son prix révisé le 1er décembre et l'autre pourrait ne jamais être appelable, cette portabilité est l'aspect qui mérite d'être conçu.

Comment décider

Si vous voulez un modèle que vous pouvez exécuter, inspecter, quantifier et évaluer vous-même, North Mini Code est la seule option dans ce duo, et sa fenêtre de contexte publiée ainsi que son budget actif de 3B le rendent pratique sur du matériel modeste. Acceptez le plafond de capacités plus bas et l’orientation étroite vers le codage.

Si vous êtes dans Devin et que la fenêtre gratuite est ce qui compte, SWE-2 Flash est le modèle le plus fort selon ses propres chiffres, et avec une large marge, tandis que le coût pour l’essayer jusqu’au 30 novembre est nul.

Ce qu’il ne faut pas faire, c’est placer 89,2 à côté de 36,0 et en tirer une conclusion. Ces chiffres proviennent d’instruments différents, sont rapportés par des entreprises différentes, sur une famille de benchmarks dont le numéro de version constitue la mesure. La seule affirmation défendable à propos de cette paire est celle qui ressemble le moins à un verdict : l’un d’eux a été évalué indépendamment et l’autre non, et cette différence est plus grande que n’importe quelle ligne de l’un ou l’autre des deux tableaux.