{{1}}Une carte de titre générée pour {{2}}Inkling 2 Small{{/2}}, portant en en-tête « 17B actifs, codage de pointe », avec trois cartes de statistiques indiquant {{3}}594B au total / 17B actifs{{/3}}, {{4}}FrontierCode 25,4 % contre Kimi K3 17,3 %{{/4}}, et {{5}}0,30 $ en entrée / 1,00 $ en sortie par million{{/5}}, avec une note indiquant que les chiffres des benchmarks sont déclarés par le fournisseur et que les tarifs proviennent d’Artificial Analysis ; le logo {{6}}OrcaRouter{{/6}} se trouve dans une bande blanche sous l’illustration.{{/1}}
Guides & Insights

Inkling 2 Small tient le rythme en codage avec 17B de paramètres actifs — jusqu'à ce que l'on regarde la variance

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Deux lignes du graphique de lancement de Thinking Machines se rejoignent sur le même chiffre. Inkling 2 Small résout 54,25 des 69 tâches PMPP-Hard en une seule tentative et 64 sur quatre tentatives. Claude Opus 5.5 en résout 60 en une seule tentative et 64 sur quatre tentatives. Sorti le 5 novembre 2026, Inkling 2 Small est un modèle de type mixture-of-experts avec 594B de paramètres au total et 17B actifs, et ce graphique est l’expression la plus claire de ce que l’architecture apporte et de ce qu’elle n’apporte pas : le plafond d’un modèle de frontière sur des travaux d’ingénierie difficiles, sans la fiabilité par tentative d’un tel modèle.

L’affirmation qui circule est plus restreinte et plus flatteuse — selon elle, dans les benchmarks de codage, il tient facilement le rythme de modèles nettement plus grands. Cette affirmation est vérifiable ligne par ligne dans le tableau du fournisseur lui-même : elle tient à certains endroits, échoue à d’autres, et échoue de la manière la plus intéressante face à un modèle bien plus petit que lui. Cet article fait cette lecture ligne par ligne, puis pose la question à laquelle le tableau ne peut pas répondre : combien ce rythme coûte par tâche une fois le modèle réellement sur votre facture.

Six lignes de codage, à lire sans la glose

Tout ce qui suit provient du tableau d’évaluation que Thinking Machines a publié avec l’annonce. Il s’agit d’un harnais exécuté par le fournisseur — l’entreprise le dit, et précise que les lignes consacrées au codage utilisent des tests unitaires masqués et des contrôles programmatiques. Rien ici n’a été reproduit indépendamment, ce qui compte parce que ce même tableau affiche un Artificial Analysis Intelligence Index de 30,6 pour Inkling 2 Small, tandis que la page en ligne d’Artificial Analysis elle-même affiche 31. Il s’agit d’une différence d’arrondi, pas d’un désaccord, mais cela indique que le tableau est un instantané pris par le laboratoire plutôt qu’un tableau en direct.

Face à Kimi K3, le plus grand modèle à poids ouverts de la comparaison, l’affirmation sur le rythme se vérifie jusqu’à égalité :

• FrontierCode v2.0 — Inkling 2 Small 25,4 % contre Kimi K3 17,3 %.

• DeepSWE v1.1 — 72,1 % contre 68,5 %.

• SWE-bench Pro v2 (Difficile) — 86,3 % contre 88,2 %.

• Vibe Code Bench v1.1 — 81,6 % contre 85,0 %.

• PostTrainBench v1.2 — 31,9 % contre 31,5 %.

• Terminal Bench Science v0.1 — 5,7 % vs 8,1 %.

Trois lignes chacune. Un modèle qui mobilise 17 B de paramètres par token fait jeu égal, sur le plan du calcul consommé, avec un modèle d'un ordre de grandeur supérieur — et cela aux deux extrémités du spectre du codage qui, d'ordinaire, restent séparées : un benchmark de correctifs écrits de zéro dans FrontierCode et un benchmark agentique à l'échelle du dépôt dans DeepSWE. C'est DeepSWE qu'il faut prendre en compte, car c'est la ligne où un modèle doit maintenir un plan cohérent au fil de nombreux appels d'outils plutôt que de produire un seul bon diff.

Face à DeepSeek V4.1 Flash 1017, la situation s’inverse, et c’est la comparaison qui compte sur le plan commercial plutôt qu’architectural, car l’offre flash de DeepSeek est bon marché. Inkling 2 Small est en retard sur quatre des cinq lignes sur lesquelles les deux modèles ont été évalués — FrontierCode, de 25,4 % à 28,5 % ; DeepSWE, de 72,1 % à 77,0 % ; Vibe Code Bench, de 81,6 % à 87,7 % ; Terminal Bench Science, de 5,7 % à 12,9 % — et n’est en avance que sur PostTrainBench, avec 31,9 % contre 30,5 %. DeepSeek n’a pas d’entrée SWE-bench Pro, ce qui est dommage pour Thinking Machines, car 86,3 % est le meilleur score de codage d’Inkling 2 Small et c’est la ligne qui aurait été la plus convaincante à remporter.

A three-column scoreboard titled 'Inkling 2 Small vs Kimi K3 vs Claude Haiku 5.5 — coding rows', listing the same six benchmarks for each column: FrontierCode v2.0 at 25.4, 17.3 and 34.9; DeepSWE v1.1 at 72.1, 68.5 and 59.9; SWE-bench Pro v2 Hard at 86.3, 88.2 and 52.9; Vibe Code Bench v1.1 at 81.6, 85.0 and 90.4; PostTrainBench v1.2 at 31.9, 31.5 and not reported; and Terminal Bench Science v0.1 at 5.7, 8.1 and 20.0, with the highest value in each row set in green. The footer reads that all figures are vendor-reported by Thinking Machines Lab, 5 November 2026, and not independently reproduced.

Le plus petit modèle est celui dont il ne suit pas le rythme.

La comparaison que le matériel de lancement ne met pas en avant est Claude Haiku 5.5, et c’est celle qui devrait faire hésiter un acheteur. Haiku est le petit modèle économique de la gamme d’Anthropic — rien à voir avec un modèle de 594B — et il l’emporte sur trois des cinq catégories de codage communes aux deux : FrontierCode 34,9 % contre 25,4 %, Vibe Code Bench 90,4 % contre 81,6 %, et Terminal Bench Science 20,0 % contre 5,7 %, où l’écart est de plus du triple.

Inkling 2 Small remporte les deux autres de manière décisive : DeepSWE 72,1 % contre 59,9 % et SWE-bench Pro 86,3 % contre 52,9 %. Lus ensemble, ces résultats ne concernent pas du tout la taille. Haiku remporte les lignes qui évaluent un seul artefact produit — un diff, une UI, une session de terminal menée jusqu’au bout. Inkling 2 Small remporte les lignes où le modèle doit continuer à travailler sur un problème pendant de nombreuses étapes et améliorer sa propre réponse. Face à Gemini 3.8 Flash, l’écart est encore plus serré : Inkling remporte FrontierCode, SWE-bench Pro et Vibe Code Bench, perd DeepSWE de peu à 72,1 % contre 73,8 %, et perd Terminal Bench Science largement à 5,7 % contre 10,0 %.

Un détail de l'annonce mérite d'être retenu par quiconque consulte les classements. Thinking Machines indique avoir testé des checkpoints précoces d'Inkling 2 Small sur OpenCode sous le nom de Fledge-Alpha. Tout score Fledge-Alpha que vous avez vu sur un classement de codage avant le lancement correspondait à ce modèle, sous un pseudonyme, et il ne s'agissait pas de la version finale.

Ce que permettent d’obtenir quatre tentatives, et ce que coûtent 18,5 minutes

PMPP-Hard comprend 69 tâches, quatre tentatives indépendantes, un budget de dix heures, avec pour score la moyenne des tâches résolues. Le 54,25 d’Inkling 2 Small est bon mais pas remarquable — il se place derrière GPT-6 Astra à 63, Kimi K3.1 Pro à 60,5 et Opus 5.5 à 60, et devant Kimi K3 à 55,75, DeepSeek V4.1 Flash à 55,25, GLM 5.3 à 52,5 et Mistral Large 4 à 50,25.

Son Pass@4 sur 64 est le point où le chiffre cesse d’être ordinaire. Cette valeur égale le 64 d’Opus 5.5 et dépasse le 63 d’Astra et le 63 de Kimi K3.1 Pro. Donnez-lui quatre essais et il atteint le même plafond que les meilleurs modèles du graphique ; donnez-lui-en un et il accuse presque six tâches de retard. Si votre flux de travail échantillonne déjà plusieurs tentatives et sélectionne un gagnant en exécutant les tests, l’écart qui compte est faible. S’il échantillonne une seule fois et livre, l’écart est toute l’histoire.

La même asymétrie apparaît dans le graphique d’autoresearch sur les noyaux, et là, elle ne favorise pas Inkling 2 Small. Meilleure accélération de noyau par rapport à la référence : Claude Opus 5.5 18,80×, GPT-6 Astra 10,26×, Inkling 2 Small 6,02×, DeepSeek V4.1 Flash 5,66×, GLM 5.3 5,03×, Mistral Large 4 3,43×. Environ un tiers de l’accélération des modèles de pointe sur la même tâche, ce qui est très loin de suivre le rythme.

Vient ensuite le temps d’horloge. Toutes les évaluations publiées ont été exécutées avec un effort de 0,99 — le réglage que Thinking Machines appelle xhigh — à une température de 1,0. Artificial Analysis, qui teste le point de terminaison en production plutôt que le harnais de développement, mesure 18,5 minutes par tâche de l’Intelligence Index, contre une médiane de 7,0 chez les pairs, et 154 M de jetons de sortie, contre une médiane de 89,8 M. Le coût par tâche de l’indice est de 1,18 $, ce qui classe le modèle 27e sur 29 modèles de ce classement. La vitesse de sortie est de 135 jetons par seconde, avec 34,15 secondes avant le premier jeton de réponse, contre une médiane de 11,57 secondes. Le modèle n’est pas lent par jeton. Il est lent parce qu’il réfléchit longtemps et écrit beaucoup pendant ce temps.

Là où le chiffre de 17B d’actifs porte réellement ses fruits

Les modèles de type mixture-of-experts sont facturés sur les paramètres actifs, et c'est là tout l'argument commercial de cette architecture. Inkling 2 Small est proposé à 0,30 $ par million de jetons d'entrée et 1,00 $ par million de jetons de sortie, l'entrée mise en cache bénéficiant d'une remise de 90 % à 0,03 $ — soit un tarif mixte de 0,18 $ par million pour un ratio de 7:2:1 entre cache, entrée et sortie, selon Artificial Analysis. Le modèle médian de ce classement facture 0,24 $ en entrée et 0,87 $ en sortie ; Inkling 2 Small est donc tarifé comme un modèle de milieu de gamme, et non comme un modèle de 594 B.

La composition de l’entraînement explique cette priorité. Le codage représentait 38,5 % des rollouts d’apprentissage par renforcement et 65 % des tokens — le bloc le plus important, et plus des deux tiers de tout ce que le modèle a généré pendant l’apprentissage par renforcement. La vision représentait 13,9 % des rollouts, mais 3 % des tokens. Quoi qu’il en soit par ailleurs, ce modèle a été post-entraîné pour écrire et corriger du code longuement.

A screenshot of the Artificial Analysis model page for Inkling 2 Small showing an Intelligence Index of 31 ranked 4 of 29 against a median of 23, 154M output tokens against a median of 89.8M, pricing of $0.30 per million input and $1.00 per million output with a 90% cache discount, $1.18 cost per index task ranked 27 of 29, 21.5 minutes per task against a 7.3-minute median, and a 1M-token context window with text and image input.

Ainsi, l’arithmétique honnête se fait par tentative réussie, et non par token. Inkling 2 Small à 1,18 $ par tâche d’indexation et quatre tentatives pour atteindre son plafond constitue un achat différent d’un modèle deux fois plus cher qui y parvient en une seule. Aucune des deux configurations n’est erronée ; ce sont des contrats différents avec votre budget de latence.

Ce que vous pouvez appeler aujourd’hui, et ce que vous ne pouvez pas

Inkling 2 Small est disponible via Tinker pour l'inférence et le fine-tuning, avec des poids fermés et sans second fournisseur. Thinking Machines déclare avoir l'intention de publier les poids complets sous Apache 2.0 « la semaine prochaine », après des tests de sécurité externes et des exercices de red teaming, et cela ne s'est pas produit au 6 novembre 2026. Le point de terminaison sans serveur est servi avec un contexte de 256K, plus étroit que la fenêtre de 1M que le modèle a été entraîné à gérer.

Il n'est pas sur OrcaRouter, et cet article ne prétendra pas le contraire. Ce qui est sur OrcaRouter, c'est la majeure partie de l'ensemble de comparaison que cet article vient de parcourir — Kimi K3, DeepSeek V4.1 Flash 1017, GLM-5.3 Flash, Gemini 3.8 Flash, MiMo V2.6 Pro — accessibles avec une seule clé sur plus de 200 modèles, avec le prix public du fournisseur répercuté sans changement et sans marge ajoutée. Cela compte précisément pour l'usage que cet article sous-entend : si vous voulez savoir si un MoE à 17B de paramètres actifs est suffisamment bon pour votre dépôt, l'expérience la moins coûteuse consiste à exécuter votre propre évaluation sur les modèles situés de part et d'autre, sur une seule facture, plutôt que de signer quatre contrats.

A screenshot of the OrcaRouter models catalogue showing the header 228 models, 17 providers, one API key, one bill, the modality and price filters, the how-to-call panel with an OpenAI-compatible chat completions request, and model cards including a cyber model with a 1M context and tools, reasoning and JSON mode tags.

Le basculement automatique constitue l’autre moitié de cette approche. Un tableau de benchmarks ne dit rien sur la capacité d’une longue exécution agentique à survivre à un incident temporaire chez un fournisseur à la quatorzième minute, et les modèles qui semblent les plus proches sur DeepSWE sont précisément ceux entre lesquels vous basculeriez réellement.

Trois éléments changeraient cette interprétation. Une réexécution indépendante de FrontierCode ou DeepSWE, car ces chiffres sont ceux du laboratoire et la ligne SWE-bench Pro joue un rôle persuasif considérable. La publication des poids, car Apache 2.0 rendrait le modèle 594B auto-hébergeable et placerait le chiffre de 1,18 $ par tâche sous votre contrôle. Et tout palier publié inférieur à xhigh, car chaque chiffre de cet article a été produit à effort maximal — si un réglage inférieur obtient l’essentiel de la précision pour une fraction des 154M tokens, l’argument de coût s’améliore et personne ne l’a encore montré.

La comparaison définie sur une clé

Les modèles auxquels Inkling 2 Small est comparé dans les lignes ci-dessus sont, à deux exceptions près, des modèles que vous pouvez appeler depuis un point de terminaison unique aujourd’hui. Les deux exceptions sont Inkling 2 Small lui-même, qui n’est disponible que via Tinker, et Claude Haiku 5.5, qui ne figure pas dans le catalogue OrcaRouter. Le reste du tableau est constitué de : Kimi K3, le modèle à poids ouverts avec lequel Inkling 2 Small fait match nul ; DeepSeek V4.1 Flash 1017, le modèle peu coûteux sur lequel il est devancé dans quatre des cinq lignes ; GLM-5.3 Flash, le petit modèle qu’il bat confortablement ; et Gemini 3.8 Flash, le modèle de taille intermédiaire avec lequel il partage les résultats.

Cet ensemble est celui qu'il vaut la peine d'exécuter, car la question intéressante pour une équipe n'est pas de savoir si un modèle de mélange d'experts à 17B d'actifs est impressionnant dans l'abstrait — le tableau ci-dessus y répond déjà — mais s'il bat le modèle déjà en production sur le dépôt, la suite de tests ou le noyau qui vous intéresse. C'est une question à laquelle seule votre propre évaluation répond, et il est bien moins coûteux d'y répondre pour quatre modèles sur une seule clé que pour quatre fournisseurs.

Ce que le lancement établit est plus limité que ne le suggère la réaction qu’il a suscitée. Un modèle de 594 milliards de paramètres dont 17 milliards sont actifs fait désormais match nul face au plus grand modèle à poids ouverts en codage, remporte les deux lignes qui récompensent le travail soutenu et perd face à un petit modèle fermé sur les trois qui évaluent un artefact unique. C’est un vrai résultat, et ce n’est pas un résultat à la frontière. Le coût pour déterminer de quel côté de la ligne se situe votre charge de travail est de 0,30 $ et de 1,00 $ par million de jetons, de 18,5 minutes par tâche difficile et d’une volonté d’échantillonner plus d’une fois.

Comparés dans cet article1

Détecté à partir de cet article · Benchmarks : Artificial Analysis · mis à jour quotidiennement