Ultramarine 1 Flash vs GPT-5.6 Luna : deux modèles qui n’apparaissent jamais sur le même tableau des scores

La première chose à remarquer à propos de ce duo, c'est ce qui manque dans le graphique du fournisseur lui-même. Paper Instruments a publié Ultramarine 1 Flash le 14 octobre 2026 avec six tableaux de référence et un graphique coût-qualité couvrant une trentaine de configurations de modèles. GPT-5.6 Lunan'y figure pas. Pas à effort faible, pas à moyen, pas à maximal. Son frère GPT-5.6 Sol y figure à tous les niveaux d'effort ; un modèle appelé GPT-6 Luna y figure à 58,3 pour 0,11 $ la tâche ; GPT-5.6 Luna n'apparaît pas du tout. Et de l'autre côté, Artificial Analysis dispose d'une entrée pour GPT-5.6 Luna — Indice d'intelligence 37, 0,18 $ par tâche accomplie, 115,4 jetons de sortie par seconde — et aucune entrée pour Ultramarine 1 Flash, quelle qu'elle soit. Deux modèles publiés à trois mois d'intervalle, tous deux destinés au travail bon marché à gros volume, et aucun tiers n'a jamais mesuré l'un d'eux sur un benchmark contenant l'autre.

Cette absence est la comparaison. GPT-5.6 Luna est le niveau rapide et économique de la famille GPT-5.6 d’OpenAI, lancé le 9 juillet 2026, avec un score indépendant sur un composite de dix évaluations. Ultramarine 1 Flash est un post-entraînement par apprentissage par renforcement de GLM-5.3 Flash, au tarif de 0,15 $ en entrée / 0,50 $ en sortie par million de jetons, conçu pour produire des classeurs Excel, des présentations et des notes Word plutôt que des réponses, et ne s’appuyant que sur les chiffres de son créateur. Tout ce qui suit porte sur ce que l’on peut et ne peut pas conclure de cette configuration.

Où se trouvent réellement les deux enregistrements

Les chiffres de Luna sont des mesures d'Artificial Analysis sur l'API d'OpenAI. Ceux d'Ultramarine proviennent des tarifs publiés de Paper Instruments et de ses propres évaluations publiées, avec sa valeur de contexte tirée de la configuration d'entraînement dans son rapport technique.

• Score indépendant — Intelligence Index de 37 à effort maximal, quatrième sur 148 modèles de sa catégorie, pour GPT-5.6 Luna, contre aucune évaluation indépendante, quelle qu’elle soit, pour Ultramarine 1 Flash.

• Prix d'entrée, sur les grilles tarifaires — 0,20 $ par million de tokens contre 0,15 $. Le modèle Paper Instruments est 25 % moins cher en entrée.

• Prix de sortie — 1,20 $ contre 0,50 $ par million. 2,4×, l'écart le plus large de la comparaison.

• Entrée mise en cache — 0,02 $ par million (90 % de réduction) pour Luna contre 0,03 $ (80 % de réduction). Un centime d'écart, en faveur d'OpenAI.

• Contexte — 1 050 000 tokens sur la grille tarifaire de Luna contre 131 072 dans la configuration d’entraînement d’Ultramarine. Huit fois la fenêtre, et la seule ligne où l’écart n’est pas serré.

• Sortie maximale — 128 000 tokens contre non publié.

• Coût mesuré par tâche accomplie — 0,18 $ sur l'Intelligence Index pour Luna (effort maximal) contre 0,13 $ sur PI Knowledge Work pour Ultramarine 1 Flash. Deux suites différentes, deux types de tâches différents, deux chiffres qui semblent comparables et ne le sont pas.

• Premier token — 121,46 secondes pour Luna à effort maximal sur l’API d’OpenAI, contre une médiane de 1,85 seconde pour sa gamme de prix ; non publié pour Ultramarine 1 Flash sous quelque forme que ce soit.

Le premier token en deux minutes, et pourquoi il s'agit d'un réglage plutôt que d'un défaut

Ce chiffre de 121,46 secondes mérite sa propre section, car c’est le genre de nombre que l’on cite comme un défaut alors qu’il s’agit en réalité d’un paramètre.

GPT-5.6 Luna, à effort de raisonnement maximal, mène sa délibération avant d’émettre quoi que ce soit. Sur l’Intelligence Index, il produit 115,4 tokens de sortie par seconde une fois lancé et 150 millions de tokens de sortie au total pour terminer la suite — 41e sur 60 de sa catégorie en matière de verbosité, décrit par Artificial Analysis comme quelque peu verbeux par rapport à une médiane de 95 millions. Le score de 37 à l’Index est mesuré à ce réglage maximal.

Le modèle prend en charge un effort configurable, ce qui signifie que les mêmes poids qui mettent deux minutes à démarrer peuvent être réglés à un niveau qui répond immédiatement, au prix d’un score inférieur. OpenAI ne publie aucune ventilation par niveau d’effort dans la fiche d’Artificial Analysis, si bien que l’ampleur de cette baisse n’est pas divulguée — un appel par défaut se situe quelque part en dessous de 37, d’un écart que personne en dehors d’OpenAI n’a mesuré. Pour une étape de fan-out où cent appels peu coûteux rédigent chacun quelque chose de court, c’est la bonne configuration. Pour l’unique tâche difficile à la fin d’une chaîne, c’est l’effort maximal qui s’impose. Il s’agit du même modèle dans les deux cas, et ni l’une ni l’autre n’est mal configurée.

Ultramarine 1 Flash ne publie aucun chiffre de latence, aucun chiffre de débit et aucun temps jusqu'au premier token. Son rapport technique divulgue toutefois l'enveloppe de fonctionnement dans laquelle il a été entraîné et évalué — 131 072 tokens de contexte, une limite de 250 tours sur la boucle de l'agent, une compaction déclenchée à 85 % de la fenêtre ou lorsqu'il reste 30 000 tokens — et un harnais conçu pour compacter sa propre mémoire de travail est un harnais conçu pour les tâches longues. C'est là une inférence sur la forme de la tâche, et non une preuve concernant la vitesse, et la position honnête est que l'un des côtés de cette comparaison présente un problème de latence mesuré tandis que l'autre ne dispose d'aucune mesure.

Ce qu’un benchmark de livrables mesure et qu’un indice d’intelligence ne peut pas mesurer

La raison pour laquelle les deux modèles ne se rencontrent jamais n'est pas un accident de planification. Les benchmarks mesurent délibérément des choses différentes.

L'Intelligence Index qui donne à Luna son 37 est un composite de dix évaluations — AA-Briefcase, GDPval-AA, AutomationBench et d'autres — chacune avec des réponses qu'un correcteur peut vérifier. C'est ce qui le rend reproductible, et c'est pourquoi un évaluateur sans parti pris pour quelque modèle que ce soit peut l'exécuter et publier un nombre comparable pour tout le monde.

PI Knowledge Work a été conçu précisément parce que les parties reproductibles du travail professionnel ne sont pas celles qui comptent. Un mémo de diligence raisonnable ne se compile pas. Une présentation au conseil d’administration n’a pas de tests unitaires. Un modèle de tarification comportant une prévision en direct sera erroné d’une manière qu’un correcteur à choix multiples ne peut pas voir. C’est pourquoi Paper Instruments a rédigé des grilles d’évaluation à la place, une par tâche, chaque critère étant tracé comme une frontière sur les réponses acceptables plutôt que comme l’exigence d’une seule. Son rapport oppose un critère surajusté qui rejette deux des trois réponses correctes à un critère vague qui accepte trois réponses fausses, puis montre la version réécrite correspondant à la frontière — ce qui est une démonstration honnête de pourquoi c’est difficile et un avertissement légitime sur le poids qu’un seul score de grille d’évaluation devrait porter.

Ce que valent les chiffres obtenus, dit sans détour : Ultramarine 1 Flash obtient 59,3 sur cette suite à 0,13 $ par tâche. GPT-5.6 Sol, le grand frère de Luna, obtient 55,1 à 2,09 $, et apparaît dans les six tableaux des Paper Instruments — 45,4 sur JobBench contre 62,9 pour Ultramarine, 46,8 sur FrontierFinance contre 53,3, 51,5 sur APEX-Agents 1.1 contre 57,0. Le fournisseur indique que sa suite présente une corrélation avec l'Artificial Analysis Intelligence Index de r = 0,81, ce qui est un chiffre sérieux, et de seconde main. Aucun tiers n'a fait tourner Ultramarine 1 Flash sur quoi que ce soit.

La comparaison qui est mesurée de la même manière des deux côtés

Il existe exactement une classe de mesure dans ce couplage où le chiffre d'aucun des deux côtés ne dépend de la méthodologie de l'autre : l'efficacité en tokens, mesurée au sein d'une même suite par un même harnais.

Artificial Analysis enregistre GPT-5.6 Luna à 150 millions de tokens de sortie pour compléter l'Intelligence Index, soit 58 % au-dessus de la médiane de 95 millions pour sa catégorie. Ce chiffre explique le 0,18 $ par tâche — un modèle rapide qui écrit beaucoup n'est pas le moyen le moins cher d'obtenir une tâche terminée, et le classement de verbosité en rend la raison visible.

Paper Instruments avance la thèse inverse à propos de son propre modèle, et le fait d'une manière vérifiable plutôt que simplement affirmée. Sur l'ensemble de ses six benchmarks, Ultramarine 1 Flash a émis 6,5 % de tokens de sortie en moins que GLM-5.3 Flash, le modèle dont il a été post-entraîné — 30,5 millions contre 32,7 millions, raisonnement inclus — tout en obtenant un meilleur score sur chacun des six. Les deux côtés de cette comparaison reposent sur le même harnais et les mêmes tâches, ce qui la met à l'abri de la critique qui plane sur tout le reste ici. C'est aussi la direction qui ne va pas de soi : les exécutions de post-entraînement deviennent tout aussi souvent plus bavardes que plus silencieuses.

Pour quiconque voit sa facture dominée par les jetons de sortie, c'est le fait le plus transposable de cette publication. Elle ne dit pas qu'Ultramarine 1 Flash est plus économe que GPT-5.6 Luna. Elle dit que la relation « le plus court des deux selon le modèle de base » s'est vérifiée, sur une suite que personne en dehors de l'entreprise n'a reproduite.

Lancer le test vous-même

GPT-5.6 Luna est servi sur OrcaRouter à 0,20 $ en entrée et 1,20 $ en sortie par million de tokens, avec le niveau d'effort défini pour chaque requête. C'est le prix catalogue du fournisseur, répercuté tel quel sans aucun ajout par token, ce qui compte pour un modèle dont le prix a déjà bougé une fois — la baisse de 80 % appliquée par OpenAI plus tôt dans l'année est bien reflétée ici, sans que personne n'ait à renégocier un contrat. Le même point d'accès donne accès à GPT-5.6 Sol, Claude Fable 5, DeepSeek V4 Flash et GLM-5.3 Flash, ce dernier étant la base à partir de laquelle Ultramarine 1 Flash a été entraîné et étant servi à la grille tarifaire identique de 0,15 $ / 0,50 $.

Ultramarine 1 Flash n'est pas dans notre catalogue ; la voie pour y accéder passe par l'API propre du fournisseur et les plateformes tierces qui le revendent. Cette asymétrie est la forme pratique de cette comparaison. L'un de ces deux modèles, vous pouvez le mettre dès aujourd'hui dans un chemin de production avec un fallback routé derrière et un p50 mesuré devant vous. L'autre, vous le pilotez sur le point de terminaison du fournisseur et le jugez sur sa propre sortie.

Quel test vaut la peine d’être réalisé, et il est peu coûteux : envoyer le même lot de documents aux deux, avec l’effort par défaut de Luna et à son maximum, puis comparer les artefacts et les factures. Tout l’argument du spécialiste est que sa production nécessite moins de reprises. C’est mesurable en un après-midi et c’est la seule preuve qui permettrait de trancher un appariement où personne n’a publié de tableau de bord partagé.

La position, formulée en termes de ce qui est connu et de ce qui ne l'est pas

Connu, avec une source : GPT-5.6 Luna obtient 37 sur un indice construit à partir de dix évaluations vérifiables, à 0,18 $ par tâche accomplie, avec une fenêtre de 1 050 000 tokens et un premier token qui peut prendre un peu plus de deux minutes au niveau d’effort qui permet d’obtenir le 37. Il est peu coûteux par token, capable pour sa catégorie, et — selon la mesure même d’Artificial Analysis — enclin à écrire 58 % de plus que ses pairs.

Rapporté par son fabricant, non reproduit : Ultramarine 1 Flash obtient 59,3 sur une suite de livrables en finance, juridique, conseil et opérations, notée selon une grille, à 0,13 $ par tâche, contre 8,19 $ pour Claude Fable 5 à 57,8 et 2,09 $ pour GPT-5.6 Sol à 55,1, et il surpasse son propre modèle de base sur les six suites tout en générant 6,5 % de jetons en moins.

On ignore : si tout cela survit à un document que personne chez Paper Instruments n'a écrit, à quoi ressemble la latence du modèle sous charge, et si la mention « Model weights coming soon » sur la page du fournisseur débouche sur une véritable publication.

Tout article qui désigne un gagnant à partir de cela en a inventé un. Ce qu’on peut dire clairement, c’est que si vous avez besoin d’un score vérifié avant de vous engager, GPT-5.6 Luna est le seul modèle de ce duo à en avoir un, et si votre travail est un livrable plutôt qu’une réponse, l’affirmation intéressante se trouve entièrement de l’autre côté et n’a été testée que par des personnes payées pour le faire.

C'est aussi dans des comparaisons comme celle-ci que les modes de défaillance apparaissent : les incidents d'IA et les défaillances d'agents documentés derrière les modèles de cette classe sont recueillis dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son niveau de gravité, sa note de confiance et un indicateur de contestation.