Le chiffre le plus marquant de GPT-6.1 Terra est 38 % : un taux d’hallucination, pas un QI

La couverture du lancement de GPT-6.1 Terra s’est concentrée sur un gain d’intelligence de six points et une carte à moitié prix. Le chiffre qui change réellement la façon dont le modèle peut être utilisé est 38 % — la mesure d’Artificial Analysis de la fréquence à laquelle Terra devine lorsqu’elle ne sait pas, en baisse par rapport à 88 % sur GPT-5.6 Terra. Une baisse de cinquante points du taux de supposition est plus importante que tous les gains de qualité de la version combinés, et elle fait passer le modèle de « supposez que la réponse est inventée » à « échantillonnez et vérifiez ».

Cet article distingue les deux choses différentes que l’on appelle hallucination dans cette version — la mesure indépendante d’omniscience et le test d’erreur interne d’OpenAI — et chiffre ce que coûte un taux de devinette de 38 % dans un véritable pipeline de vérification.

Ce que mesure 38 %

L’évaluation AA-Omniscience d’Artificial Analysis pose aux modèles des questions dont ils pourraient ignorer la réponse et compte la fréquence à laquelle ils produisent malgré tout une réponse assurée. GPT-5.6 Terra : 88 %. GPT-6.1 Terra : 38 %. La précision a gagné deux points sur la même période.

Lus ensemble, ces deux faits décrivent un modèle devenu plus enclin à dire « Je ne sais pas » — et non un modèle devenu radicalement plus savant. L’indice d’intelligence a gagné six points, passant de 42 à 48. Le comportement d’abstention a évolué de cinquante points. Pour quiconque utilise le modèle pour en extraire des faits, c’est le changement le plus précieux.

Ce n'est toujours pas bon. Trente-huit pour cent signifie que, dans un ensemble de questions auxquelles le modèle ne peut pas répondre, plus d'une sur trois obtient encore une réponse fausse donnée avec assurance. Un modèle qui s'abstient 62 % du temps lorsqu'il ne sait pas est bien plus sûr qu'un modèle qui s'abstient 12 % du temps — et ce n'est toujours pas quelque chose à présenter à un client sans vérification.

Le numéro du fournisseur est un test différent.

Le chiffre phare d’OpenAI est une baisse de 37 points sur des prompts conçus pour induire des erreurs : de 53,6 % sur GPT-5.6 Terra à faible effort à 16,7 % sur Terra, et 4,3 % à effort maximal. Ce test est interne, non publié et construit de manière adversariale. Il mesure si le modèle peut résister à un prompt conçu pour le faire échouer — et non s’il invente des faits lorsqu’il ne les possède pas.

Les deux chiffres peuvent être vrais. Le test du fournisseur mesure la robustesse aux invites adversariales ; le test indépendant mesure la calibration en situation d’ignorance. Ils sont corrélés mais non interchangeables, et la couverture du lancement a largement traité le premier comme une preuve du second. Ce n’est pas le cas.

Ce que coûte un taux de devinettes de 38 %

La vérification est le poste budgétaire caché de tout déploiement de modèle bon marché, et elle augmente avec le taux de supposition. Prenons un pipeline d’extraction de documents traitant 100 000 pages par mois, avec un contrôle ponctuel humain coûtant 2 $ par page contrôlée.

• Avec un taux de devinette de 88 %, vous ne pouvez pas faire de vérification par échantillonnage. Vous vérifiez tout : 100 000 pages × 2 $ = 200 000 $ par mois. La facture de tokens n’a aucune importance.

À 38 %, un régime d’échantillonnage devient viable. Contrôlez 20 % des pages : 20 000 × 2 $ = 40 000 $ par mois, avec un taux d’omission connu sur le reste.

• À un taux hypothétique de 10 %, contrôler 5 % coûterait 10 000 $ par mois tout en bornant encore le taux d’erreur.

Le coût en tokens du pipeline lui-même, aux tarifs de Terra — disons 20 000 tokens en entrée et 500 tokens en sortie par page — est de 2 250 $ pour 100 000 pages. La ligne de vérification est dix à quatre-vingt-dix fois plus élevée que celle du modèle. C’est le bon cadre pour comparer les modèles bon marché : la facture correspond au modèle plus la révision, et la révision dépend du taux de supposition.

Quelles tâches tolèrent les suppositions ?

• Tolérant — résumé d’un document entièrement en contexte (la réponse est fondée sur l’entrée), classification avec un ensemble d’étiquettes fixe, rédaction avec relecture humaine, extraction avec un schéma qui rejette les sorties mal formées.

• Intolérant — répondre à des questions factuelles sans récupération d’informations, chiffres financiers, citations juridiques, posologie médicale, tout cas où une réponse erronée plausible est pire qu’aucune réponse.

La ligne de démarcation n’est pas le score d’intelligence du modèle ; c’est de savoir si la réponse peut être vérifiée par rapport à une source. Un taux de supposition de 38 % sur une tâche où chaque sortie est vérifiée est un problème d’efficacité. Sur une tâche où les sorties vont directement à un client, c’est un risque.

Comment le mesurer sur vos propres données

• Construire un ensemble de questions auxquelles le modèle ne peut pas répondre à partir du contexte. Le taux de devinettes se mesure sur des items non répondables, et non sur l'ensemble du jeu de test — un test où chaque question a une réponse mesure la précision, pas la calibration.

• Évaluez trois résultats, pas deux : correct, faux, abstention. Un modèle qui répond « inconnu » se comporte correctement sur une question sans réponse.

• Comparez avec GPT-5.6 Terra sur le même ensemble. L'amélioration de cinquante points est une affirmation indépendante du fournisseur, mais elle est mesurée sur les questions d'Artificial Analysis ; les vôtres peuvent différer.

• Faites attention au réglage de l’effort. Les affirmations concernant le taux d’erreur sont propres au niveau d’effort, et le comportement d’abstention évolue probablement aussi avec l’effort de raisonnement — une exécution à faible effort risque de deviner davantage qu’une exécution à effort maximal.

Inciter à l’abstention

La calibration est en partie une propriété du prompt. Trois schémas qui réduisent de manière fiable les suppositions trop confiantes :

• Donnez au modèle une échappatoire explicite — « si la réponse n'est pas présente dans le contexte fourni, répondez UNKNOWN » — et comptez cette réponse comme correcte pour les éléments sans réponse.

• Exiger une citation pour chaque affirmation factuelle et rejeter les sorties dont les citations ne correspondent pas au contexte.

• Demandez une étiquette de confiance et orientez les réponses à faible confiance vers un second modèle ou vers un humain, plutôt que de demander au modèle bon marché d’être certain.

Chacun de ces éléments consomme des tokens et ajoute une étape. Chacun coûte moins cher qu'une réponse erronée qui parvient à un client, et c'est le chiffre de 38 % qui fait qu'il vaut la peine de chiffrer cet arbitrage plutôt que de l'ignorer.

Pourquoi cela compte plus que l’indice

Un gain d’intelligence de six points modifie les tâches qu’un modèle peut accomplir tout court. Un écart de cinquante points dans la capacité à deviner modifie les tâches qu’il peut accomplir sans humain dans la boucle. Pour une décision de routage, le second est l’axe le plus utile : il détermine si le modèle bon marché peut être utilisé sans supervision sur une tâche, et la supervision est le coût qui domine une facture de production.

GPT-6.1 Terra n’est pas un modèle qui a cessé d’halluciner. C’est un modèle qui hallucine plus de deux fois moins souvent que son prédécesseur, à moitié prix, avec une date de fin de connaissances plus récente. Cette combinaison est vraiment utile — et c’est une histoire de vérification, pas une histoire de capacités.

Ce que vous pouvez exécuter aujourd'hui

GPT-6.1 Terra ne figure pas au catalogue d’OrcaRouter au moment de la rédaction, son comportement d’abstention doit donc être mesuré directement auprès d’OpenAI. Tous les modèles auxquels il est comparé sont disponibles de notre côté à 0 % de marge au-dessus du prix catalogue du fournisseur — GPT-5.6 Terra à 2 $/12 $, GPT-6.1 Sol à 2 $/10 $, GPT-6 Astra à 10 $/50 $, GPT-6 Luna à 0,10 $/0,50 $, Claude Sonnet 5.5 à 2 $/10 $ — ce qui suffit à construire le jeu de calibration et le modèle de coût de vérification avant l’arrivée de Terra.

Le nombre à retenir pour cette expérience n’est pas 48. C’est 38, et la question à se poser est : à quoi ressemble votre budget de révision à ce taux de devinettes ?