Het grootste getal van GPT-6.1 Terra is 38%: een hallucinatiepercentage, geen IQ

De berichtgeving over de lancering van GPT-6.1 Terra draaide om een zespuntenwinst in intelligentie en een kaart voor de halve prijs. Het getal dat daadwerkelijk verandert hoe het model kan worden gebruikt, is 38% — de maatstaf van Artificial Analysis voor hoe vaak Terra gokt wanneer het iets niet weet, gedaald van 88% bij GPT-5.6 Terra. Een daling van vijftig punten in gokken is groter dan alle kwaliteitswinsten in de release bij elkaar, en het verschuift het model van ‘ervan uitgaan dat het antwoord verzonnen is’ naar ‘bemonsteren en verifiëren’.

Dit stuk onderscheidt de twee verschillende dingen die mensen in deze release hallucinatie noemen — de onafhankelijke alwetendheidsmaatstaf en OpenAI's interne fouttest — en rekent uit wat een gokpercentage van 38% kost in een echte verificatiepijplijn.

Wat 38% meet

De AA-Omniscience-evaluatie van Artificial Analysis stelt modellen vragen waarop ze het antwoord misschien niet weten, en telt hoe vaak ze toch een zelfverzekerd antwoord geven. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. De nauwkeurigheid steeg in dezelfde periode met twee punten.

Samen gelezen beschrijven die twee feiten een model dat bereidwilliger werd om “Ik weet het niet” te zeggen — niet een model dat dramatisch veel kennisrijker werd. De intelligentie-index verschoof zes punten, van 42 naar 48. Het onthoudingsgedrag veranderde met vijftig. Voor iedereen die het model gebruikt om feiten te extraheren, is dat de waardevollere verandering.

Het is nog steeds niet goed. Achtendertig procent betekent dat van een reeks vragen die het model niet kan beantwoorden, meer dan één op de drie nog steeds een zelfverzekerd fout antwoord krijgt. Een model dat zich 62% van de tijd onthoudt wanneer het onwetend is, is veel veiliger dan een dat zich 12% van de tijd onthoudt — en nog steeds niet iets om zonder controle aan een klant voor te leggen.

Het nummer van de leverancier is een andere test.

De hoofduitkomst van OpenAI is een daling van 37 punten op prompts die zijn ontworpen om fouten te induceren: van 53,6% op GPT-5.6 Terra bij lage inspanning naar 16,7% op Terra, en 4,3% bij maximale inspanning. Die test is intern, ongepubliceerd en adversarieel opgezet. Hij meet of het model weerstand kan bieden aan een prompt die is ontworpen om het te laten falen — niet of het feiten verzint wanneer het die niet heeft.

Beide cijfers kunnen waar zijn. De test van de leverancier meet de robuustheid tegen adversariële prompts; de onafhankelijke test meet kalibratie onder onwetendheid. Ze zijn gecorreleerd maar niet uitwisselbaar, en de berichtgeving rond de lancering heeft de eerste grotendeels behandeld als bewijs voor de tweede. Dat is het niet.

Wat een raadpercentage van 38% kost

Verificatie is de verborgen kostenpost in elke implementatie met goedkope modellen, en die schaalt mee met het gokpercentage. Neem een documentextractiepijplijn die maandelijks 100.000 pagina's verwerkt, met een menselijke steekproefcontrole die $2 per gecontroleerde pagina kost.

• Bij een raadpercentage van 88% kunt u niet steekproefsgewijs controleren. U controleert alles: 100.000 pagina's × $2 = $200.000 per maand. De tokenrekening is irrelevant.

• Bij 38% wordt een steekproefregime haalbaar. Controleer 20% van de pagina's: 20.000 × $2 = $40.000 per maand, met een bekend misserspercentage voor de rest.

• Bij een hypothetische 10% zou het controleren van 5% $10.000 per maand kosten en de foutmarge nog steeds begrenzen.

De tokenkosten van de pipeline zelf tegen Terra’s tarieven — zeg 20.000 input- en 500 outputtokens per pagina — bedragen $2.250 per 100.000 pagina’s. De verificatielijn is tien tot negentig keer groter dan de modellijn. Dat is het juiste kader om goedkope modellen te vergelijken: de rekening is het model plus de controle, en de controle wordt bepaald door de gokratio.

Bij welke taken is gokken acceptabel?

• Tolerant — samenvatten van een document dat volledig in context staat (het antwoord is gegrond in de invoer), classificatie met een vaste set labels, een eerste versie schrijven waarbij een mens redigeert, extractie met een schema dat misvormde output afwijst.

• Intolerant — het beantwoorden van feitelijke vragen zonder retrieval, financiële cijfers, juridische citaties, medische doseringen, alles waarbij een plausibel maar fout antwoord erger is dan geen antwoord.

De scheidslijn is niet de intelligentiescore van het model; die is of het antwoord tegen een bron kan worden gecontroleerd. Een gispercentage van 38% bij een taak waar elke output wordt geverifieerd, is een efficiëntieprobleem. Bij een taak waar outputs direct naar een klant gaan, is het een risico.

Hoe je het op je eigen gegevens meet

• Stel een reeks vragen samen die het model niet op basis van de context kan beantwoorden. De gisratio wordt gemeten op onbeantwoordbare items, niet op de volledige testset — een test waarin elke vraag een antwoord heeft, meet nauwkeurigheid, niet kalibratie.

• Scoor drie uitkomsten, niet twee: juist, fout, onthouden. Een model dat met “onbekend” antwoordt, gedraagt zich correct bij een onbeantwoordbaar item.

• Vergelijk met GPT-5.6 Terra op dezelfde set. De verbetering van vijftig punten is een claim die onafhankelijk is van de leverancier, maar ze wordt gemeten op de vragen van Artificial Analysis; die van u kunnen verschillen.

• Let op de inzetinstelling. De beweringen over foutpercentages gelden specifiek voor een bepaalde inzet, en het onthoudingsgedrag zal waarschijnlijk ook meebewegen met de redeneerinzet — een run met lage inzet kan vaker gokken dan een met maximale inzet.

Prompten voor onthouding

Kalibratie is deels een eigenschap van de prompt. Drie patronen die zelfverzekerd gokken betrouwbaar terugdringen:

• Geef het model een expliciete uitweg — "als het antwoord niet in de verstrekte context staat, antwoord UNKNOWN" — en scoor dat antwoord als correct bij onbeantwoordbare items.

• Verlang voor elke feitelijke bewering een bronvermelding, en verwerp uitvoer waarvan de bronvermeldingen niet met de context overeenkomen.

• Vraag een betrouwbaarheidslabel en leid antwoorden met lage betrouwbaarheid door naar een tweede model of een mens, in plaats van van het goedkope model te vragen zeker te zijn.

Elk van deze kost tokens en voegt een fase toe. Elk ervan is goedkoper dan een verkeerd antwoord dat een klant bereikt, en het cijfer van 38% is wat de afweging het waard maakt om te beprijzen in plaats van te negeren.

Waarom dit belangrijker is dan de index

Een winst van zes punten in intelligentie verandert welke taken een model überhaupt kan uitvoeren. Een verandering van vijftig punten in gokken verandert welke taken het zonder een mens in de loop kan uitvoeren. Voor een routeringsbeslissing is de tweede de nuttigere as: die bepaalt of het goedkope model ongesuperviseerd op een taak kan werken, en supervisie is de kostenpost die een productierekening domineert.

GPT-6.1 Terra is geen model dat opgehoord is met hallucineren. Het is een model dat minder dan half zo vaak hallucineert als zijn voorganger, tegen de helft van de prijs, met een recentere kennisafsluitdatum. Die combinatie is echt nuttig — en het is een verhaal over verificatie, niet een verhaal over capaciteiten.

Wat je vandaag kunt uitvoeren

GPT-6.1 Terra staat op het moment van schrijven niet in de OrcaRouter-catalogus, dus het abstententiegedrag ervan moet rechtstreeks tegen OpenAI worden gemeten. Alles waarmee het wordt vergelijken, is bij ons live tegen 0% opslag op de lijstprijs van de provider — GPT-5.6 Terra voor $2/$12, GPT-6.1 Sol voor $2/$10, GPT-6 Astra voor $10/$50, GPT-6 Luna voor $0,10/$0,50, Claude Sonnet 5.5 voor $2/$10 — wat genoeg is om de kalibratieset en het verificatiekostenmodel op te bouwen voordat Terra beschikbaar komt.

Het getal dat je meeneemt naar dat experiment is niet 48. Het is 38, en de vraag die je moet stellen is hoe je reviewbudget eruitziet bij dat gokpercentage.