GPT-6.1 Terras största siffra är 38 %: en hallucinationsfrekvens, inte ett IQ

Lanseringsbevakningen av GPT-6.1 Terra har kretsat kring en intelligensökning på sex punkter och ett kort till halva priset. Siffran som faktiskt förändrar hur modellen kan användas är 38 % – Artificial Analysiss mått på hur ofta Terra gissar när den inte vet, ned från 88 % på GPT-5.6 Terra. En minskning av gissningarna med femtio punkter är större än alla kvalitetsvinster i utgåvan tillsammans, och den flyttar modellen från ”anta att svaret är påhittat” till ”sampla och verifiera”.

Den här artikeln skiljer på de två olika saker som folk kallar hallucination i den här versionen – det oberoende allvetenhetsmåttet och OpenAI:s interna feltest – och räknar ut vad en gissningsfrekvens på 38 % kostar i en verklig verifieringspipeline.

Vad 38 % mäter

Artificial Analysis AA-Omniscience-utvärdering ställer frågor till modeller som de kanske inte vet svaret på, och räknar hur ofta de ändå ger ett självsäkert svar. GPT-5.6 Terra: 88 %. GPT-6.1 Terra: 38 %. Noggrannheten steg med två punkter under samma period.

Lästa tillsammans beskriver dessa två fakta en modell som blev mer villig att säga ”jag vet inte” – inte en som blev dramatiskt mer kunnig. Intelligensindexet förändrades med sex punkter, från 42 till 48. Beteendet att avstå förändrades med femtio. För den som använder modellen för att extrahera fakta är det den mer värdefulla förändringen.

Det är fortfarande inte bra. Trettioåtta procent betyder att bland en uppsättning frågor som modellen inte kan besvara, får fortfarande fler än var tredje ett självsäkert felaktigt svar. En modell som avstår från att svara 62 % av gångerna när den är okunnig är mycket säkrare än en som avstår 12 % av gångerna — och fortfarande inte något att lägga fram för en kund utan en kontroll.

Leverantörens nummer är ett annat test

OpenAI:s huvudresultat är en nedgång på 37 punkter på prompter utformade för att framkalla fel: från 53,6 % på GPT-5.6 Terra vid låg ansträngning till 16,7 % på Terra, och 4,3 % vid maximal ansträngning. Det testet är internt, opublicerat och adversariellt konstruerat. Det mäter huruvida modellen kan motstå en prompt som är konstruerad för att få den att misslyckas – inte huruvida den hittar på fakta när den saknar dem.

Båda siffrorna kan vara sanna. Leverantörens test mäter robusthet mot adversariella promptar; det oberoende testet mäter kalibrering under okunskap. De är korrelerade men inte utbytbara, och rapporteringen om lanseringen har i stor utsträckning behandlat det första som bevis för det andra. Det är det inte.

Vad en gissningsfrekvens på 38 % kostar

Verifiering är den dolda kostnadsposten i varje driftsättning av billiga modeller, och den skalar med gissningsfrekvensen. Ta ett dokumentextraktionsflöde som kör 100 000 sidor i månaden, med en manuell stickprovskontroll som kostar 2 dollar per kontrollerad sida.

• Vid en gissningsfrekvens på 88 % kan du inte stickprovskontrollera. Du kontrollerar allt: 100 000 sidor × 2 $ = 200 000 $ i månaden. Tokenräkningen är irrelevant.

• Vid 38 % blir ett urvalsupplägg genomförbart. Kontrollera 20 % av sidorna: 20 000 × 2 $ = 40 000 $ i månaden, med en känd missfrekvens för resten.

• Vid ett hypotetiskt 10 % skulle en kontroll på 5 % kosta 10 000 dollar i månaden och ändå begränsa felkvoten.

Tokenkostnaden för själva pipelinen enligt Terras priser – säg 20 000 indata- och 500 utdatatokens per sida – är 2 250 dollar per 100 000 sidor. Verifieringsraden är tio till nittio gånger större än modellraden. Det är rätt ram för att jämföra billiga modeller: räkningen är modellen plus granskningen, och granskningen drivs av gissningsfrekvensen.

Vilka uppgifter tolererar gissningar?

• Tolerant — sammanfattning av ett dokument som helt finns i kontexten (svaret grundar sig i indata), klassificering med en fast etikettuppsättning, utkastskrivning där en människa redigerar, extrahering med ett schema som avvisar felaktig utdata.

• Intolerant — faktabaserat frågebesvarande utan hämtning, finansiella siffror, juridiska citeringar, medicinsk dosering, allt där ett rimligt men felaktigt svar är sämre än inget svar.

Skiljelinjen är inte modellens intelligenspoäng; det är huruvida svaret kan kontrolleras mot en källa. En gissningsfrekvens på 38 % i en uppgift där varje resultat verifieras är ett effektivitetsproblem. I en uppgift där resultaten går direkt till en kund är det en ansvarsexponering.

Hur du mäter det med dina egna data

• Bygg en uppsättning frågor som modellen inte kan besvara utifrån kontexten. Gissningsgraden mäts på obesvarbara poster, inte på hela testuppsättningen – ett test där varje fråga har ett svar mäter noggrannhet, inte kalibrering.

• Bedöm tre utfall, inte två: korrekt, fel, avstod. En modell som svarar ”okänt” beter sig korrekt på en uppgift som inte kan besvaras.

• Jämför med GPT-5.6 Terra på samma uppsättning. Förbättringen på femtio punkter är ett leverantörsoberoende påstående, men den mäts på frågorna från Artificial Analysis; dina kan skilja sig.

• Var uppmärksam på ansträngningsinställningen. Påståendena om felkvot är ansträngningsspecifika, och avståendebeteende förändras sannolikt också med resonemangsansträngningen – en körning med låg ansträngning kan gissa mer än en med maximal ansträngning.

Promptning för att avstå från att svara

Kalibrering är delvis en egenskap hos prompten. Tre mönster som på ett tillförlitligt sätt minskar självsäkra gissningar:

• Ge modellen en explicit utväg – ”om svaret inte finns i den angivna kontexten, svara UNKNOWN” – och poängsätt det svaret som korrekt för obesvarbara uppgifter.

• Kräv en källhänvisning för varje faktapåstående och avvisa utdata vars källhänvisningar inte matchar kontexten.

• Begär en konfidensetikett och dirigera svar med låg konfidens till en andra modell eller en människa, i stället för att begära att den billiga modellen ska vara säker.

Var och en av dessa kostar tokens och lägger till ett steg. Var och en är billigare än ett felaktigt svar som når en kund, och siffran 38 % är det som gör att det är värt att prissätta avvägningen i stället för att ignorera den.

Varför detta är viktigare än indexet

En sexpunktsökning i intelligens förändrar vilka uppgifter en modell överhuvudtaget kan utföra. En förändring på femtio punkter i gissning förändrar vilka uppgifter den kan utföra utan en människa i loopen. För ett routningsbeslut är den andra den mer användbara axeln: den avgör om den billiga modellen kan vara oövervakad på en uppgift, och övervakning är den kostnad som dominerar produktionsnotan.

GPT-6.1 Terra är inte en modell som har upphört att hallucinera. Det är en modell som hallucinerar mindre än hälften så ofta som sin föregångare, till halva priset, med ett nyare kunskapsdatum. Den kombinationen är genuint användbar — och det är en historia om verifiering, inte en historia om förmåga.

Vad du kan köra idag

GPT-6.1 Terra finns inte i OrcaRouters katalog när detta skrivs, så dess avståendebeteende måste mätas direkt mot OpenAI. Allt som den jämförs mot är live hos oss med 0% påslag på leverantörens listpris – GPT-5.6 Terra till $2/$12, GPT-6.1 Sol till $2/$10, GPT-6 Astra till $10/$50, GPT-6 Luna till $0.10/$0.50, Claude Sonnet 5.5 till $2/$10 – vilket räcker för att bygga kalibreringssetet och verifieringskostnadsmodellen innan Terra lanseras.

Det tal som ska tas med in i det experimentet är inte 48. Det är 38, och frågan att ställa är hur din granskningsbudget ser ut vid den gissningsfrekvensen.