GPT-6.1 Terra: Die wichtigste Zahl ist 38 % – eine Halluzinationsrate, kein IQ

Die Berichterstattung zum Start von GPT-6.1 Terra drehte sich um einen Intelligenzgewinn von sechs Punkten und eine Halbpreis-Karte. Die Zahl, die tatsächlich verändert, wie das Modell genutzt werden kann, ist 38 % – das Maß von Artificial Analysis dafür, wie oft Terra rät, wenn es etwas nicht weiß, gesunken von 88 % bei GPT-5.6 Terra. Ein Rückgang von fünfzig Punkten beim Raten ist größer als alle Qualitätsgewinne dieser Veröffentlichung zusammengenommen, und er verschiebt das Modell von „gehe davon aus, dass die Antwort erfunden ist“ zu „Stichproben nehmen und verifizieren“.

Dieser Beitrag trennt die zwei verschiedenen Dinge, die in dieser Version als Halluzination bezeichnet werden – das unabhängige Allwissenheitsmaß und OpenAIs internen Fehlertest – und beziffert, was eine Rate von 38 % an Vermutungen in einer echten Verifizierungspipeline kostet.

Was 38 % misst

Die AA-Omniscience-Evaluierung von Artificial Analysis stellt Modellen Fragen, deren Antwort sie möglicherweise nicht kennen, und zählt, wie oft sie trotzdem eine selbstsichere Antwort geben. GPT-5.6 Terra: 88 %. GPT-6.1 Terra: 38 %. Die Genauigkeit stieg im selben Zeitraum um zwei Punkte.

Zusammengenommen beschreiben diese beiden Fakten ein Modell, das eher bereit wurde, „Ich weiß es nicht“ zu sagen – nicht eines, das dramatisch wissensreicher geworden ist. Der Intelligenzindex bewegte sich um sechs Punkte, von 42 auf 48. Das Enthaltungsverhalten veränderte sich um fünfzig. Für alle, die das Modell nutzen, um Fakten zu extrahieren, ist das die wertvollere Veränderung.

Das ist immer noch nicht gut. Achtunddreißig Prozent bedeuten, dass in einem Satz von Fragen, die das Modell nicht beantworten kann, mehr als jede dritte noch eine selbstbewusste falsche Antwort bekommt. Ein Modell, das bei Unwissen in 62 % der Fälle eine Antwort verweigert, ist viel sicherer als eines, das nur in 12 % der Fälle eine Antwort verweigert – und dennoch nichts, was man einem Kunden ohne Prüfung vorsetzen sollte.

Die Nummer des Anbieters ist ein anderer Test.

OpenAIs Schlagzeile ist ein Rückgang um 37 Prozentpunkte bei Prompts, die darauf ausgelegt sind, Fehler hervorzurufen: von 53,6 % bei GPT-5.6 Terra mit geringem Aufwand auf 16,7 % bei Terra und 4,3 % bei maximalem Aufwand. Dieser Test ist intern, unveröffentlicht und adversarial konstruiert. Er misst, ob das Modell einem Prompt widerstehen kann, der darauf ausgelegt ist, es scheitern zu lassen – nicht, ob es Fakten erfindet, wenn es keine hat.

Beide Zahlen können zutreffen. Der Test des Anbieters misst die Robustheit gegenüber adversariellen Prompts; der unabhängige Test misst die Kalibrierung bei Unwissenheit. Sie sind korreliert, aber nicht austauschbar, und die Berichterstattung zum Launch hat den ersten weitgehend als Beleg für den zweiten behandelt. Das ist nicht der Fall.

Was eine Ratequote von 38 % kostet

Die Verifizierung ist die versteckte Kostenposition in jedem Deployment kostengünstiger Modelle, und sie skaliert mit der Vermutungsrate. Nehmen Sie eine Pipeline zur Dokumentenextraktion, die monatlich 100.000 Seiten verarbeitet, bei der eine manuelle Stichprobenprüfung $2 pro geprüfter Seite kostet.

• Bei einer Trefferquote von 88 % können Sie nicht stichprobenartig prüfen. Sie prüfen alles: 100.000 Seiten × 2 $ = 200.000 $ pro Monat. Die Token-Rechnung ist irrelevant.

• Bei 38 % wird ein Stichprobenverfahren tragfähig. Prüfen Sie 20 % der Seiten: 20.000 × 2 $ = 40.000 $ pro Monat, mit einer bekannten Nichterkennungsrate für den Rest.

• Bei hypothetischen 10 % würde eine Prüfung von 5 % $10,000 pro Monat kosten und die Fehlerrate dennoch begrenzen.

Die Token-Kosten der Pipeline selbst liegen bei Terra-Tarifen – sagen wir 20.000 Input- und 500 Output-Tokens pro Seite – bei 2.250 US-Dollar pro 100.000 Seiten. Die Verifizierungszeile ist zehn- bis neunzigmal größer als die Modellzeile. Das ist der richtige Rahmen für den Vergleich günstiger Modelle: Die Rechnung besteht aus dem Modell plus der Prüfung, und die Prüfung wird von der Vermutungsrate bestimmt.

Welche Aufgaben erlauben Raten?

Tolerant – Zusammenfassung eines Dokuments, das vollständig im Kontext vorliegt (die Antwort ist in der Eingabe verankert), Klassifikation mit einem festen Satz von Labels, Entwerfen, bei dem ein Mensch redigiert, Extraktion mit einem Schema, das fehlerhafte Ausgaben ablehnt.

• Intolerant — die Beantwortung von Faktenfragen ohne Retrieval, Finanzkennzahlen, juristische Zitate, medizinische Dosierungen, alles, wobei eine plausibel falsche Antwort schlimmer ist als gar keine Antwort.

Die Trennlinie ist nicht der Intelligenzwert des Modells; sie ist, ob die Antwort an einer Quelle überprüft werden kann. Eine Rate von 38 % geratener Antworten bei einer Aufgabe, bei der jede Ausgabe verifiziert wird, ist ein Effizienzproblem. Bei einer Aufgabe, bei der Ausgaben direkt an einen Kunden gehen, ist sie ein Haftungsrisiko.

Wie Sie es mit Ihren eigenen Daten messen

• Erstellen Sie einen Satz von Fragen, die das Modell nicht aus dem Kontext beantworten kann. Die Vermutungsrate wird an nicht beantwortbaren Items gemessen, nicht am gesamten Testsatz – ein Test, bei dem jede Frage eine Antwort hat, misst Genauigkeit, nicht Kalibrierung.

• Bewerten Sie drei Ausgänge statt zwei: richtig, falsch, Enthaltung. Ein Modell, das mit „unknown“ antwortet, verhält sich bei einer nicht beantwortbaren Aufgabe korrekt.

• Vergleichen Sie auf demselben Set mit GPT-5.6 Terra. Die Verbesserung um fünfzig Punkte ist eine anbieterunabhängige Behauptung, sie wird jedoch anhand der Fragen von Artificial Analysis gemessen; Ihre könnten abweichen.

• Achten Sie auf die Aufwandsstufe. Die Aussagen zur Fehlerquote gelten jeweils für eine bestimmte Aufwandsstufe, und auch die Häufigkeit von Nichtantworten dürfte mit dem Denkaufwand variieren – ein Lauf mit geringem Aufwand rät möglicherweise häufiger als einer mit maximalem Aufwand.

Aufforderung zur Enthaltung

Kalibrierung ist teilweise eine Eigenschaft des Prompts. Drei Muster, die selbstsicheres Raten zuverlässig reduzieren:

• Gib dem Modell eine ausdrückliche Ausstiegsmöglichkeit – „Wenn die Antwort im bereitgestellten Kontext nicht enthalten ist, antworte UNKNOWN“ – und bewerte diese Antwort bei unbeantwortbaren Fragen als korrekt.

• Fordern Sie für jede Tatsachenbehauptung eine Quellenangabe an und lehnen Sie Ausgaben ab, deren Quellenangaben nicht zum Kontext passen.

• Fordern Sie eine Konfidenzangabe an und leiten Sie Antworten mit geringer Konfidenz an ein zweites Modell oder einen Menschen weiter, statt vom günstigen Modell Sicherheit zu verlangen.

Jede davon kostet Token und fügt einen Schritt hinzu. Jede ist billiger, als wenn eine falsche Antwort einen Kunden erreicht, und die 38-%-Zahl ist der Grund, warum es sich lohnt, diese Abwägung zu beziffern, statt sie zu ignorieren.

Warum das wichtiger ist als der Index

Ein Intelligenzgewinn von sechs Punkten verändert, welche Aufgaben ein Modell überhaupt erledigen kann. Eine Fünfzig-Punkte-Änderung beim Raten verändert, welche Aufgaben es ohne einen Menschen im Regelkreis erledigen kann. Für eine Routing-Entscheidung ist die zweite die nützlichere Achse: Sie entscheidet, ob das günstige Modell bei einer Aufgabe unbeaufsichtigt eingesetzt werden kann, und Aufsicht ist der Kostenfaktor, der die Abrechnung im Produktivbetrieb dominiert.

GPT-6.1 Terra ist kein Modell, das aufgehört hat zu halluzinieren. Es ist ein Modell, das weniger als halb so oft halluziniert wie sein Vorgänger, bei halbem Preis und mit einem neueren Wissensstichtag. Diese Kombination ist wirklich nützlich – und sie ist eine Verifikationsgeschichte, keine Fähigkeitsgeschichte.

Was Sie heute ausführen können

GPT-6.1 Terra ist zum Zeitpunkt des Verfassens nicht im OrcaRouter-Katalog vertreten, daher muss sein Enthaltungsverhalten direkt gegen OpenAI gemessen werden. Alles, womit es verglichen wird, ist auf unserer Seite live zu 0 % Aufschlag auf den Listenpreis des Anbieters – GPT-5.6 Terra zu $2/$12, GPT-6.1 Sol zu $2/$10, GPT-6 Astra zu $10/$50, GPT-6 Luna zu $0.10/$0.50, Claude Sonnet 5.5 zu $2/$10 – was ausreicht, um das Kalibrierungsset und das Verifikationskostenmodell aufzubauen, bevor Terra verfügbar ist.

Die Zahl, die Sie für dieses Experiment ansetzen sollten, ist nicht 48. Sie lautet 38, und die Frage, die Sie sich stellen sollten, lautet: Wie sieht Ihr Review-Budget bei dieser Ratequote aus?