Die Benchmarks von GPT-6.1 Terra, sortiert: Wo 48 mit 52 gleichzieht und wo nicht

Die zusammengesetzte Kennzahl für GPT-6.1 Terra beträgt 48. GPT-6.1 Sol liegt bei 52, GPT-6 Astra bei 53, GPT-5.6 Terra bei 42 und GPT-6 Luna bei 38. Das ist die ganze Geschichte, wenn man nur die oberste Zeile des Artificial Analysis Intelligence Index liest – ein Modell der Mittelklasse, das sechs Punkte über seinem Vorgänger und vier Punkte unter seinem teureren Schwestermodell landet. Es ist zugleich die am wenigsten nützliche Art, die Veröffentlichung zu interpretieren, denn derselbe Index verbirgt eine 29-Punkte-Lücke beim Programmieren zu Astra, eine 7,6-Punkte-Lücke bei der Computernutzung zu Claude Opus 5.5 und eine Verbesserung bei Halluzinationen, die größer ist als alle Intelligenzgewinne des Launches zusammen.

Im Folgenden werden drei Arten von Zahlen unterschieden: unabhängige Messungen von Artificial Analysis, vom Anbieter gemeldete Ergebnisse von OpenAI, die niemand außerhalb des Unternehmens reproduziert hat, und abgeleitete Zahlen – die Arithmetik, die aus einer der ersten beiden einen Kostenwert oder ein Verhältnis macht. Die Unterscheidungen sind wichtig, denn die Berichterstattung zum Launch hat bereits begonnen, sie zu vermischen.

Die drei Ergebnisse, die alle zitieren werden

Artificial Analysis führt GPT-6.1 Terra mit 48 im Intelligence Index, auf Rang 25 von 221 Modellen, bei 0,40 $ pro Index-Aufgabe. GPT-6.1 Sol liegt bei 52 und Rang 13, bei 0,72 $ pro Aufgabe. GPT-6 Astra, das aktuelle Flaggschiff, liegt bei 53. GPT-5.6 Terra liegt bei 42 und Rang 53, bei 1,40 $ pro Aufgabe. GPT-6 Luna liegt bei 38.

Als Stufenleiter gelesen ist Terra ein echtes Upgrade: sechs Punkte für weniger als ein Drittel der Kosten pro erledigter Aufgabe und zehn Punkte über der Budget-Stufe. Als Vergleich mit Sol gelesen ist es genau das, was die Preiskarte impliziert – vier Punkte schwächer bei etwa halbem Tokenpreis. Nichts an der Gesamtbewertung widerspricht OpenAIs Positionierung.

Der Gesamtwert ebnet auch Dinge ein, die er nicht einebnen sollte. Vier Indexpunkte zwischen Terra und Sol entsprechen 8 % der Skala; 29 Punkte zwischen Terra und Astra im Coding Agent Index entsprechen 60 % dieser Skala. Eine einzelne Zahl kann beides nicht abbilden, und die Berichterstattung zum Launch, die nur die erste nennt, hat die zweite stillschweigend unter den Tisch fallen lassen.

Wo die Kluft größer wird: Programmieren

Im Coding Agent Index v2.0 von Artificial Analysis erreicht GPT-6.1 Terra 48 Punkte, GPT-6.1 Sol 54 Punkte und GPT-6 Luna 31 Punkte. Das ist ein Rückstand von sechs Punkten auf Sol und ein Vorsprung von 17 Punkten vor Luna – dieselbe Form wie beim Intelligenzindex, allerdings ist die Lücke zur Spitze der Familie relativ betrachtet größer.

Die Anbieterzahlen erzählen eine schmeichelhaftere Geschichte, und es sind Anbieterzahlen. OpenAI meldet bei maximalem Aufwand 50,3 % gelöste Aufgaben auf Terminal-Bench 4.0, gegenüber 21,5 % für GPT-5.6 Terra. Das ist mehr als das Doppelte und der größte Sprung von einer Generation zur nächsten in dieser Veröffentlichung. Es ist außerdem ein Benchmark für Terminal-Aufgaben, kein breites Maß für Coding-Agenten: Terra kann bei kurzen, klar abgegrenzten Shell-Arbeiten nahe an Sol herankommen und im breiteren Index dennoch sechs Punkte zurückliegen, und beides trifft gleichzeitig zu.

Die praktische Lesart ist, dass Terras Coding-Zugewinne dort konzentriert sind, wo die Aufgabe klar umgrenzt ist. „Diese Testsuite ausführen, den Fehler lesen, die Datei patchen“ entspricht Terras Profil. „Ein Refactoring über fünfzehn Dateien über vierzig Schritte hinweg im Kopf behalten“ nicht, und OpenAIs eigene Empfehlung verweist bei komplexer Programmierarbeit weiterhin auf Sol oder Astra.

Wo die Lücke kleiner ist, als der Index vermuten lässt: Computernutzung

Auf OSWorld 2.1, dem Standard-Benchmark für Desktop-Automatisierung, erreicht GPT-6.1 Terra 74,2 % bei maximalem Reasoning. GPT-6.1 Sol erreicht 75,9 % bei xhigh. GPT-6 Astra erreicht 75,8 %. Claude Opus 5.5 führt die Modelle, die wir vergleichen können, mit 81,8 % an, gefolgt von Claude Fable 5.1 mit 80,7 %, Claude Sonnet 5.5 mit 80,1 % und Kimi K3.1 Pro mit 79,6 %.

Daraus folgen zwei Dinge. Erstens liegt Terra bei der Aufgabe, für die es entwickelt wurde, nur 1,7 Punkte von Sol entfernt – bei halbem Tokenpreis. Das ist ein deutlich besserer Deal, als die Vier-Punkte-Lücke bei der Intelligenz vermuten lässt. Zweitens liegt die gesamte GPT-6-Familie bei der Desktop-Automatisierung sechs bis sieben Punkte hinter Anthropic, und Terra schließt diese Lücke nicht. Wenn Ihr Produkt ein Browser-Agent ist, ist der interessante Vergleich nicht Terra gegen Sol, sondern Terra gegen Claude Sonnet 5.5, das pro Token günstiger als Sol ist und auf OSWorld 5,9 Punkte mehr erzielt.

Die agentischen Kennzahlen des Anbieters selbst weisen in dieselbe Richtung. Auf Agents' Last Exam v1 meldet OpenAI 57,6 % für Terra bei mittlerem Aufwand, gegenüber 50,7 % für GPT-5.6 Terra bei maximalem Aufwand. Die damit verbundene Behauptung – vergleichbar mit GPT-6 Astra bei mittlerem Aufwand, zu etwa einem Zehntel des Preises pro Token – ist eine auf einzelne Aufgaben bezogene Aussage, und sie ist der wirtschaftlich bedeutsamste Satz des Launches.

Die Zahl, die sich tatsächlich verändert hat: Halluzination

Artificial Analysis misst eine Omniscience-Halluzinationsrate: wie oft ein Modell rät, wenn es etwas nicht weiß. {{1}}GPT-5.6 Terra{{/1}} erzielte 88 %. {{2}}GPT-6.1 Terra{{/2}} erzielt 38 %. Die Genauigkeit stieg im selben Zeitraum um zwei Punkte.

Ein Rückgang um 50 Punkte beim Raten ist größer als jeder Zugewinn an Intelligenz in diesem Release, und es ist die eine Zahl, die verändert, wofür ein Modell sicher verwendet werden kann. Ein Modell, das bei Unsicherheit in 88 % der Fälle eine Antwort erfindet, kann ohne menschliche Prüfung jeder Ausgabe nicht für die Rechnungsextraktion oder das Ausfüllen von Formularen verwendet werden. Bei 38 % rät es immer noch in mehr als einem Drittel der Fälle – das ist eine Verbesserung, keine Lösung –, aber der Fehlermodus verschiebt sich von „geh davon aus, dass es falsch ist“ zu „Stichprobe nehmen und verifizieren“.

Das hat direkte Kostenfolgen. Die Verifizierung ist der versteckte Posten in jeder Bereitstellung eines günstigen Modells: Wenn 88 % der Antworten geprüft werden müssen, übersteigt der Arbeitsaufwand die Token-Einsparung bei Weitem. Bei 38 % wird eine Stichprobenprüfung praktikabel, und der Wert von 0,40 US-Dollar pro Aufgabe beginnt wie die tatsächlichen Kosten auszusehen statt wie die sichtbare Hälfte davon.

Anbieteraussagen – und was darin fehlt

Die von OpenAI veröffentlichten Ergebnisse, alle vom Anbieter selbst durchgeführt und zum Zeitpunkt der Abfassung keine unabhängig reproduzierten:

• Terminal-Bench 4.0 — 50,3 % bei maximalem Aufwand, gegenüber 21,5 % für GPT-5.6 Terra.

Agents' Last Exam – 15 Punkte über GPT-5.6 Terra bei mittlerem Aufwand, zu rund einem Drittel der Kosten.

• MMMU-Pro — auf jeder Aufwandsstufe vor GPT-5.6 Terra, dicht an Astra und Sol heranreichend, ohne veröffentlichte absolute Punktzahlen.

• Terminal-Bench-Science 0.1 – nur 5 Punkte von Claude Opus 5.5 entfernt, bei weniger als einem Fünftel der geschätzten Kosten.

• Fehlerverursachende Prompts – 16,7 % bei geringem Aufwand gegenüber 53,6 % und 4,3 % bei maximalem Aufwand, in einem internen Test, den das Unternehmen nicht veröffentlicht hat.

Das Muster in dieser Liste ist es wert, benannt zu werden. Die beiden stärksten Behauptungen – MMMU-Pro und der Fehlerratentest – sind die beiden, denen keine absoluten Zahlen beigefügt sind. „Nähert sich Astra“ und „nahe an Sol“ sind vergleichende Aussagen, die ohne die dahinterstehenden Zahlen nicht überprüft werden können. Die Behauptungen mit harten Zahlen sind diejenigen, die ein Dritter reproduzieren kann, und Artificial Analysis hat bereits die Kostenseite reproduziert: 0,40 US-Dollar pro Aufgabe, 1,40 US-Dollar für den Vorgänger.

Geschwindigkeit ist die unabhängige Zahl, die nicht im Index enthalten ist.

Artificial Analysis misst GPT-6.1 Terra im Reasoning-Benchmark mit 90,9 Ausgabe-Tokens pro Sekunde und 133,64 Sekunden bis zum ersten Token. GPT-6.1 Sol wird mit 73,5 Tokens pro Sekunde und 284,31 Sekunden gemessen. Das entspricht rund 24 % mehr Durchsatz und einem etwas mehr als doppelt so großen Vorteil bei der Zeit bis zum ersten Token – einer unabhängigen Messung, keiner Herstellerangabe, und dem stärksten objektiven Argument für Terra in der gesamten Veröffentlichung.

Bei einem Chat-Produkt spielt der Durchsatz kaum eine Rolle; bei einer Computer-Use-Schleife, die zwanzig Schritte pro Aufgabe benötigt, ist er der Unterschied zwischen einer 40-Sekunden-Aufgabe und einer 90-Sekunden-Aufgabe. Der Index bepreist die Latenz nicht, weshalb ein Modell auf Rang 25 die richtige Wahl für einen Agenten sein kann, der bei der Qualität auf Rang 13 liegt.

Wie man den Index liest, ohne in die Irre geführt zu werden

• Behandeln Sie das Composite als Filter, nicht als Ranking. Es zeigt Ihnen, welche Modelle in der Auswahl stehen; es zeigt Ihnen nicht, welches Modell Ihre Aufgabe gewinnt.

• Betrachten Sie die Teilwerte für Programmierung und Computernutzung getrennt. Terras Profil ist ungewöhnlich breit: fast auf Sol-Niveau bei der Desktop-Automatisierung, sechs Punkte Rückstand bei der Programmierung, vier Punkte insgesamt.

• Absolute Werte gegen ein einziges Datum erneut prüfen. Der Index wird regelmäßig neu normalisiert, und Berichte aus verschiedenen Wochen nennen für dasselbe Modell unterschiedliche Zahlen.

• Gewichte die Halluzinationsrate genauso stark wie den Intelligenzscore, wenn Ihre Arbeitslast Verifizierungskosten verursacht. Eine Verbesserung um 50 Punkte verändert das Betriebsmodell, nicht nur den Score.

• Messen Sie Ihre eigene Aufgabe. Die Kosten-pro-Aufgabe-Werte von Artificial Analysis sind ein Proxy, der auf deren Prompts basiert; Ihre Prompts werden ein anderes Verhältnis zwischen Token-Preis und Versuchen erzeugen.

Nichts davon macht GPT-6.1 Terra zu einem schlechten Modell. Es macht es zu einem ganz bestimmten: einem schnellen, günstigen Modell mit deutlich weniger Halluzinationen, das bei Screens nahe an seinem teureren Geschwistermodell liegt und beim Code weit vom Flaggschiff entfernt ist. Der Gesamtwert sagt 48. Die Teilwerte sagen, welche 48 Sie kaufen.