Titelkarte für einen Vergleich von GPT-6.1 Sol und Grok 4.6, mit der Aufschrift „Das Accept-Header-Problem und eine 35-Punkte-Lücke, die nicht real ist“, mit Karten, die GPT-6.1 Sol mit 56,06 % bei Terminal-Bench 4.0 und Grok 4.6 mit 88,39 % bei Terminal-Bench 2.1 zeigen, sowie einem Hinweis, dass es sich um zwei unterschiedliche Benchmark-Versionen handelt.
Guides & Insights

GPT-6.1 Sol vs. Grok 4.6: Das Accept-Header-Problem und eine 35-Punkte-Lücke, die nicht real ist

Autor

Alistair Wren

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Im aktuellen Modellmarkt gibt es eine Paarung, bei der die günstigere Option den härtesten Wissenschafts-Benchmark klar für sich entscheidet, und der gesamte Vergleich trotzdem nicht zu ihren Gunsten ausfällt. Grok 4.6, das Flaggschiff von SpaceXAI seit 2026-08-12, erzielt 94,9 % bei GPQA Diamond – wissenschaftliche Fragen auf Graduiertenniveau – gegenüber 42,9 % bei Humanity's Last Exam für dasselbe Modell, und es kostet 2,00 $ pro Million Eingabe-Token und 6,00 $ pro Million Ausgabe-Token. GPT-6.1 Sol, die Veröffentlichung von Open​AI vom 2026-09-29, erzielt 52,9 % bei demselben HLE-Set und berechnet 10,00 $ pro Million Ausgabe-Token. Also ist Grok 4.6 bei einer schwierigen Sache besser, auf jeder Zeile der Preisliste günstiger, und doch liegt in der zweiten Hälfte dieses Vergleichs das interessante Problem: Den beiden Modellen wird nicht immer dieselbe Frage gestellt.

Die folgenden Zahlen sind Messungen von Artificial Analysis, die in unseren eigenen Modellaufzeichnungen für beide Modelle geführt werden, Herstellerangaben, sofern gekennzeichnet, und unsere eigenen Serving-Daten. Evaluator und Datum werden überall dort genannt, wo eine Zahl mehrdeutig sein könnte.

Die Versionsnummer, die die Arbeit macht

Beginnen wir mit den Zahlen, die wie eine vernichtende Niederlage aussehen und es nicht sind. Artificial Analysis führt zwei Terminal-Agent-Benchmarks durch und hat beide Modelle an jedem davon bewertet:

• Terminal-Bench 2.1 — Grok 4.6 erzielt 88,39 %; GPT-6.1 Sol ist in dieser Version nicht aufgeführt.

• Terminal-Bench 4.0 — Grok 4.6 erreicht 21,21 %; GPT-6.1 Sol erreicht 56,06 %.

Liest man nur die zweite Zeile, wirkt Grok 4.6 unfähig, eine Aufgabe in einer Shell abzuschließen. Liest man beide, wird klar, dass der Unterschied das Harness ist, nicht das Modell. Terminal-Bench 4.0 ist eine härtere Überarbeitung desselben Benchmarks, und die beiden Modelle wurden zu unterschiedlichen Zeitpunkten darauf bewertet — der Artificial-Analysis-Eintrag von GPT-6.1 Sol weist ein Evaluierungsdatum vom 2026-09-28 auf, der von Grok 4.6 den 2026-08-12. Eine 6-Wochen-Lücke zwischen zwei Modellen, die sechs Wochen auseinander auf einem Benchmark gemessen wurden, der innerhalb dieses Zeitfensters überarbeitet wurde, ist kein Beweis dafür, dass eines von ihnen kein Terminal verwenden kann. Es ist ein Beweis dafür, dass man diese beiden Zellen nicht vergleichen sollte.

Die ehrliche Version des agentischen Vergleichs ist die engere: Grok 4.6 erzielt 88,39 % auf Terminal-Bench 2.1, und es gibt keine GPT-6.1-Sol-Zahl für diese Version, die man danebenstellen könnte. Das ist eine Lücke in der Beweislage, und der Rest dieses Artikels behandelt sie als solche.

Was die beiden sind

Grok 4.6 ist das aktuelle Flaggschiff der Grok-Reihe und in SpaceXAIs eigener Entwicklerdokumentation als „Latest“ aufgeführt. Es tritt die Nachfolge von Grok 4.5 an, mit demselben Kontextfenster von 500.000 Token und derselben Eingabeoberfläche für Text, Bilder und Dateien. Es unterstützt konfigurierbaren Reasoning-Aufwand, natives Tool-Calling, strukturierte Ausgaben und die vollständige Sampling-Oberfläche – temperature, top_p, seed, logprobs, penalties –, was ein aussagekräftiges Detail ist: Anders als GPT-6.1 Sol akzeptiert es eine Temperatur.

GPT-6.1 Sol ist ein einziger Snapshot — gpt-6.1-sol, keine datierte Variante — mit einem Kontextfenster von 1.050.000 Tokens, einer maximalen Ausgabe von 128.000 Tokens, derselben Text-, Bild- und Dateieingabeoberfläche und fünf Aufwandsstufen mit Standardeinstellung mittel. Es akzeptiert weder temperature noch top_p; Sampling wird durch den Aufwandsregler ersetzt.

Die Spezifikationszeilen, Seite an Seite, in den Dimensionen, in denen sie sich unterscheiden:

• Kontextfenster — 1.050.000 Tokens für GPT-6.1 Sol gegenüber 500.000 für Grok 4.6. GPT-6.1 Sol bietet etwas mehr als das Doppelte des Kontextfensters.

• Maximale Ausgabe — 128.000 Token für GPT-6.1 Sol; die Ausgabengrenze von Grok 4.6 ist in unserem Katalogeintrag dafür nicht veröffentlicht, wobei es sich um ein Feld handelt, das nie befüllt wurde und nicht um eine Null.

• Sampling-Parameter — Temperatur, top_p, Seed und die Penalty-Parameter funktionieren mit Grok 4.6 und werden von GPT‑6.1 Sol abgelehnt.

• Grundpreis — 2,00 $/6,00 $ für Grok 4.6 gegenüber 2,00 $/10,00 $ für GPT-6.1 Sol, innerhalb der ersten Stufe beider Modelle.

Fünf Achsen, eine klare Richtung

Die beiden Modelle weisen genügend unabhängige Messungen auf, um ordnungsgemäß verglichen werden zu können, und die Form des Ergebnisses ist konsistent:

• AA Intelligence Index — GPT-6.1 Sol 51,8, Rang 10 von 147, 93,2. Perzentil; Grok 4.6 44,3, Rang 20, 86,4. Perzentil.

• Humanity's Last Exam — 52,9 % gegenüber 42,9 %. Zehn Punkte, GPT-6.1 Sol.

• Langzeit-Recall— 98 % gegenüber 80,33 %.

• SciCode — 54,2 % gegenüber 56,5 %. Grok 4.6 liegt um 2,3 Punkte vorn, die einzige dieser vier Achsen, auf der es führt.

• GPQA Diamond — GPT-6.1 Sol ist in unseren Aufzeichnungen auf dieser Achse nicht aufgeführt; Grok 4.6 erzielt 94,9 %, die stärkste Einzelzahl auf seiner Karte.

Zwei der Achsen von Grok 4.6 bleiben auf der Seite von GPT-6.1 Sol ungemessen, und eine von GPT-6.1 Sol bleibt bei Grok 4.6 ungemessen. Das ist die übliche Form eines Vergleichs zwischen Modellen, die nach unterschiedlichen Zeitplänen evaluiert werden, und die Vorgehensweise damit ist, die Zellen leer zu lassen, anstatt sie aus einem Launch-Deck zu füllen.

Beim Intelligence Index ist eine Richtigstellung fällig. Frühere Berichterstattung auf diesem Blog ordnete Grok 4.6 auf demselben Index bei 61 ein. Unser aktueller Datensatz enthält eine zusätzliche Zeile mit diesem Wert, neben der oben genannten Zahl 44,3 – der Index wurde überarbeitet und neu bewertet, und beide Werte existieren für dasselbe Modell. Wer die Indexposition von Grok 4.6 zitiert, sollte angeben, welche Revision gemeint ist, denn der Unterschied zwischen 61 und 44,3 ist größer als die Kluft, um die es in diesem gesamten Artikel geht.

A two-column scoreboard comparing GPT-6.1 Sol and Grok 4.6 across six rows: index 51.8 vs 44.3, Humanity's Last Exam 52.9% vs 42.9%, GPQA Diamond not listed vs 94.9%, SciCode 54.2% vs 56.5%, Long-Context Recall 83% vs 80.33%, and output price $10.00 vs $6.00 per million.

Die Preisliste, der Schritt darin

Grok 4.6 ist bei jedem Basisposten günstiger und hat eine längere Liste an Posten. Seine Preisliste:

• Bis zu 200.000 Prompt-Tokens — 2,00 $ Eingabe, 6,00 $ Ausgabe, 0,50 $ für zwischengespeicherte Eingabe.

• Über 200.000 Prompt-Tokens — die gesamte Anfrage wird neu berechnet auf 4,00 $ Eingabe, 12,00 $ Ausgabe, 1,00 $ für zwischengespeicherte Eingabe.

GPT-6.1 Sol's:

• Bis zu 272.000 Prompt-Tokens — 2,00 $ Eingabe, 10,00 $ Ausgabe, 0,10 $ zwischengespeicherte Eingabe, 2,50 $ Cache-Schreibvorgang.

• Über 272.000 Prompt-Tokens — wird die gesamte Anfrage neu bepreist auf 4,00 $ Eingabe, 15,00 $ Ausgabe, 0,20 $ gecachte Eingabe, 5,00 $ Cache-Schreibvorgang.

Sowohl der Schritt als auch beide Schritte fallen in denselben Bereich der Prompt-Länge – doch beachten Sie, was die Schritte mit der Headline-Lücke machen. Innerhalb der ersten Stufe ist der Output von Grok 4.6 40 Prozent günstiger. Oberhalb der Stufe, bei $12.00 gegenüber $15.00, ist er 20 Prozent günstiger. Und bei gecachtem Input kehrt sich die Reihenfolge vollständig um: Die $0.10 pro Million von GPT-6.1 Sol sind ein Fünftel der $0.50 von Grok 4.6 vor der Stufe und ein Zehntel danach.

Für eine agentische Workload, die bei jedem Turn ein langes festes Präfix erneut liest – ein Repo, ein Vertragssatz, ein langes Transkript –, ist diese Cache-Zeile mehr wert als der Grundpreis, und sie deutet in die andere Richtung. Für eine Workload, die aus einem kurzen Prompt sehr viel Output erzeugt, sind die 6,00 $ von Grok 4.6 die Grenze, die den Ausschlag gibt.

Unsere eigenen Serving-Daten und warum ein Teil davon ignoriert werden sollte

Der Katalog von OrcaRouter enthält für jedes Modell ein Sieben-Tage-Serving-Panel, und bei einem der beiden ist es ein Artefakt und keine Messung. Das Panel von Grok 4.6 zeigt eine p50-Latenz von 6.250 Millisekunden und eine Fehlerrate von 56,76 % über ein Fenster, in dem es 1.212.441 Tokens bediente. Das Panel von GPT-6.1 Sol zeigt einen p50 von 2.442 Millisekunden, 95,57 Ausgabe-Tokens pro Sekunde, eine Fehlerrate von 6,36 % und 421.752.431 Tokens, die im selben Sieben-Tage-Zeitraum bedient wurden.

Die Traffic-Zahlen sind die, die man zuerst lesen sollte, weil sie den Rest erklären. Ein Modell, das über eine Woche 1,2 Millionen Tokens bedient hat, hat eine zu dünne Stichprobe, als dass eine Fehlerrate viel aussagen würde – bei diesem Volumen spiegelt eine Rate von 56,76 % ein paar Dutzend Versuche wider, nicht die Servicequalität, und es als Beweis dafür zu behandeln, dass Grok 4.6 unzuverlässig ist, würde bedeuten, ein Messartefakt als Messung zu interpretieren. Unser GPT-6.1 Sol-Panel hat ungefähr 350-mal so viel Traffic dahinter, was es zu einer brauchbaren Zahl über unsere Playground-Nutzer macht und dennoch nicht zu einer Eigenschaft des Modells.

Screenshot of the OrcaRouter model page for grok/grok-4.6, showing a 500K-token context window, text, image and file input, tools and JSON support, a note that it is the current Grok flagship listed as Latest in the vendor's developer documentation, a headline GPQA Diamond figure of 94.9, and the $2.00 input / $6.00 output price lines.

Was wir Ihnen nicht sagen können

Drei Dinge fehlen in diesem Vergleich, und keines davon lässt sich durch Argumente ausfüllen.

Der erste ist ein Same-Antenna-Terminal-Agent-Score für ein Modell. Solange Anthropic Claude 4.6 nicht auf Terminal-Bench 4.0 bewertet – oder GPT-6.1 Sol auf 2 –, stützt sich der agentische Vergleich auf die Zahl des einen Modells und das Schweigen des anderen. Wer Ihnen erzählt, die Spanne von 56,06 gegenüber 21,06 sei eine Fähigkeitslücke, zitiert einen Revisionsunterschied.

Der zweite Punkt ist die Ausgabeobergrenze von Grok 4.6. Für dieses Feld gibt es in unserem Datensatz keine Messung, daher hat ein Workload, der auf sehr langen einzelnen Antworten basiert, auf jener Seite keine veröffentlichte Zahl, an der man sich orientieren könnte.

Das Dritte sind die tatsächlichen Kosten beider Modelle pro abgeschlossener Aufgabe. Unser Playground weist für Claude Opus 5 durchschnittliche Kosten pro Aufgabe aus; für die beiden anderen weist er keine aus, und die oben genannten Tokenpreise sind Eingangsgrößen für diese Zahl, nicht die Zahl selbst. Die eigenen, vom Anbieter gemeldeten Zahlen von Open​AI für GPT-6.1 Sol beschreiben Verbesserungen bei den Kosten pro Aufgabe – Terminal-Bench Science 0.1 bei 5,47 $ pro Aufgabe gegenüber 23,21 $ für Claude Opus 5.5 und 23,80 $ für GPT-6 Astra, bei maximalem Aufwand –, doch das sind Open​AIs Zahlen auf dem Open​AI-Harness, niemand außerhalb hat sie reproduziert, und sie sagen nichts über Grok 4.6.

Screenshot of the OrcaRouter model page for openai/gpt-6.1-sol, showing the 1.05M-token context window, 128K max output, text, image and file input, tools and JSON support, an OpenAI-compatible code sample, and the $2.00 input / $10.00 output price lines.

Die Wahl

Beide Modelle werden auf OrcaRouter zum Listenpreis des Anbieters mit 0 % Aufschlag geroutet — openai/gpt-6.1-sol zu $2,00/$10,00 mit $0,10 für gecachten Input und der Tarifstufe über 272K, die genau so angewendet wird, wie Open​AI sie festlegt, und grok/grok-4.6 zu $2,00/$6,00 mit der Tarifstufe über 200K, die genau so angewendet wird, wie SpaceXAI sie festlegt. Ein Schlüssel erreicht beide, die Preisgestaltung folgt dem Anbieter noch am selben Tag der Änderung statt erst zum nächsten Abrechnungszyklus, und automatisches Failover liegt darunter, sodass das günstigere Modell einen Pfad halten kann, ohne das Einzige zu sein, was ihn hält.

Wenn die Arbeitslast frageförmig und stark ausgabelastig ist – Retrieval-und-Antwort, Generierung in großem Umfang, alles, was nie über 200 Prompt-Tokens hinausgeht –, dann ist Grok 4.6 laut Preisliste die bessere Wahl, und zwar um 40 Prozent bei der Position, auf die es ankommt, und sein GPQA-Diamond-Wert von 94,9 % ist eine unabhängige Zahl, keine Behauptung.

Wenn es sich um eine agentische, Long-Prompt- oder Cache-Arbeitslast handelt, ist GPT-6 Sol die Standardwahl: Es führt bei jedem unabhängigen Wert, den beide gemeinsam haben, außer Code, seine Cache-Lesevorgänge kosten ein Fünftel von denen von Grok 4.6, und seine veröffentlichte Ausgabengrenze ist eine Zahl, mit der man planen kann. Das 500.000-Token-Fenster von Grok 4.6 ist großzügig, und das 1.050.000-Token-Fenster von GPT-6 Sol ist doppelt so groß – doch bei einem wirklich langen Prompt sind beide bis dahin in ihre verdoppelten Stufen übergegangen, wodurch die Preislücke auf 20 Prozent schrumpft und aufhört, der Grund zu sein, sich für eines der beiden zu entscheiden.

Das Urteil, das der Beweislage standhält: Grok 4.6 ist das günstigere Modell und GPT-6.1 Sol das maßvollere, und die 35-Punkte-Differenz beim Terminal-Benchmark, die kursiert, ist ein Vergleich zweier unterschiedlicher Benchmark-Versionen, nicht zweier Modelle.

In diesem Artikel verglichen2

Aus diesem Artikel erkannt · Benchmarks: Artificial Analysis · täglich aktualisiert