Een titelkaart voor GPT-6.1 Sol reasoning-traces, met als ondertitel 'Leesbaar omdat het samenvattingen zijn — niet omdat ze zijn uitgelekt', met drie gestapelde kaarten die de ruwe gedachteketen vergelijken, gemarkeerd als niet teruggegeven, het reasoning-samenvattingskanaal, gemarkeerd als opt-in, en reasoning_tokens, het enige reasoning-oppervlak dat standaard wordt teruggegeven. De kop geeft de modelnaam weer als 'GPT-6.1Sol' zonder spatie.
Guides & Insights

GPT-6.1 Sol-redeneersporen: leesbaar omdat het samenvattingen zijn, niet omdat ze zijn uitgelekt

Auteur

Rowan Sterling

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Op 21 oktober 2026 om 00:46 UTC begon een screenshot van GPT-6.1 Sol reasoning-tekst te circuleren op X, gepost door @scaling01 met het bijschrift "redeneersporen volledig leesbaar, niets om je zorgen over te maken." De grap — en het is een grap — is dat de sporen leesbaar zijn in gewoon Engels, precies de voorwaarde waarvan Andrej Karpathy in september 2024 zei dat die zou betekenen dat de reinforcement learning niet meer goed werkte. Twee dingen moeten eerst gezegd worden. Ten eerste is het model niet nieuw: GPT-6.1 Sol werd op 29 september 2026 uitgebracht op O​penAI DevDay, en niets in dit bericht is een lancering, een versieverhoging of een featureaankondiging. Ten tweede is de screenshot een screenshot — de weergave van één waarnemer van één reactie, opnieuw gepost door mensen die die niet hebben gereproduceerd. Wat nieuw en dateerbaar is, is de discussie die de screenshot ontketende, die zich op 21 oktober afspeelde en een antwoord van Karpathy en een groep onderzoekers erbij betrok die discussieerden over latente redenering. Die discussie is het waard om uit elkaar te halen, want de premisse eronder is op een specifieke en controleerbare manier onjuist. Niets daarvan is hypothetisch: de gedocumenteerde AI-fouten en agentincidenten achter releases als deze zijn verzameld in the OrcaRouter AI Incident Archive waarbij elke vermelding eigen bronnen, een ernstgraad, een betrouwbaarheidsgraad en een betwistmarkering bevat.

Wat daadwerkelijk is geplaatst, en wat daadwerkelijk is geverifieerd

Haal de framing weg en het bewijs is mager, wat normaal is voor dit soort dingen. Een gebruiker plaatste een screenshot van modeluitvoer die leest als gewoon, goed gevormd Engels proza in plaats van de compacte, leestekenloze steno waarin chain-of-thought-tekst bij hoge trainingsdruk vaak vervalt. Het bericht had ongeveer 65.600 weergaven tegen de tijd dat het werd gearchiveerd. Karpathy antwoordde: "Ja, ik zou zeggen dat de RL nu wel werkt," en citeerde zijn eigen uitspraak uit september 2024 dat je kunt zien dat RL goed is gedaan wanneer modellen ophouden Engels te spreken in hun chain of thought. Anderen gingen verder: een antwoord suggereerde dat het vakgebied "maar beter door de zure appel heen kan bijten en kan overstappen op volledig latente redenering," en een ander betoogde dat de traces alleen hun spaties hadden verloren, en dat het herstellen daarvan gewone, bondige modelformuleringen opleverde over monitoren en het niet verzinnen van vereisten.

Er zijn dus drie afzonderlijke beweringen die in die thread door elkaar lopen, en ze hebben een heel verschillende bewijsstatus. Dat er leesbaar Engels voorkwam in output die aan GPT-6.1 Sol werd toegeschreven — ongeverifieerd, één screenshot, geen prompt of request-ID gepubliceerd. Dat de leesbaarheid impliceert dat het interne redeneerproces van het model nu leesbaar is — ongeverifieerd, en zoals de volgende sectie laat zien, waarschijnlijk een categoriefout. Dat de leesbaarheid iets zegt over hoe goed de RL heeft gewerkt — een interpretatie, als grap gegeven, door iemand die het model niet in deze configuratie heeft gedraaid. Behandel alle drie als observatie uit de gemeenschap. Geen ervan is een bevinding.

Wat de API daadwerkelijk retourneert, het deel dat niemand heeft geciteerd

Hier is het detail dat de thread oversloeg. GPT-6.1 Sol geeft zijn gedachteketen niet terug, en OpenAI's eigen documentatie zegt dat met zoveel woorden: de API maakt de ruwe reasoningtokens die het model uitzendt niet openbaar, en de reasoning-items die het wel retourneert, blijven ondoorzichtig. Wat een aanroeper terugkrijgt, zijn drie afzonderlijke dingen, en slechts één daarvan is proza:

• Ruwe gedachteketen — nooit teruggegeven, voor elk inspanningsniveau, onder elke parametercombinatie.

• Een samenvatting van de redenering — optioneel, aangevraagd via de summary-parameter, en door het model geschreven als een narratief verslag in plaats van overgenomen uit de tokens waarmee het daadwerkelijk heeft geredeneerd.

• Een tokentelling — output_tokens_details.reasoning_tokens, een getal, en de enige plek waar redeneerinhoud standaard verschijnt.

Dat middelste item is vrijwel zeker wat de screenshot laat zien. Een samenvattingskanaal is per ontwerp leesbaar; dat is het hele punt ervan. Het wordt gegenereerd om door een mens gelezen te worden, in het register waarin een mens leest, en de vloeiendheid ervan zegt iets over de stijl van de samenvatter, niet over de vorm van de onderliggende berekening. De aanwijzing is ook niet subtiel: als de tekst in de screenshot met de spaties intact en de zinnen afgerond kwam, was het nooit de ruwe trace. De reactie die aanvoert dat de spaties simpelweg waren weggehaald en hersteld konden worden, maakt hetzelfde punt vanuit de andere richting, en het is de technisch best onderbouwde bijdrage in de thread.

Screenshot of OpenAI's reasoning guide documentation stating that raw reasoning tokens are never returned, that reasoning items are opaque and encrypted, and that summaries must be requested explicitly, alongside the reasoning.effort and reasoning.context parameters.

Waarom de uitspraak van Karpathy hier niet geldt op de manier waarop die werd toegepast

De bewering uit 2024 ging over een specifieke diagnostiek: onbewerkte chain-of-thought-tekst die vervalt in niet-Engels of onparseerbare steno is bewijs dat het beleid zodanig is geoptimaliseerd dat de verbale laag ervan iets anders doet dan communiceren. Die diagnostiek werkt alleen op het onbewerkte spoor. Pas je haar toe op een samenvatting, dan test je de samenvatter, een afzonderlijke modelpassage met een eigen doel: leesbaar zijn. Een leesbare samenvatting krijg je ongeacht of het onderliggende beleid netjes is of niet.

Dit is geen onderscheid dat voor deze gelegenheid is bedacht. Het is de reden dat OpenAI überhaupt een addendum over monitorbaarheid publiceert: als ruwe redeneerinhoud iets was dat gebruikers konden lezen, zou het veiligheidsargument erop berusten dat gebruikers die lezen. In plaats daarvan berust het argument op monitors die dichter bij de tokens zitten dan welke API-aanroeper dan ook, en op een samenvattingskanaal dat bewust een weergave is. De consequentie voor lezers is bot. Je kunt het redeneren van GPT-6.1 Sol niet via de API auditen. Je kunt wel de antwoorden, de tokenaantallen en de opgegeven samenvattingen auditen. Iedereen die beweert via een screenshot de gedachten van het model te hebben gelezen, heeft een document gelezen dat het model over zichzelf heeft geschreven.

Het getal dat wel van belang is voor "is er iets mis daarbinnen"

Als je bewijs wilt over wat er binnen het model gebeurt in plaats van over wat het over zichzelf zegt, is het september-addendum over veiligheid bij uitrol de enige inhoudelijke publieke bron, en die is door de leverancier zelf uitgevoerd — O​penAI heeft zijn eigen model gemeten, de methode gepubliceerd, en geen enkele buitenstaander heeft het gereproduceerd. Twee cijfers uit de sectie over de gedachteketen zijn de moeite waard om in gedachten te houden.

• CoT-bestuurbaarheid — 44,8% voor GPT-6.1 Sol, tegenover 60,9% voor GPT-6 Astra, 23,2% voor GPT-6 Sol en 16,1% voor GPT-5.6 Sol. Een hogere waarde betekent dat een externe prompt de redeneertekst gemakkelijker kan sturen.

• CoT-monitorontwijking bij maximale inspanning — bijna nul, waarbij de full-contextmonitor 100% van de ingebrachte gedragingen terugvond in de eigen testomgeving van de leverancier.

• Steganografische codering in redenering — geprobeerd en niet aangetoond, volgens hetzelfde document.

A single-column scoreboard of six figures for GPT-6.1 Sol: chain-of-thought controllability 44.8%, against GPT-6 Astra at 60.9% and GPT-6 Sol at 23.2%; chain-of-thought monitor evasion at max effort near zero; Artificial Analysis Intelligence Index 52; price $2 in and $10 out per million tokens. The footer reads 'Controllability and monitor figures vendor-reported, unreproduced; AA Index per Artificial Analysis v4.3.2.'

Als je die samen leest, is het beeld het tegenovergestelde van alarmerend in de richting die de tweet suggereerde. Het model dat aan de oppervlakte het meest vloeiend leest, is niet het model waarvan het redeneren het meest stuurbaar is; Astra scoort hoger op bestuurbaarheid, terwijl het het model is dat beoordelaars over het geheel genomen capabeler noemen. Het redeneren van GPT-6.1 Sol is relatief moeilijk te beïnvloeden en, volgens de eigen cijfers van de leverancier, gemakkelijk te volgen voor een monitor met volledige context. "Niets om je zorgen over te maken" is een grap, maar op basis van het gepubliceerde bewijs zit het niet ver van de waarheid — specifiek voor de vraag naar monitorbaarheid, en dat is een beperkte kwestie.

Latent redeneren is een echt antwoord op een ander probleem.

De reactie "overschakelen naar volledig latente redenering" verdient meer respect dan de thread ervoor opbracht, omdat ze een echte spanning blootlegt. Als redenering in continue vectoren blijft, is er niets leesbaars om verkeerd te lezen, niets om samen te vatten en niets om bij te sturen — en ook niets voor een monitor om te lezen, wat de reden is dat labs het niet gewoon hebben gedaan. Latente redenering ruilt monitorbaarheid in voor capaciteitsruimte. Niemand in die thread stelde een gratis lunch voor; ze stelden voor het venster te sluiten om te voorkomen dat mensen erdoor blijven staren.

Er is een tweede flank die het kennen waard is. Werk dat dit jaar is gepubliceerd over het extraheren van redeneersporen uit propriëtaire API's via zijkanalen — prompt-injectie- en token-timingaanvallen in plaats van het lezen van de responsbody — heeft vastgesteld dat een spoor dat je nooit bedoelde terug te geven, toch kan uitlekken. Het ontwerp van O​penAI's sluit de voor de hand liggende versie van die aanval, omdat de responsbody een weergave bevat in plaats van het spoor. Het sluit het timingkanaal niet, en dat wordt ook niet beweerd. Dat is het risico dat een serieuze lezer in het oog moet houden, en het is niet het risico waar de screenshot over ging.

Hoe je dit zelf goedkoop kunt controleren

Dat alles is binnen een middag te testen, en de kosten zijn zo laag dat er geen reden is om iemand op zijn woord te geloven, inclusief ons. GPT-6.1 Sol kost $2 per miljoen inputtokens en $10 per miljoen outputtokens, met gecachete invoer tegen $0,10 en cache-schrijfacties tegen $2,50. De context bedraagt 1.050.000 tokens en de maximale output is 128.000. De inspanningsladder heeft vijf treden — low, medium als standaard, high, xhigh en max — en er is geen instelling "none" of "minimal", dus je kunt dit model niet vragen om het redeneren volledig over te slaan.reasoning.context accepteert all_turns, dat de redeneerstatus meeneemt over een gesprek met meerdere beurten in plaats van die bij elke beurt opnieuw te starten.

Screenshot of the OpenAI documentation page for GPT-6.1 Sol showing the model header with its 1,050,000-token context window and 128,000-token maximum output, the $2 per million input and $10 per million output pricing, cached input at $0.10, and the five reasoning effort levels from low to max.

Het experiment dat de moeite waard is om uit te voeren is niet "leest het als Engels" maar "volgt de samenvatting het antwoord". Stuur dezelfde moeilijke prompt bij low, high en max, vraag bij elk daarvan om samenvattingen, en vergelijk de samenvatting met de beoordeelde juistheid en met reasoning_tokens. Als samenvattingen uitdijen terwijl de nauwkeurigheid gelijk blijft, is de samenvatting decoratie. Als de nauwkeurigheid stijgt met redeneertokens en de samenvatting beknopt blijft, is de samenvatting een verliesgevende maar eerlijke index. Beide resultaten zijn informatiever dan een screenshot.

Die vergelijking is ook de plek waar een routeringslaag zijn waarde bewijst in plaats van er later bij te worden geschroefd. OrcaRouter biedt openai/gpt-6.1-sol naast meer dan 200 andere modellen op één sleutel zonder markup, dus de $2/$10 hierboven is het bedrag dat je betaalt en elke prijswijziging van een leverancier gaat dezelfde dag in. Failover is cruciaal voor deze specifieke test: drie inspanningsniveaus parallel draaien betekent drie kansen om een rate limit of een slechte gateway te raken, en automatische failover naar een gezonde provider zorgt ervoor dat de A/B/C-vergelijking wordt afgerond in plaats van half afgerond. Als je het samenvattingskanaal en het ruwe-antwoordkanaal naast elkaar wilt meten zonder aparte clientcode per endpoint te schrijven, de routerings-DSL combineert de aanroepen op één plek.

Wat zou dit stuk daadwerkelijk veranderen?

Twee ontwikkelingen zouden dit van een lekachtige interpretatie naar een nieuwsverhaal tillen. De eerste is elke wijziging aan het API-contract waardoor iets anders dan een samenvatting wordt geretourneerd — een parameter voor ruwe tracering, een debugmodus, een onderzoekspreview. De changelog van OpenAI van oktober bevat geen vermelding over redeneertraces of ruwe chain-of-thought, en de bewoording in de documentatie is niet gewijzigd, dus op het moment van publicatie is het contract ongewijzigd. De tweede is een reproduceerbaar onafhankelijk resultaat: iemand die prompts, request-ID's en outputs publiceert waaruit blijkt dat de samenvatting afwijkt van de beoordeelde correctheid bij een specifiek inspanningsniveau. Dat zou een bevinding zijn. Een screenshot zonder prompt is dat niet.

Voor context over waar het model feitelijk staat terwijl dit allemaal wordt bediscussieerd: Artificial Analysis meet GPT-6.1 Sol op een Intelligence Index van 52 op v4.3.2, goed voor een 12e plaats van 214 modellen, tegen $0,72 per taak en 55,2 tokens per seconde — onafhankelijk uitgevoerd, en het kosten-per-taakgetal is het getal om in de gaten te houden, aangezien GPT-6 Astra 53 scoort tegen $3,26 per taak bij een prijsstelling van $10/$50. De geverifieerde suite van ARC Prize plaatst GPT-6.1 Sol op 98,5% op ARC-AGI-1 en 94,2% op ARC-AGI-2. Dat zijn capaciteitscijfers. Ze zeggen niets over of de redenering leesbaar is, en dat is precies de verwarring waarop de thread draaide: een model kan uitstekend en ondoorzichtig zijn, en de samenvatting die je leest is een hoffelijkheid, geen venster.

Vergeleken in dit artikel1

Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt