Gemini 4 Carbon brak de robotarm: wat een labrun van 7 uur en 33 minuten zegt voordat de score bestaat

Er is nog geen score. Dat is het eerste wat je moet begrijpen over het roboticasresultaat van Gemini 4 Carbon, en bijna al het overige in dit stuk volgt daaruit. Wat op 13 november 2026 bestaat, is één bericht van Artificial Analysis van 12 november waarin staat dat Gemini 4 Carbon 7 uur en 33 minuten in het AA-Robotics v0.1-lab heeft doorgebracht en "zo hard met de arm heeft lopen beuken dat er een grijper brak", met de extra opmerking dat het lab het bij die poging een herkansing gaf. De ranglijst met vijf modellen die op 14 oktober is gepubliceerd, vermeldt nog steeds dezelfde vijf rijen als toen — GPT-6 Astra 69,4, GPT-6.1 Sol 64,6, Gemini 4 Argon 55,3, Claude Opus 5.5 48,8, Claude Fable 5.1 46,3 — en Carbon staat er niet tussen. Geen totaalscore, geen uitsplitsing per taak, geen grijpsuccespercentage, geen factuur.

Beschouw dit dus als een vroeg signaal in plaats van een resultaat: een duur, een hardwarestoring en één nieuwe poging, van het lab dat de benchmark bezit, gepubliceerd voordat zijn eigen tabel is bijgewerkt. Alles hieronder dat verder gaat dan die drie feiten is gevolgtrekking, als zodanig gelabeld. De reden dat het nu nog steeds de moeite waard is om te lezen, is dat de voorganger van Carbon, Gemini 4 Argon, met een ruime marge het langzaamste model in dat lab is, en 7 uur 33 minuten valt bijna precies samen met het getal van Argon — waardoor de duur afleesbaar is, zelfs zonder een score.

Het enige publieke nummer is een klok.

Artificial Analysis beschrijft AA-Robotics als het meten van "hoe goed taalmodellen de fysieke wereld begrijpen, plannen en erin handelen door een robotarm aan te sturen." De opstelling is een 6-assige Hiwonder NexArm met vijf gewrichten en een grijper, in de gaten gehouden door vier camera's — drie op de tafel, één aan de pols — bij acht tafelopdrachten: een rode knop indrukken, een krokodillenspeeltje in een rechthoek leggen, een drankje in een beker schenken, blokken inclusief het deksel netjes in een doos opruimen, een vormmatchingbord voltooien, "hello world" schrijven, de hoogste schuimtoren bouwen en een doos meten tot op 2 mm per afmeting nauwkeurig. Pogingen zijn zero-shot, elk gescoord van 0 tot 100 met gedeeltelijke punten. Modellen worden via hun eigen codeerharnassen met hoge inspanning ingezet — Codex voor de GPT-modellen, Claude Code voor Claude, Antigravity voor Gemini — en moeten zelf de Python schrijven die de beweging plant en uitvoert.

Daartegenover is het Carbon-datapunt met opzet karig. Zeven uur drieëndertig minuten is 453 minuten. Er wordt niet vermeld of dat alle acht taken omvat, of de opnieuw geprobeerde poging erbij zit, of wat de run heeft gekost. Iedereen die het als een prestatiecijfer aanhaalt, leest een stopwatch als een scorebord.

Wat het wel ondubbelzinnig zegt, is dat Carbon door het lab werd gehaald en dat de apparatuur niet intact bleef. De eigen publicatie van de benchmark documenteert tientallen faalwijzen — lege grepen, gevallen flessen, blokken die van de tafel werden gestoten, een pen die op de pagina zelf werd getest — en geen daarvan is een gebroken grijper. Vernietiging van hardware is een categorie die het oktoberverslag nooit hoefde te beschrijven, omdat geen van de vijf modellen erin er een opleverde.

Zeven uur drieëndertig, afgemeten aan Argon

De baseline is hier belangrijker dan gewoonlijk, omdat de vergelijking ongewoon zuiver is. Artificial Analysis publiceerde looptijden over de volledige levensduur voor elk van de vijf oktobermodellen: GPT-6 Astra 242 minuten, GPT-6.1 Sol 224, Claude Opus 5.5 253, Claude Fable 5.1 249 en Gemini 4 Argon 419. De 453 minuten van Carbon liggen 34 minuten boven Argon — ongeveer 8% langer — en ongeveer 200 minuten boven de vier niet-Gemini-modellen, die clusteren in een band van 224 tot 253 minuten.

• Tempo per taak, als de sessie alle acht taken omvatte — Carbon ongeveer 56,6 minuten per taak tegenover 52,4 voor Argon, 30,3 voor Astra en 28 voor Sol.

Vergeleken met een mens — AA zet mensen op ongeveer 20 seconden per taak, dus 453 minuten voor acht taken is ongeveer 170 keer langzamer dan een persoon die hetzelfde tafelwerk doet.

• Aandeel van de tijd dat aan planning wordt besteed — Argon's verdeling was 42% begrip, 45% planning, 6% camera's, 6% arm. Astra en Sol draaiden dit om: ze besteedden 13% van de run aan daadwerkelijke armbeweging en het grootste deel aan planning.

Die laatste regel is waar de kapotte grijper interessant wordt in plaats van grappig. In de oktobergegevens besteedden de twee hoogst scorende modellen (Astra met 69,4 en Sol met 64,6) de minste tijd aan het begrijpen van de scène en de meeste tijd aan plannen; Argon, de traagste en de op twee na beste, besteedde 42% van zijn run alleen maar aan kijken. Een model dat langer beraadslaagt en vervolgens de hardware beschadigt, vertoont niet dezelfde fout als de foutenmuur van oktober beschreef. De muur staat vol met modellen die de toestand verkeerd inschatten — 'rapporteert het dekselniveau en uitgelijnd terwijl het op een wig rust', 'telt een gekantelde gele zeshoek als geplaatst'. Dat zijn perceptie- en zelfbeoordelingsfouten. Een arm blijven rammen tot een grijper breekt, is een fout in de opdrachtbevoegdheid: het model vroeg de hardware om iets wat de hardware niet aankon. Of Carbon dat deed door tegen een botsingslimiet aan te lopen, een greep met te veel koppel uit te voeren, of gewoon een beweging te herhalen waarvan al was gezegd dat die mislukte, heeft AA niet gezegd, en de clip van 11 seconden bij het bericht beslecht dat niet.

De herkansing is de methodologische kwestie, niet een voetnoot.

"We hebben het daar één keer opnieuw geprobeerd" is de meest ingrijpende halve zin in het bericht, en die verdient meer kritische aandacht dan de kapotte grijper. AA-Robotics is gebouwd op zero-shot-pogingen — de publicatie van oktober zegt dat expliciet, en het hele punt van een fysieke zero-shot-benchmark is dat het model één poging krijgt, zoals een mens dat zou hebben. Een herkansing toekennen na apparatuuruitval is verdedigbaar: een afgebroken grijper is een probleem van het lab, geen maatstaf voor de planning van het model, en de vernielde poging als nul scoren zou de kwetsbaarheid van de opstelling bestraffen.

Maar het creëert een vergelijkbaarheidsprobleem waar de uiteindelijke score antwoord op zal moeten geven. Als precies één poging ongeldig is verklaard en opnieuw uitgevoerd, is het aggregaat vergelijkbaar met de andere vijf en is de herhaling een voetnoot. Als de herhaling meer dan eens is toegestaan, of alleen bij taken waarop Carbon al om redenen aan de modelkant had gefaald, dan zal het getal dat op het leaderboard belandt niet betekenen wat de andere vijf getallen betekenen. Het eerlijke waar je naar moet zoeken wanneer de tabel wordt bijgewerkt, is een regel die vermeldt hoeveel pogingen ongeldig zijn verklaard, bij welke taak en op welk criterium — op dezelfde manier waarop de oktoberpost documenteerde dat Argon's grijpsteekproef n=75 was tegenover Astra's n=95.

Er is een tweede, stiller meetprobleem. De tijden van Argon in de oktoberpublicatie zijn expliciet schattingen: Antigravity, de Gemini-harness, voorziet stappen niet van tijdstempels, dus interpoleerde AA ze op basis van tokens tussen getimede arm-commando's. Carbon draait in dezelfde harness. Als het cijfer van 7 uur op dezelfde manier is gemeten, is het niet direct vergelijkbaar met de minuutwaarden die Codex en Claude Code genereren — en het verschil van 34 minuten ten opzichte van Argon valt ruim binnen de fout die een token-interpolatiemethode over een run van 453 minuten zou kunnen introduceren. Dat maakt de duur niet betekenisloos. Het maakt van "Carbon is 8% langzamer dan Argon" een bewering die de data niet ondersteunen, ook al is "Carbon deed er heel lang over" veilig.

Wat het tekstprofiel van Carbon zou voorspellen

Niets hiervan is verrassend gezien het gepubliceerde gedrag van Carbon, het deel dat we onafhankelijk kunnen controleren. Op de v5-index van Artificial Analysis scoort het model 60, vierde van de 78, en het profiel is dat van een bedachtzame, breedsprakige redeneerder in plaats van een snelle: 28,4 minuten per taak tegen een mediaan van 13,0 minuten, 72 outputtokens per seconde, 64,71 seconden tot het eerste antwoordtoken en 205 miljoen tokens output over de hele index — door AA beschreven als "very verbose" tegen een mediaan van 72,8 miljoen. Het kost ook $5,48 per indextaak en staat op de 59e plaats van de 77 op kostenefficiëntie.

Als je die samen leest, heeft het labresultaat al een vorm voordat de score er is. Een model dat een minuut besteedt voordat het zijn eerste token voor een tekstprompt geeft, bijna drie keer het mediane volume produceert en op een statische benchmark al 28 minuten per taak nodig had, zal niet snel zijn in een lus waarin elke stap vereist dat het vier camerastromen leest en vervolgens bewegingscode schrijft. Dat cijfer van 7 uur is hoe het tekstprofiel van Carbon eruitziet wanneer het aan een robotarm is gekoppeld. Of dat beraad tot betere manipulatie leidde, is precies wat de ontbrekende score ons zou vertellen, en de kapotte grijper is op zijn minst zwak bewijs dat meer nadenken zich niet vertaalde in voorzichtiger handelen.

Wat zo'n run kost, en waarom de kalender ertoe doet

De kosten per taak zijn het getal dat AA niet voor Carbon heeft gepubliceerd, en ernaar gissen zou waardeloos zijn omdat de bestaande spreiding enorm is: de run van 242 minuten van GPT-6 Astra kostte $16,36 per taak, die van GPT-6.1 Sol kostte $1,93 — een verschil van 8,5x tussen twee modellen van dezelfde leverancier die dezelfde acht taken uitvoeren. Over acht taken is dat ruwweg $131 tegen $15. Ongeveer 70% van de uitgaven ging naar invoer en context in plaats van naar uitvoer, wat vier camerafeeds en een groeiend transcript met een tokenrekening doen. Carbon is op tekst uitvoeriger dan beide andere modellen, dus als er iets is, zou zijn getal per taak juist hoog moeten uitvallen — maar dat is een voorspelling, geen cijfer, en het enige eerlijke gebruik ervan is als budgetteringsbereik in plaats van als prijsopgave.

De kalender is het onderdeel waarop je kunt inspelen. Carbon kost $2 per miljoen inputtokens en $10 per miljoen outputtokens tot 30 november 2026; op 1 december worden dat $4 en $20 terwijl het model ongewijzigd blijft. Gecachte input gaat van $0,10 naar $0,20, batch en flex draaien tegen het halve tarief, priority tegen 1,8 keer het standaardtarief. Elke lange agentische loop van het soort dat AA net heeft gedraaid, bestaat grotendeels uit gecachte context en herhaalde camerabeelden, wat betekent dat een robotics-achtige workload precies de vorm is die het meest profiteert van het huidige tarief en er daarna het meest onder lijdt. Dit experiment in december opnieuw uitvoeren kost twee keer zoveel als deze week.

Hoe je het nummer leest wanneer het landt

Wanneer AA de tabel bijwerkt, zijn er drie dingen die bepalen of Carbon een stap vooruit is of een nieuwe Argon.

• De geaggregeerde score tegenover 55,3 — Argons score. Een Gemini-model dat één release later op of onder zijn eigen voorganger presteert, zou van het roboticaverhaal van de familie een verhaal over harnesslatentie maken in plaats van over capaciteit.

• Grijpsucces afgezet tegen de band van 28 tot 45%: Astra 45% (n=95), Fable 44% (n=89), Opus 40% (n=100), Argon 36% (n=75), Sol 28% (n=111). Dit is de metriek die een model zou signaleren dat grijpers kapotmaakt, omdat een opdracht die hardware beschadigt en een greep die het object mist, voortkomen uit hetzelfde gebrek aan krachtterugkoppeling.

• Het profiel per taak, taak voor taak. Dat van Argon was 100, 100, 100, 40, 0, 45, 57, 0 bij knop, krokodil, gieten, opruimen, vormen, schrijven, toren, meten. De meet-de-doos-taak is degene die niemand oplost: Astra 0, Argon 0, Fable 0, met alleen Sol en Opus op 17. Een tolerantie van 2 mm over drie dimensies is een precisietaak, en precisie is waar een model dat op een arm beukt het slechtst zou moeten scoren.

Er is ook een terechte vraag over wat de benchmark eigenlijk meet. Carbon draaide binnen Antigravity met hoge inspanning, net als Argon. Een sessie van 7,5 uur is een gezamenlijke test van de planning van het model en het vermogen van de harness om een lange loop coherent te houden — en de oktobergegevens lieten al artefacten zien die door de harness werden gevormd, van Argons eerste actie van 25 minuten tot Fabels tien minuten studie voordat er iets werd aangeraakt. Carbons resultaat zal hoe dan ook als een modelcijfer worden geciteerd. Het is ten minste gedeeltelijk een cijfer voor de agent-loop.

Als je het experiment wilt reproduceren in plaats van te wachten

Het nuttige aan een openbare benchmark met een openbare rig is dat de score niet de enige manier is om ervan te leren. Carbon is nu aanroepbaar — Google heeft gemini-4-carbonalgemeen beschikbaar gemaakt op de betaalde Gemini API op 10 november 2026, na aankondiging ervan aan een besloten cohort cyberverdedigers op 28 oktober — en het staat op OrcaRouter als google/gemini-4-carbon tegen Googles eigen introductietarief van $2/$10, op hetzelfde OpenAI-compatibele endpoint als de andere meer dan 200 modellen op de key. Omdat we de lijstprijs van de provider met 0% opslag doorgeven, komt de prijsherziening van 1 december bij ons terecht op de dag dat Google die doorvoert, in plaats van pas na een doorverkoopcyclus.

Twee praktische opmerkingen voordat iemand een gloednieuw model op dure hardware richt. Ten eerste is een endpoint uit de eerste week geen productie-endpoint: onze eigen geaggregeerde cijfers voor google/gemini-4-carbon laten momenteel een foutpercentage van 30,2% zien en een p50 time-to-first-token van 6,89 seconden over de afgelopen zeven dagen, gemeten over het providerpad dat wij routeren. Dat is normaal voor een model dat drie dagen algemeen beschikbaar is, en het is ook precies waarom je één endpoint niet hardcodeert in een loop die zeven uur draait — automatische failover tussen providers is wat voorkomt dat een lange agentische sessie in uur vier sterft. Ten tweede laat de routing-DSL je een goedkoop model in de loop houden voor de stappen die Carbon niet nodig hebben, wat uitmaakt bij 453 minuten: het grootste deel van die sessie bestond uit frames lezen en opnieuw plannen, niet uit het nemen van moeilijke beslissingen.

Wat deze lezing zou veranderen, is niet een betere clip van de arm. Het is dat AA een score publiceert met de ongeldig verklaarde pogingen gedocumenteerd, en een greeppercentage naast de andere vijf. Tot dan is de accurate samenvatting beperkt: Gemini 4 Carbon is het eerste model in dat lab dat het lab een stuk hardware heeft gekost, het deed er langer over dan alles wat het lab heeft gemeten behalve zijn eigen voorganger, en de daaropvolgende nieuwe poging is een detail dat het uiteindelijke cijfer zal moeten meedragen. Het bericht van 12 november is een echt datapunt over hoe dit model zich gedraagt wanneer het handen krijgt. Het is nog geen resultaat over hoe goed het ze gebruikt.