Gemini 4 Carbon zepsuł ramię robota: co mówi 7-godzinny i 33-minutowy przebieg testu w laboratorium, zanim jeszcze powstanie wynik

Nie ma jeszcze wyniku. To pierwsza rzecz, którą trzeba zrozumieć w kwestii wyniku Gemini 4 Carbon w robotyce, i niemal wszystko inne w tym tekście z tego wynika. To, co istnieje na dzień 13 listopada 2026 r., to pojedynczy wpis Artificial Analysis z 12 listopada, w którym stwierdzono, że Gemini 4 Carbon spędził 7 godzin i 33 minuty w laboratorium AA-Robotics v0.1, „tak mocno tłukąc ramieniem, że zepsuł chwytak”, z dodatkową uwagą, że laboratorium pozwoliło mu powtórzyć tę próbę. Opublikowany 14 października ranking pięciu modeli wciąż zawiera te same pięć pozycji, które wymieniał wtedy — GPT-6 Astra 69.4, GPT-6.1 Sol 64.6, Gemini 4 Argon 55.3, Claude Opus 5.5 48.8, Claude Fable 5.1 46.3 — a Carbon nie znajduje się wśród nich. Brak agregatu, brak podziału na zadania, brak wskaźnika udanych chwytów, brak rachunku.

Traktuj to więc raczej jako wczesny sygnał niż wynik: czas trwania, awaria sprzętu i jedna ponowna próba, pochodzące z laboratorium, które jest właścicielem benchmarku, opublikowane, zanim jego własna tabela została zaktualizowana. Wszystko poniżej, co wykracza poza te trzy fakty, jest wnioskowaniem oznaczonym jako takie. Powód, dla którego wciąż warto to teraz czytać, jest taki, że poprzednik Carbona, Gemini 4 Argon, jest zdecydowanie najwolniejszym modelem w tym laboratorium, a 7 godzin i 33 minuty trafia niemal dokładnie w liczbę Argona — co sprawia, że czas trwania jest czytelny nawet bez wyniku.

Jedynym publicznym numerem jest zegar

Artificial Analysis opisuje AA-Robotics jako mierzenie „jak dobrze modele językowe rozumieją, planują i działają w świecie fizycznym, sterując ramieniem robota”. Stanowisko to sześcioosiowe ramię Hiwonder NexArm z pięcioma stawami i chwytakiem, obserwowane przez cztery kamery — trzy na stole, jedną na nadgarstku — w ośmiu zadaniach wykonywanych na stole: naciśnięcie czerwonego przycisku, umieszczenie zabawki-krokodyla w prostokącie, nalanie napoju do kubka, ułożenie klocków w pudełku i założenie jego pokrywki, ukończenie tablicy dopasowywania kształtów, napisanie „hello world”, zbudowanie najwyższej wieży z pianki oraz zmierzenie pudełka z dokładnością do 2 mm w każdym wymiarze. Próby są zero-shot, każda oceniana w skali od 0 do 100 z możliwością częściowego zaliczenia. Modele są wprowadzane przez własne środowiska kodowania w trybie wysokiego wysiłku — Codex dla modeli GPT, Claude Code dla Claude, Antigravity dla Gemini — i muszą samodzielnie napisać kod w Pythonie, który planuje i wykonuje ruch.

W przeciwieństwie do tego punkt danych Carbon jest celowo skąpy. Siedem godzin trzydzieści trzy minuty to 453 minuty. Nie podano, czy obejmuje to wszystkie osiem zadań, czy uwzględnia ponowioną próbę ani ile kosztowało to uruchomienie. Każdy, kto cytuje to jako wskaźnik wydajności, odczytuje stoper jak tablicę wyników.

To, co mówi jednoznacznie, to że Carbon został poddany testom w laboratorium, a sprzęt nie przetrwał w nienaruszonym stanie. Publikacja samego benchmarku dokumentuje dziesiątki trybów awarii — puste chwyty, upuszczone butelki, klocki potrącone ze stołu, długopis testowany na samej stronie — i żaden z nich nie jest zepsutym chwytakiem. Zniszczenie sprzętu to kategoria, której październikowy opis nigdy nie musiał przedstawiać, ponieważ żaden z pięciu modeli w nim nie doprowadził do takiego przypadku.

Siedem godzin trzydzieści trzy, mierzone względem Argonu

Punkt odniesienia ma tu większe znaczenie niż zwykle, ponieważ porównanie jest wyjątkowo czyste. Artificial Analysis opublikowało łączne czasy działania dla każdego z pięciu październikowych modeli: GPT-6 Astra 242 minuty, GPT-6.1 Sol 224, Claude Opus 5.5 253, Claude Fable 5.1 249 i Gemini 4 Argon 419. Carbon z wynikiem 453 minut plasuje się 34 minuty powyżej Argon — około 8% dłużej — i około 200 minut powyżej czterech modeli innych niż Gemini, które grupują się w przedziale od 224 do 253 minut.

• Tempo na zadanie, jeśli sesja obejmowała wszystkie osiem zadań — Carbon około 56,6 minuty na zadanie w porównaniu z Argon (52,4), Astra (30,3) i Sol (28).

• W porównaniu z człowiekiem — AA ocenia, że ludzie potrzebują około 20 sekund na zadanie, więc 453 minuty w przypadku ośmiu zadań to około 170 razy wolniej niż osoba wykonująca tę samą pracę przy stole.

• Udział czasu poświęconego na planowanie — w przypadku Argon podział wyglądał następująco: 42% na rozumienie, 45% na planowanie, 6% na kamery, 6% na ramię. Astra i Sol odwróciły ten podział, przeznaczając 13% przebiegu na rzeczywisty ruch ramienia, a większość na planowanie.

Ta ostatnia linijka to miejsce, w którym zepsuty chwytak staje się ciekawy, a nie zabawny. W danych z października dwa modele z najwyższymi wynikami (Astra z 69,4 i Sol z 64,6) spędziły najmniej czasu na rozumieniu sceny, a najwięcej na planowaniu; Argon, najwolniejszy i trzeci w rankingu, spędził 42% swojego przebiegu na samym patrzeniu. Model, który dłużej deliberuje, a potem uszkadza sprzęt, nie wykazuje tego samego błędu, który opisywała październikowa ściana błędów. Ściana jest pełna modeli, które błędnie oceniły stan — „zgłasza poziom pokrywy i wyrównanie, choć spoczywa na klinie”, „liczy przechylony żółty sześciokąt jako umieszczony”. To błędy percepcji i samooceny. Rozbijanie ramienia aż do złamania chwytaka to błąd autorytetu poleceń: model poprosił sprzęt o coś, czego sprzęt nie mógł przyjąć. Czy Carbon zrobił to, wjeżdżając w limit kolizji, przekraczając moment obrotowy chwytu, czy po prostu powtarzając ruch, o którym już mu powiedziano, że się nie udał — AA tego nie podało, a 11-sekundowy klip dołączony do wpisu tego nie rozstrzyga.

Ponowna próba to kwestia metodologiczna, a nie przypis.

„Najistotniejsze pół zdania w tym wpisie” zasługuje na wnikliwszą analizę niż zepsuty chwytak. AA-Robotics opiera się na próbach zero-shot — październikowa publikacja mówi o tym wprost, a cały sens fizycznego benchmarku zero-shot polega na tym, że model dostaje jedną próbę, tak jak dostałby ją człowiek. Przyznanie powtórki po awarii sprzętu jest uzasadnione: pęknięty chwytak to problem laboratorium, a nie miara planowania modelu, a ocena zniszczonej próby jako zera karałaby za kruchość stanowiska.

Rodzi to jednak problem porównywalności, na który będzie musiał odpowiedzieć ostateczny wynik. Jeśli unieważniono i powtórzono dokładnie jedną próbę, wynik zbiorczy jest porównywalny z pozostałymi pięcioma, a ponowienie stanowi przypis. Jeśli ponowienie przyznano więcej niż raz albo tylko w zadaniach, w których Carbon już zawiódł z przyczyn po stronie modelu, liczba, która trafi do rankingu, nie będzie znaczyć tego, co znaczą pozostałe pięć liczb. Uczciwą rzeczą, której warto szukać przy aktualizacji tabeli, jest wiersz mówiący, ile prób unieważniono, w jakim zadaniu i na jakim kryterium — tak jak październikowy post dokumentował, że próba chwytu Argona wynosiła n=75 wobec n=95 u Astry.

Istnieje drugi, cichszy problem pomiarowy. Czasy Argonu w publikacji z października są wprost szacunkami: Antigravity, środowisko testowe Gemini, nie opatruje kroków znacznikami czasu, więc AA interpolowało je na podstawie tokenów między poleceniami arm, których czas mierzono. Carbon działa w tym samym środowisku testowym. Jeśli wartość 7 godzin zmierzono w ten sam sposób, nie jest ona bezpośrednio porównywalna z liczbami minut wygenerowanymi przez Codex i Claude Code — a 34-minutowa różnica względem Argonu mieści się z dużym zapasem w granicach błędu, jaki metoda interpolacji na podstawie tokenów mogłaby wprowadzić w przypadku przebiegu trwającego 453 minuty. To nie czyni tego czasu trwania bez znaczenia. Sprawia to, że zdanie „Carbon jest o 8% wolniejszy niż Argon” jest twierdzeniem, którego dane nie potwierdzają, nawet jeśli zdanie „Carbon trwał bardzo długo” jest bezpieczne.

Co przewidywałby profil tekstowy Carbonu

Nic z tego nie jest zaskakujące w świetle publikowanego zachowania Carbon, które jest tą częścią, którą możemy sprawdzić niezależnie. W indeksie v5 Artificial Analysis model osiąga wynik 60, co daje mu czwarte miejsce na 78, a jego profil to profil rozważnego, rozwlekłego rozumującego, a nie szybkiego: 28,4 minuty na zadanie wobec mediany 13,0 minut, 72 tokeny wyjściowe na sekundę, 64,71 sekundy do pierwszego tokenu odpowiedzi oraz 205 milionów tokenów wyjściowych w całym indeksie — opisywanych przez AA jako „bardzo rozwlekłe” wobec mediany 72,8 miliona. Kosztuje również 5,48 USD za zadanie indeksu, zajmując 59. miejsce na 77 pod względem efektywności kosztowej.

Połącz te informacje, a wynik laboratoryjny ma już kształt, zanim pojawi się ocena. Model, który na prompt tekstowy poświęca minutę, zanim wygeneruje pierwszy token, emituje niemal trzykrotność mediany objętości i już zajmował 28 minut na zadanie w statycznym benchmarku, nie będzie szybki w pętli, w której każdy krok wymaga odczytania czterech strumieni z kamer, a następnie napisania kodu ruchu. Liczba 7 godzin to obraz profilu tekstowego Carbon, gdy podłączy się go do ramienia robota. Czy ta deliberacja przełożyła się na lepszą manipulację, dokładnie to powiedziałby nam brakujący wynik, a zepsuty chwytak jest przynajmniej słabym dowodem, że więcej myślenia nie przełożyło się na delikatniejsze działanie.

Ile kosztuje taki bieg i dlaczego kalendarz ma znaczenie

Koszt na zadanie to liczba, której AA nie opublikowało w przypadku Carbon, a zgadywanie jej byłoby bezwartościowe, ponieważ istniejący rozrzut jest ogromny: przebieg GPT-6 Astra trwający 242 minuty kosztował 16,36 USD na zadanie, a koszt GPT-6.1 Sol wyniósł 1,93 USD — 8,5-krotna różnica między dwoma modelami tego samego dostawcy wykonującymi te same osiem zadań. W przypadku ośmiu zadań to około 131 USD wobec 15 USD. Około 70% wydatków trafiło na dane wejściowe i kontekst, a nie na dane wyjściowe — tak właśnie cztery strumienie z kamer i rosnący transkrypt wpływają na rachunek za tokeny. Carbon jest bardziej gadatliwy niż oba te modele w przypadku tekstu, więc jeśli już, jego liczba kosztu na zadanie powinna wypaść wysoko — ale to przewidywanie, a nie konkretna liczba, a jedynym uczciwym sposobem jej wykorzystania jest zakres budżetowania, a nie wycena.

Kalendarz to część, na którą możesz wpłynąć. Carbon kosztuje 2 USD za milion tokenów wejściowych i 10 USD za milion tokenów wyjściowych do 30 listopada 2026 r.; 1 grudnia stawki te wyniosą 4 USD i 20 USD, a model pozostaje bez zmian. Tokeny wejściowe z pamięci podręcznej zmieniają się z 0,10 USD na 0,20 USD, tryby batch i flex działają ze stawką o połowę niższą, a priority — 1,8 razy standardowej. Każda długa pętla agentowa tego rodzaju, jaką właśnie uruchomiło AA, to głównie kontekst z pamięci podręcznej i powtarzane klatki z kamery, co oznacza, że obciążenie w stylu robotycznym jest dokładnie tym kształtem, który najbardziej korzysta na obecnej stawce i najbardziej cierpi po jej zmianie. Ponowne uruchomienie tego eksperymentu w grudniu kosztuje dwa razy więcej niż w tym tygodniu.

Jak odczytać liczbę, gdy wypadnie

Kiedy AA aktualizuje tabelę, trzy rzeczy decydują o tym, czy Carbon jest krokiem naprzód, czy kolejnym Argonem.

• Wynik zbiorczy na tle 55,3 — wyniku Argona. Model Gemini na poziomie własnego poprzednika lub poniżej niego, jedno wydanie później, uczyniłby z opowieści o robotyce w tej rodzinie opowieść o opóźnieniu harnessu, a nie o możliwościach.

• Skuteczność chwytania w odniesieniu do zakresu 28–45%: Astra 45% (n=95), Fable 44% (n=89), Opus 40% (n=100), Argon 36% (n=75), Sol 28% (n=111). To metryka, która wykryłaby model psujący chwytaki, ponieważ polecenie uszkadzające sprzęt i chwyt, który mija obiekt, wynikają z tego samego braku sprzężenia zwrotnego siły.

• Profil wyników w podziale na zadania, zadanie po zadaniu. Argon miał 100, 100, 100, 40, 0, 45, 57, 0 w zadaniach: przycisk, krokodyl, przelewanie, porządkowanie, kształty, pisanie, wieża, pomiar. Zadanie „zmierz pudełko” jest tym, którego nikt nie rozwiązuje: Astra 0, Argon 0, Fable 0, a tylko Sol i Opus mają 17. Tolerancja 2 mm w trzech wymiarach to zadanie precyzyjne, a precyzja to obszar, w którym model uderzający ramieniem powinien wypaść najgorzej.

Istnieje też zasadne pytanie, co benchmark tak naprawdę ocenia. Carbon działał wewnątrz Antigravity przy wysokim wysiłku, podobnie jak Argon. Sesja trwająca 7,5 godziny to wspólny test planowania modelu i zdolności harnessu do utrzymania spójności długiej pętli — a dane z października już pokazywały artefakty ukształtowane przez harness, od 25-minutowej pierwszej akcji Argona po dziesięć minut studiowania przez Fable, zanim cokolwiek dotknął. Wynik Carbonu i tak będzie cytowany jako wynik modelu. To przynajmniej częściowo wynik pętli agentowej.

Jeśli chcesz odtworzyć eksperyment zamiast czekać

W przypadku publicznego benchmarku z publicznym stanowiskiem testowym przydatne jest to, że wynik nie jest jedynym sposobem uczenia się z niego. Carbon można już wywoływać — Google udostępniło gemini-4-carbon ogólnie w płatnym Gemini API 10 listopada 2026 r., po ogłoszeniu go zamkniętej grupie cyberobrońców 28 października — i jest dostępne w OrcaRouter jako google/gemini-4-carbon po wprowadzającej stawce Google $2/$10, na tym samym punkcie końcowym zgodnym z OpenAI co pozostałe ponad 200 modeli na kluczu. Ponieważ przekazujemy cenę katalogową dostawcy z 0% narzutu, zmiana cen z 1 grudnia obowiązuje u nas w dniu, w którym Google ją zastosuje, a nie po cyklu odsprzedaży.

Dwie praktyczne uwagi, zanim ktokolwiek skieruje nowy model na drogi sprzęt. Po pierwsze, endpoint z pierwszego tygodnia to nie endpoint produkcyjny: nasze własne zagregowane dane dla google/gemini-4-carbon obecnie wskazują 30,2% współczynnika błędów i 6,89-sekundowy p50 czasu do pierwszego tokenu w ciągu ostatnich siedmiu dni, mierzone na ścieżce dostawcy, przez którą kierujemy ruch. To normalne dla modelu trzy dni po ogólnym udostępnieniu i dokładnie dlatego nie należy wpisywać na sztywno jednego endpointu do pętli działającej siedem godzin — automatyczne przełączanie awaryjne między dostawcami sprawia, że długa sesja agentowa nie umiera w czwartej godzinie. Po drugie, DSL routingu pozwala utrzymać tani model w pętli dla kroków, które nie wymagają Carbon, co ma znaczenie przy 453 minutach: większość tej sesji polegała na odczytywaniu klatek i ponownym planowaniu, a nie na podejmowaniu trudnych decyzji.

Co zmieniłoby tę interpretację, to nie lepszy klip z ramieniem. To opublikowanie przez AA wyniku z udokumentowanymi unieważnionymi próbami i wskaźnikiem udanych chwytów obok pozostałych pięciu. Do tego czasu trafne podsumowanie jest wąskie: Gemini 4 Carbon to pierwszy model w tym laboratorium, który kosztował laboratorium element sprzętu; zajęło mu to więcej czasu niż wszystko, co laboratorium zmierzyło, poza jego własnym poprzednikiem, a następująca po tym ponowna próba jest szczegółem, który końcowa liczba będzie musiała uwzględnić. Post z 12 listopada to prawdziwy punkt danych o tym, jak ten model zachowuje się, gdy dostanie ręce. To jeszcze nie jest wynik mówiący o tym, jak dobrze ich używa.