Recenzja Gemini 4 Carbon: czwarte miejsce w indeksie, wolne odpowiedzi

Gemini 4 Carbon zajmuje czwarte miejsce na niezależnej liście rankingowej i jest wyceniany jak model średniej klasy, co stanowi nietypowe połączenie do rzetelnej recenzji: strona Gemini 4 Carbon API podaje 2,00 USD za milion tokenów wejściowych i 10,00 USD za milion tokenów wyjściowych, a publikowany przez niego wynik to 60 w Artificial Analysis Intelligence Index v5.0.1 — czwarty wynik wśród 78 modeli. Pytanie, na które musi odpowiedzieć recenzja, nie brzmi, czy 60 to dobry wynik. Chodzi o to, jakim kosztem czasu zegarowego i wskaźnika awaryjności go uzyskujesz.

Co to jest

Model multimodalny z rodziny Gemini 4 Google'a z oknem kontekstu wynoszącym 1,048,576 tokenów i limitem wyjścia 65K. Przyjmuje tekst, obrazy, dźwięk, wideo i dokumenty, a zwraca tekst, z natywną obsługą narzędzi i ustrukturyzowanym wyjściem JSON. Odpowiada zarówno na endpointcie zgodnym z OpenAI, jak i w natywnym API Gemini generateContent, a Zero Data Retention jest dostępne.

Zestaw parametrów mówi, jakim modelem chce być: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. Na tej samej liście znajdują się seed i format odpowiedzi, co jest znakiem rozpoznawczym modelu pozycjonowanego do ekstrakcji i potoków agentowych, a nie do twórczego pisania.

Wynik i wersja, na której został oceniony

Wynik 60 nie jest porównywalny ze starszymi liczbami, które można znaleźć w cytatach dla innych modeli, i jest to najczęstszy błąd w publikowanych w tym miesiącu porównaniach. Intelligence Index v5.0.1 to inny zestaw ewaluacyjny niż v4.3 i v4.3.2, więc wynik v4.3 i wynik v5.0.1 nie powinny znajdować się w tej samej tabeli. W kohorcie v5.0.1 wynik 60 modelu Carbon plasuje go na czwartym miejscu spośród 78, za Claude Fable 5.2 z wynikiem 65 i przed wszystkimi pozostałymi, które zostały ponownie ocenione.

Dziewięć ocen stojących za tą liczbą to AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset oraz Terminal-Bench-Science 0.1. To mieszanka agentowa i naukowa — praca w terminalu, automatyzacja, opieranie się na dokumentach, trudne rozumowanie — a nie mieszanka z rankingu kodowania. Model może wypaść tu dobrze, a mimo to przegrać przy refaktoryzacji na skalę repozytorium, więc przeczytaj szczegółowy podział, zanim wyciągniesz jakiekolwiek wnioski dotyczące własnego przypadku użycia.

To, co ukrywa liczba z nagłówka

Czas do pierwszego tokenu Carbon w środowisku AA harness wynosi 64,7 sekundy, 69. miejsce wśród 77 modeli z danymi o opóźnieniach. Łączny czas zegarowy na zadanie wynosi 28,4 minuty w dziewięciu ewaluacjach. Szybkość generowania po rozpoczęciu pisania wynosi 72 tokeny na sekundę, co nie jest niczym nadzwyczajnym, ale nie stanowi problemu; problemem jest czas namysłu przed pierwszym tokenem.

Uruchomienie indeksu względem Carbon kosztowało $5.48 wydatków u dostawcy, co przy łącznej stawce $2.70 za milion tokenów oznacza bardzo dużo tokenów na jeden przebieg benchmarku. AA raportuje również rozwlekłość na poziomie 2,69 procent przy 205 milionach tokenów wyjściowych w tym przebiegu. Nie należy interpretować tego odsetka jako wskaźnika zwięzłości: Claude Fable 5.2 osiąga znacznie niższe 0,97 procent przy wyższej liczbie 275 milionów tokenów wyjściowych, więc te dwie wartości zmieniają się niezależnie.

Jeśli cena jest powodem, dla którego to czytasz, porównanie cen API LLM stawia uśrednioną cenę 2,70 USD za milion obok pozostałej części katalogu, w tym modeli, które są od niej tańsze, oraz tych, które kosztują kilkukrotnie więcej przy porównywalnym wyniku.

Przez bramę liczby wyglądają inaczej

64,7 sekundy AA to wynik z benchmarkowego środowiska testowego, które pozwala modelowi myśleć nad trudnymi problemami. Na podstawie rzeczywistego ruchu OrcaRouter z ostatnich siedmiu dni mediana (p50) czasu do pierwszego tokenu dla Carbon wynosiła 6,89 sekundy, a p95 wynosił 10,00 sekundy, przy 226 tokenach wyjściowych na sekundę na 9,6 mln obsłużonych tokenów. Obie wartości są prawdziwe. Produkt czatowy otrzymuje wynik zbliżony do pierwszej liczby; klon do oceny wsadowej otrzymuje wynik zbliżony do drugiej.

Liczba, która zasługuje na więcej uwagi niż obie pozostałe, to odsetek błędów: 39,7 procent żądań zwróciło odpowiedzi inne niż 2xx u wszystkich dostawców upstream w tym siedmiodniowym oknie, wobec 10,8 procent w przypadku Claude Fable 5.2. Niezależnie od przyczyny — pojemności, limitów szybkości, rotacji dostawców — produkt, który wywołuje Carbon bez budżetu ponowień i modelu zapasowego, pokaże użytkownikom awarie w tempie, którego nie przewidzi żaden wykres benchmarków. To kwestia routingu i to właśnie należy przetestować przed drugim tygodniem.

Gdzie należy w katalogu

Na tle własnego rodzeństwa Carbon jest multimodalnym przedstawicielem linii Gemini 4, a nie tym tanim: cena wejścia jest identyczna jak w Gemini 3.1 Pro i wynosi $2.00, cena wyjścia jest o $2.00 niższa, a kluczowa różnica polega na tym, że Carbon obsługuje audio i wideo, podczas gdy 3.1 Pro obsługuje tekst i obrazy. Jeśli Twój pipeline nigdy nie dotyka pliku wideo, płacisz za funkcję, której nie wykorzystasz.

Na tle reszty rynku decyzja zwykle sprowadza się do dwóch pytań. Jeśli to wybór wewnątrz Google, Gemini 4 Carbon vs Gemini 3.1 Pro to porównanie, które ma znaczenie. Jeśli wybór dotyczy różnych dostawców, GPT-6.1 Sol vs Gemini 4 Carbon oraz Claude Opus 5.5 vs Gemini 4 Carbon obejmują dwa najczęstsze warianty alternatywne, a lista modeli LLM zawiera pełny katalog, jeśli żaden z nich nie jest tym, który rozważałeś.

Werdykt

Carbon zajmuje czwarte miejsce pod względem możliwości na dolara wejścia i robi to w sposób, który pasuje do długiej, multimodalnej, ustrukturyzowanej pracy, a nie do rozmowy. Koszty, których nie ma w tabeli cen, to dwa, które decydują, czy sprawdzi się u Ciebie: 64,7 sekundy myślenia przed pierwszym tokenem w środowisku testowym oraz wskaźnik błędów blisko 40 procent na ruchu produkcyjnym. Omiń oba — łańcuch awaryjny, budżet ponowień i kolejka asynchroniczna dla wszystkiego, co nie jest interaktywne — a stosunek ceny do wyniku naprawdę trudno będzie pobić. Umieść go za synchronicznym interfejsem użytkownika bez mechanizmu awaryjnego, a dojdziesz do wniosku, że model jest gorszy, niż jest w rzeczywistości.