Gemini 4 Carbon Benchmark: Co tak naprawdę mierzy 60 na AA v5.0.1

Wynik benchmarku jest użyteczny tylko wtedy, gdy wiesz, o co pytał harness, jak długo modelowi pozwolono myśleć i jaka wersja testu wygenerowała tę liczbę. W przypadku Gemini 4 Carbon odpowiedzi są następujące: dziewięć ewaluacji agentowych i naukowych, tak długo, jak chciał, oraz Intelligence Index v5.0.1 — bieżąca wersja, dlatego 60 jest cytowalne, a większość liczb, które znajdziesz obok, nie jest.Gemini 4 Carbon APIStrona podaje cenę i endpoint; ten tekst dotyczy wyniku.

Co zostało faktycznie uruchomione

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset i Terminal-Bench-Science 0.1. Przeczytaj tę listę, zanim wyciągniesz z niej ogólne wnioski. Trzy z dziewięciu to prace terminalowe lub automatyzacyjne, dwa to rozumowanie oparte na dokumentach nad długimi danymi wejściowymi, dwa to trudna nauka i matematyka, a jeden to kod najwyższej klasy. W zestawie nie ma oceny agentów internetowych ani symulacji wieloturowego wsparcia klienta, więc świetny wynik nic o nich nie mówi.

Wynik

Carbon uzyskuje 60, co daje 4. miejsce na 78 w wersji v5.0.1. Liderem jest Claude Fable 5.2 z wynikiem 65. Pięć punktów różnicy jest istotne, ale nie kategoryczne: oba modele zaliczają te same dziewięć ewaluacji, a najprostszy sposób odczytania tej różnicy to mniej więcej jedno dodatkowe trudne zadanie rozwiązane na każde dwadzieścia podejmowanych prób na poziomie kompetencji Carbon. Traktuj to jako kierunek, a nie tempo.

Kontrola wersji jest ważniejsza niż ranga. Modele oceniane na wersji v4.3 lub v4.3.2 — w tym większość nazw, które zobaczysz przytaczane w postach porównawczych — nie są w tej samej skali i nie można ich umieścić w tej samej tabeli. Jeśli wykres je miesza, wykres jest błędny niezależnie od tego, kto go opublikował.

Praktyczną konsekwencją jest to, że nie możesz porównywać Carbon z modelem, który sam oceniałeś w ostatnim kwartale, chyba że ten model również został ponownie oceniony. Albo ponownie uruchom własny harness na obu, albo ogranicz twierdzenie do kohorty v5.0.1 i zaznacz to w zdaniu, w którym je cytujesz.

Koszt czasowy

Czas do pierwszego tokenu wynosi 64,7 sekundy, 69. miejsce spośród 77 modeli z danymi o opóźnieniu. Całkowity czas odpowiedzi wynosi 28,4 minuty na zadanie w dziewięciu ewaluacjach. Gdy Carbon zacznie generować, działa z szybkością 72 tokenów na sekundę, co jest przeciętne. Czas rzeczywisty jest zdominowany przez myślenie, a nie przez pisanie.

To wybór projektowy, a nie wada, i warto dokładnie sprecyzować, co z niego wynika. Mechanizm, który pozwala modelowi rozumować, aż uzna, że wynik jest zadowalający, da wolny, ale mocny wynik; ten sam model za bramą na ruchu na żywo zgłasza p50 na poziomie 6,89 sekundy do pierwszego tokenu i p95 na poziomie 10,00 sekundy, ponieważ większość rzeczywistych żądań to nie HLE-Diamond. Te dwie liczby mierzą różne rzeczy i obie należą do planu pojemności.

Koszt pieniężny

Uruchomienie indeksu względem Carbon kosztowało $5,48 przy $2,00 za milion tokenów wejściowych i $10,00 za milion tokenów wyjściowych, co daje uśredniony koszt $2,70 za milion. AA podaje również 205 milionów tokenów wyjściowych dla tego przebiegu, ze wskaźnikiem rozwlekłości wynoszącym 2,69 procent. To liczba tokenów, a nie odsetek, jest wartością do przeniesienia dalej: mówi, że dziewięciozadaniowa ocena agentowa zużyła większą część ćwierć miliarda tokenów wyjściowych.

Dla porównania ten sam indeks w przypadku Claude Fable 5.2 kosztował 26,54 USD — 4,8 razy więcej — przy 8,00 USD za wejście i 40,00 USD za wyjście. To właściwe ujęcie tej pary: pięciopunktowa różnica w wyniku jest okupiona niemal pięciokrotnie większym wydatkiem na tokeny.

Ujmując to jako stosunek: Carbon płaci 0,09 USD benchmarkowego wydatku na punkt indeksu, a Fable 5.2 płaci 0,41 USD. To nie jest argument, że tańszy model jest lepszy — sensem modelu frontier jest radzenie sobie z zadaniami, na których tańszy zawodzi — ale jest to argument za routingiem według trudności zamiast wybierania jednego modelu do wszystkiego. 90 procent wywołań, które obsłuży model 60-punktowy, nie potrzebuje 65-punktowego.

Innym stosunkiem, który warto brać pod uwagę, jest czas. Carbon zużywa 28,4 minuty na zadanie, a Fable 5.2 — 46,8, więc droższy model jest też 1,6 razy wolniejszy od początku do końca. W kolejce asynchronicznej to ograniczenie przepustowości; w wywołaniu synchronicznym to różnica między spinnerem a przekroczeniem limitu czasu. Notatki o wydaniu Gemini 4 Carbon opisują, co trafiło wraz z modelem, a jeśli pytanie brzmi, czy zastępuje on poprzednią generację Gemini, Gemini 4 Carbon vs Gemini 3.1 Pro to bezpośrednie porównanie.

Czego benchmark nie obejmuje

W tym zestawie nie ma żadnego środowiska testowego do cyberbezpieczeństwa ani wykrywania podatności. Jeśli oceniasz Carbon pod kątem pracy w bezpieczeństwie — skanowania, triage'u, generowania poprawek — te dziewięć ewaluacji mówi o jego rozumowaniu, a nic o jego skuteczności wykrywania (recall) rzeczywistych podatności. To samo dotyczy długoterminowego kodowania w konkretnym repozytorium, które FrontierCode-AA przybliża, ale nie zastępuje.

Nie ma tu również pomiaru tego, co dzieje się pod obciążeniem. Wskaźnik błędów na żywo w ruchu OrcaRouter dla Carbon wyniósł 39,7 procent w ciągu ostatnich siedmiu dni, w porównaniu z 10,8 procent dla Fable 5.2. Harness benchmarkowy ponawia próby i absorbuje takie błędy; Twoja aplikacja musi zdecydować, jak postąpić.

Odtwarzanie któregokolwiek z tych elementów na własnym ruchu

Nie odtworzysz 64,7 sekundy AA bez harnessu AA i nie powinieneś próbować: przydatne jest zmierzenie własnych p50 i p95 i porównanie ich z opublikowanymi przez bramę 6,89 i 10,00 sekundy, ponieważ to mówi ci, czy twoje prompty są zwykłe, czy wyjątkowo trudne. Rejestruj czas do pierwszego tokenu, liczbę tokenów wyjściowych i liczbę odpowiedzi innych niż 2xx na trasę. Jeśli twój wskaźnik błędów jest wyższy niż 39,7 procent, które brama raportuje u wszystkich dostawców, problem leży po twojej stronie żądania.

Jak wykorzystać to w decyzji

Jeśli Twoja praca przypomina dziewięć ewaluacji — zadania terminalowe, automatyzacja, dokumenty o długim kontekście, nauki ścisłe — Carbon przy 60 i 2,70 USD w uśrednionej cenie to opłacalny wybór w obecnej kohorcie v5.0.1, a 64,7-sekundowy czas myślenia to koszt, który możesz zaabsorbować, czyniąc wywołanie asynchronicznym. Jeśli Twoja praca jest interaktywna, ten sam model, którego p50 przez bramę wynosi blisko siedem sekund, to zupełnie inna sprawa, a uczciwym testem jest Twój własny ruch, a nie harness AA.

W bezpośrednim starciu z modelem, który go pokonał, Gemini 4 Carbon vs Claude Fable 5.1 stawia tę parę obok siebie, a porównanie cen API LLM omawia, gdzie stawka mieszana 2,70 USD plasuje się na tle reszty katalogu. Sprawdź ponownie wersję na każdym wykresie, który wykorzystasz: v5.0.1 to jedyna skala, do której należy ta 60.