Recensione di Gemini 4 Carbon: quarto nell'indice, lento a rispondere

Gemini 4 Carbon si colloca quarto nella classifica indipendente e ha un prezzo da modello di fascia media, una combinazione insolita da recensire onestamente: la pagina Gemini 4 Carbon API riporta $2,00 per milione di token di input e $10,00 per milione di token di output, mentre il punteggio che ottiene è 60 su Artificial Analysis Intelligence Index v5.0.1, quarto di 78 modelli. La domanda a cui una recensione deve rispondere non è se 60 sia un buon risultato. È quanto si paga in tempo effettivo e in tasso di errore per ottenerlo.

Che cos'è

Un modello multimodale della famiglia Gemini 4 di Google con una finestra di contesto di 1.048.576 token e un limite di output di 65K. Accetta testo, immagini, audio, video e documenti e restituisce testo, con uso nativo degli strumenti e output JSON strutturato. Risponde sia sull'endpoint compatibile con OpenAI sia sull'API nativa Gemini generateContent, ed è disponibile la Zero Data Retention.

Il set di parametri ti dice che tipo di modello vuole essere: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. Nella stessa lista ci sono un seed e un formato di risposta, che è il segno distintivo di un modello posizionato per l'estrazione e le pipeline agentiche anziché per la scrittura creativa.

Il punteggio e la versione su cui è stato calcolato

Il 60 non è confrontabile con i numeri più vecchi che troverai citati per altri modelli, e questo è l’errore più comune in assoluto nei confronti pubblicati questo mese. Intelligence Index v5.0.1 è un set di valutazione diverso da v4.3 e v4.3.2, quindi un punteggio v4.3 e un punteggio v5.0.1 non appartengono alla stessa tabella. All’interno della coorte v5.0.1, il 60 di Carbon lo colloca al quarto posto su 78, dietro Claude Fable 5.2 a 65 e davanti a tutto il resto che è stato rivalutato.

Le nove valutazioni alla base di quel numero sono AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset e Terminal-Bench-Science 0.1. Si tratta di un mix agentico e scientifico — lavoro da terminale, automazione, ancoraggio documentale, ragionamento complesso — non di un mix da classifica di coding. Un modello può ottenere un buon punteggio qui e perdere comunque su un refactoring su scala di repository, quindi leggi la ripartizione prima di concludere qualcosa sul tuo caso d'uso.

La parte che il numero di punta nasconde

Il tempo al primo token di Carbon nell'AA harness è 64,7 secondi, 69º posto su 77 modelli con dati di latenza. Il tempo reale totale per attività è di 28,4 minuti nelle nove valutazioni. La velocità di output, una volta iniziata la scrittura, è di 72 token al secondo, il che non è eccezionale ma non è il problema; il problema è il tempo di riflessione prima del primo token.

L'esecuzione dell'indice su Carbon è costata $5.48 di spesa verso il provider, che a un costo misto di $2,70 per milione di token equivale a un numero enorme di token per una singola passata di benchmark. AA riporta anche una verbosità del 2,69 percento insieme a 205 milioni di token di output per l'esecuzione. Non interpretare la percentuale come un punteggio di concisione: Claude Fable 5.2 registra un valore molto più basso, lo 0,97 percento, con un numero superiore di token di output, 275 milioni, quindi le due cifre variano in modo indipendente.

Se il prezzo è il motivo per cui stai leggendo questo, il confronto dei prezzi delle API LLM mette un prezzo medio ponderato di 2,70 $ per milione accanto al resto del catalogo, inclusi i modelli che lo battono sul prezzo e quelli che costano diverse volte di più per un punteggio comparabile.

Attraverso il gateway, i numeri sembrano diversi

I 64,7 secondi di AA sono un harness di benchmark che consente al modello di pensare su problemi difficili. Sul traffico live di OrcaRouter negli ultimi sette giorni, il tempo p50 al primo token per Carbon era 6,89 secondi e il p95 era 10,00 secondi, con 226 token al secondo di output su 9,6 milioni di token serviti. Entrambe le cose sono vere. Un prodotto di chat vede qualcosa vicino al primo numero; un clone per valutazioni batch vede qualcosa vicino al secondo.

Il dato che merita più attenzione di entrambi è il tasso di errore: il 39,7 per cento delle richieste ha restituito risposte non-2xx su tutti i provider upstream in quella finestra di sette giorni, contro il 10,8 per cento di Claude Fable 5.2. Qualunque sia la causa — capacità, limiti di frequenza, rotazione dei provider — un prodotto che chiama Carbon senza un budget di retry e un modello di fallback mostrerà agli utenti errori a un tasso che nessun grafico di benchmark prevede. Questa è una questione di routing, ed è l'unica cosa da testare prima della seconda settimana.

Dove trova posto nel catalogo

Rispetto agli altri membri della sua famiglia, Carbon è il membro multimodale della linea Gemini 4, non quello economico: il prezzo di input è identico a Gemini 3.1 Pro a $2,00, l’output costa $2,00 in meno, e la differenza che conta è che Carbon gestisce audio e video, mentre 3.1 Pro gestisce testo e immagini. Se la tua pipeline non tocca mai un file video, stai pagando per una capacità che non userai.

Rispetto al resto del campo, la decisione di solito si riduce a due domande. Se si tratta di una scelta interna a Google, Gemini 4 Carbon vs Gemini 3.1 Pro è il confronto che conta. Se invece è tra fornitori diversi, GPT-6.1 Sol vs Gemini 4 Carbon e Claude Opus 5.5 vs Gemini 4 Carbon coprono le due alternative più comuni, e l'elenco dei modelli LLM contiene il catalogo completo se nessuna delle due è quella che stavi considerando.

Verdetto

Carbon si guadagna il quarto posto per capacità per dollaro di input, e se lo guadagna in un modo adatto a lavoro lungo, multimodale e strutturato anziché alla conversazione. I costi che non compaiono nella tabella dei prezzi sono i due che decidono se fa al caso tuo: 64,7 secondi di ragionamento prima del primo token con un harness di benchmark, e un tasso di errore vicino al 40 percento sul traffico reale. Aggira entrambi — una catena di fallback, un budget di tentativi e una coda asincrona per tutto ciò che non è interattivo — e il rapporto prezzo-punteggio è davvero difficile da battere. Mettilo dietro un'interfaccia utente sincrona senza fallback e arriverai alla conclusione che il modello è peggiore di quanto non sia in realtà.