Đánh giá Gemini 4 Carbon: Đứng thứ tư trên bảng xếp hạng, trả lời chậm

Gemini 4 Carbon đứng thứ tư trên bảng xếp hạng độc lập và được định giá như một mô hình tầm trung, một sự kết hợp bất thường để đánh giá một cách trung thực: trang Gemini 4 Carbon API báo giá 2,00 USD cho mỗi triệu token đầu vào và 10,00 USD cho mỗi triệu token đầu ra, trong khi điểm số mà nó đạt được là 60 trên Artificial Analysis Intelligence Index v5.0.1, đứng thứ tư trong số 78 mô hình. Câu hỏi mà một bài đánh giá phải trả lời không phải là liệu 60 có tốt hay không. Mà là bạn phải trả giá gì về thời gian thực tế và tỷ lệ lỗi để có được nó.

Nó là gì

Một mô hình đa phương thức thuộc dòng Gemini 4 của Google với cửa sổ ngữ cảnh 1.048.576 token và giới hạn đầu ra 65K. Mô hình nhận văn bản, hình ảnh, âm thanh, video và tài liệu rồi trả về văn bản, hỗ trợ sử dụng công cụ gốc và đầu ra JSON có cấu trúc. Mô hình phản hồi trên cả endpoint tương thích OpenAI và API generateContent gốc của Gemini, đồng thời có sẵn tính năng Zero Data Retention.

Bộ tham số cho bạn biết mô hình muốn trở thành loại nào: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. Có seed và một định dạng phản hồi trong cùng danh sách, đó là dấu hiệu đặc trưng của một mô hình được định vị cho việc trích xuất và các pipeline tác tử thay vì viết sáng tạo.

Điểm số, và phiên bản mà nó được chấm điểm.

Điểm 60 không thể so sánh với các con số cũ hơn mà bạn sẽ thấy được trích dẫn cho các mô hình khác, và đây là lỗi phổ biến nhất trong các so sánh được công bố trong tháng này. Intelligence Index v5.0.1 là một bộ đánh giá khác với v4.3 và v4.3.2, vì vậy điểm v4.3 và điểm v5.0.1 không thuộc cùng một bảng. Trong nhóm v5.0.1, điểm 60 của Carbon đưa nó lên vị trí thứ tư trong số 78, sau Claude Fable 5.2 với 65 và trước mọi thứ khác đã được chấm lại.

Chín đánh giá đằng sau con số đó là AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset và Terminal-Bench-Science 0.1. Đó là sự kết hợp giữa tác tử và khoa học — công việc terminal, tự động hóa, bám nền tài liệu, suy luận khó — không phải kiểu kết hợp trên bảng xếp hạng lập trình. Một mô hình có thể đạt điểm cao ở đây mà vẫn thua khi tái cấu trúc ở quy mô kho lưu trữ, vì vậy hãy đọc phần phân tích chi tiết trước khi kết luận bất cứ điều gì về trường hợp sử dụng của chính bạn.

Phần mà con số trên tiêu đề che giấu

Thời gian đến token đầu tiên của Carbon trong AA harness là 64,7 giây, xếp hạng 69 trong số 77 mô hình có dữ liệu độ trễ. Tổng thời gian thực tế mỗi tác vụ là 28,4 phút qua chín đánh giá. Tốc độ đầu ra khi bắt đầu viết là 72 token mỗi giây, tuy không có gì đặc biệt nhưng không phải vấn đề; vấn đề là thời gian suy nghĩ trước token đầu tiên.

Chạy chỉ số đối với Carbon tốn $5.48 chi phí từ nhà cung cấp, mà với mức giá trung bình $2.70 mỗi triệu token thì đó là một lượng token rất lớn cho một lượt chạy benchmark. AA cũng báo cáo độ dài dòng là 2.69 phần trăm cùng với 205 triệu token đầu ra cho lượt chạy. Đừng hiểu tỷ lệ phần trăm đó là điểm số súc tích: Claude Fable 5.2 có mức thấp hơn nhiều là 0.97 phần trăm với 275 triệu token đầu ra cao hơn, nên hai con số này biến động độc lập với nhau.

Nếu giá cả là lý do bạn đang đọc bài viết này, thì bảng so sánh giá API LLM đặt mức giá kết hợp $2,70 cho mỗi triệu token bên cạnh phần còn lại của danh mục, bao gồm cả những mô hình có giá thấp hơn và những mô hình đắt gấp nhiều lần để có điểm số tương đương.

Qua cổng kết nối, các con số trông khác đi.

64,7 giây của AA là một bộ khung đánh giá chuẩn cho phép mô hình suy nghĩ về các bài toán khó. Trên lưu lượng trực tiếp của OrcaRouter trong bảy ngày qua, thời gian p50 đến token đầu tiên của Carbon là 6,89 giây và p95 là 10,00 giây, với 226 token mỗi giây đầu ra trên 9,6 triệu token được phục vụ. Cả hai đều đúng. Một sản phẩm trò chuyện thấy một con số gần với số đầu tiên; một bản sao đánh giá theo lô thấy một con số gần với số thứ hai.

Chỉ số đáng được chú ý hơn cả hai chỉ số kia là tỷ lệ lỗi: 39,7 phần trăm yêu cầu trả về non-2xx trên tất cả nhà cung cấp upstream trong cửa sổ bảy ngày đó, so với 10,8 phần trăm của Claude Fable 5.2. Dù nguyên nhân là gì — năng lực, giới hạn tốc độ, xoay vòng nhà cung cấp — một sản phẩm gọi Carbon mà không có ngân sách thử lại và một mô hình dự phòng sẽ cho người dùng thấy lỗi ở mức mà không biểu đồ benchmark nào dự đoán được. Đó là câu hỏi định tuyến, và đó là điều duy nhất cần kiểm thử trước tuần thứ hai.

Vị trí của nó trong danh mục

So với các anh em cùng dòng, Carbon là thành viên đa phương thức của dòng Gemini 4 chứ không phải bản rẻ: giá đầu vào giống hệt Gemini 3.1 Pro ở mức $2.00, giá đầu ra rẻ hơn $2.00, và khác biệt quan trọng là Carbon xử lý âm thanh và video trong khi 3.1 Pro xử lý văn bản và hình ảnh. Nếu pipeline của bạn không bao giờ đụng đến tệp video, bạn đang trả tiền cho một năng lực mà bạn sẽ không dùng.

So với phần còn lại của thị trường, quyết định thường quy về hai câu hỏi. Nếu đây là lựa chọn nội bộ Google, Gemini 4 Carbon vs Gemini 3.1 Pro là phép so sánh đáng quan tâm. Nếu là so sánh giữa các nhà cung cấp khác nhau, GPT-6.1 Sol vs Gemini 4 Carbon và Claude Opus 5.5 vs Gemini 4 Carbon bao quát hai lựa chọn thay thế phổ biến nhất, và danh sách mô hình LLM có đầy đủ danh mục nếu cả hai đều không phải là lựa chọn bạn đang cân nhắc.

Phán quyết

Carbon giành vị trí thứ tư về năng lực trên mỗi đô-la đầu vào, và giành được theo cách phù hợp với công việc dài, đa phương thức, có cấu trúc hơn là hội thoại. Những chi phí không xuất hiện trong bảng giá là hai điều quyết định liệu nó có phù hợp với bạn hay không: 64,7 giây suy nghĩ trước token đầu tiên trong một khung kiểm thử chuẩn, và tỷ lệ lỗi gần 40 phần trăm trên lưu lượng trực tiếp. Hãy đi vòng qua cả hai — một chuỗi dự phòng, một ngân sách thử lại và một hàng đợi bất đồng bộ cho mọi thứ không tương tác — và tỷ lệ giá trên điểm số thực sự khó đánh bại. Đặt nó phía sau một giao diện đồng bộ không có dự phòng và bạn sẽ kết luận rằng mô hình tệ hơn thực tế.