Gemini 4 Carbon Benchmark: Con số 60 trên AA v5.0.1 thực sự đo lường điều gì

Điểm số benchmark chỉ hữu ích khi bạn biết bộ khung đánh giá đã hỏi gì, mô hình được phép suy nghĩ trong bao lâu và phiên bản nào của bài kiểm tra đã tạo ra con số đó. Với Gemini 4 Carbon, câu trả lời là: chín bài đánh giá tác tử và khoa học, thời gian suy nghĩ tùy thích, và Intelligence Index v5.0.1 — phiên bản hiện tại, đó là lý do con số 60 có thể trích dẫn được còn hầu hết những con số bạn sẽ thấy bên cạnh nó thì không.Gemini 4 Carbon API liệt kê giá và endpoint; bài viết này nói về điểm số.

Cái gì thực sự đã được chạy

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset và Terminal-Bench-Science 0.1. Hãy đọc danh sách đó trước khi khái quát hóa từ nó. Trong chín hạng mục, ba hạng mục là công việc terminal hoặc tự động hóa, hai hạng mục là suy luận dựa trên tài liệu với đầu vào dài, hai hạng mục là khoa học và toán học khó, và một hạng mục là lập trình tiên phong. Không có đánh giá tác nhân web và không có mô phỏng hỗ trợ khách hàng nhiều lượt trong bộ này, nên điểm cao không nói lên điều gì về những mảng đó.

Điểm số

Carbon đạt 60, xếp hạng 4/78 trên v5.0.1. Người dẫn đầu là Claude Fable 5.2 với 65. Khoảng cách năm điểm là có ý nghĩa nhưng không mang tính phân loại: cả hai mô hình đều vượt qua cùng chín bài đánh giá, và cách đơn giản nhất để diễn giải khác biệt là khoảng một tác vụ khó được giải thêm trên mỗi hai mươi tác vụ được thử ở trình độ năng lực của Carbon. Hãy coi đó là một hướng, không phải một tỷ lệ.

Việc kiểm soát phiên bản quan trọng hơn thứ hạng. Các mô hình được chấm điểm trên v4.3 hoặc v4.3.2 — bao gồm hầu hết những cái tên bạn sẽ thấy được trích dẫn trong các bài đăng so sánh — không nằm trên cùng một thang đo và không thể được đặt vào cùng một bảng. Nếu một biểu đồ trộn lẫn chúng, thì biểu đồ đó là sai bất kể ai đã công bố nó.

Hệ quả thực tế là bạn không thể so sánh Carbon với một mô hình mà chính bạn đã đánh giá vào quý trước, trừ khi mô hình đó cũng đã được chấm điểm lại. Hoặc chạy lại bộ khung đánh giá của riêng bạn trên cả hai, hoặc giới hạn tuyên bố trong nhóm v5.0.1 và nói rõ điều đó ngay trong câu mà bạn trích dẫn.

Chi phí thời gian

Thời gian đến token đầu tiên là 64,7 giây, xếp hạng 69 trong số 77 mô hình có dữ liệu độ trễ. Tổng thời gian phản hồi là 28,4 phút mỗi tác vụ qua chín bài đánh giá. Khi Carbon bắt đầu phát ra, nó chạy ở 72 token mỗi giây, mức bình thường. Thời gian thực chủ yếu bị chi phối bởi việc suy nghĩ, chứ không phải việc viết.

Đó là một lựa chọn thiết kế chứ không phải khiếm khuyết, và đáng để nói chính xác về những gì nó hàm ý. Một harness cho phép mô hình suy luận cho đến khi nó hài lòng sẽ tạo ra một điểm số chậm nhưng mạnh; cùng mô hình đó đặt sau một gateway xử lý lưu lượng trực tiếp báo cáo p50 là 6,89 giây đến token đầu tiên và p95 là 10,00 giây, vì hầu hết yêu cầu thực tế không phải là HLE-Diamond. Hai con số đo lường những thứ khác nhau và cả hai đều cần có trong một kế hoạch công suất.

Chi phí tiền

Chi phí chạy chỉ số với Carbon là $5.48 ở mức $2,00 mỗi triệu token đầu vào và $10,00 mỗi triệu token đầu ra, tính gộp là $2,70 mỗi triệu. AA cũng báo cáo 205 triệu token đầu ra cho lần chạy với chỉ số độ chi tiết là 2,69 phần trăm. Số lượng token, chứ không phải tỷ lệ phần trăm, mới là con số cần mang theo: nó cho bạn biết rằng một đánh giá tác tử gồm chín tác vụ đã tiêu tốn gần một phần tư tỷ token đầu ra.

Để so sánh, cùng chỉ số đó khi chạy với Claude Fable 5.2 tốn 26,54 USD — gấp 4,8 lần — ở mức 8,00 USD đầu vào và 40,00 USD đầu ra. Đó là cách diễn đạt đúng cho cặp này: khoảng cách điểm số năm điểm đạt được bằng mức chi tiêu token gần gấp năm lần.

Đặt thành tỷ lệ, Carbon trả 0,09 USD chi phí benchmark cho mỗi điểm chỉ số và Fable 5.2 trả 0,41 USD. Đó không phải là lập luận rằng mô hình rẻ hơn thì tốt hơn — ý nghĩa của một mô hình tiên phong nằm ở những tác vụ mà mô hình rẻ hơn thất bại — mà là lập luận cho việc định tuyến theo độ khó thay vì chọn một mô hình cho mọi việc. 90 phần trăm lệnh gọi mà một mô hình 60 điểm vượt qua không cần đến một mô hình 65 điểm.

Một chỉ số khác đáng quan tâm là thời gian. Carbon mất 28,4 phút mỗi tác vụ và Fable 5.2 mất 46,8, vì vậy mô hình đắt hơn cũng chậm hơn 1,6 lần từ đầu đến cuối. Trên hàng đợi bất đồng bộ, đó là một ràng buộc về thông lượng; trong một cuộc gọi đồng bộ, đó là sự khác biệt giữa vòng xoay chờ và hết thời gian chờ. Các ghi chú phát hành Gemini 4 Carbon đề cập đến những gì đã được phát hành cùng mô hình, và nếu câu hỏi là liệu nó có thay thế thế hệ Gemini trước đó hay không, Gemini 4 Carbon so với Gemini 3.1 Pro là so sánh trực tiếp.

Những gì bài kiểm chuẩn không bao gồm

Bộ này không có harness nào về an ninh mạng hay phát hiện lỗ hổng. Nếu bạn đang đánh giá Carbon cho công việc bảo mật — quét, phân loại, tạo bản vá — thì chín bài đánh giá này chỉ cho bạn biết về khả năng suy luận của nó, và không nói lên điều gì về độ phủ (recall) của nó trên các lỗ hổng thực tế. Điều tương tự cũng đúng với việc lập trình dài hạn trên một kho mã cụ thể, thứ mà FrontierCode-AA chỉ xấp xỉ chứ không thay thế được.

Ở đây cũng không có phép đo nào về điều gì xảy ra dưới tải. Tỷ lệ lỗi trực tiếp trên lưu lượng OrcaRouter của Carbon là 39,7 phần trăm trong bảy ngày qua, so với 10,8 phần trăm của Fable 5.2. Một harness benchmark sẽ thử lại và hấp thụ điều đó; ứng dụng của bạn phải quyết định cách xử lý.

Tự tái tạo bất kỳ phần nào trong số này trên lưu lượng truy cập của riêng bạn

Bạn không thể tái tạo 64,7 giây của AA nếu không có harness của AA, và bạn cũng không nên thử: việc hữu ích là đo p50 và p95 của chính bạn rồi so sánh với mức 6,89 và 10,00 giây mà gateway công bố, vì điều đó cho bạn biết liệu các prompt của bạn là bình thường hay khó bất thường. Hãy ghi log thời gian đến token đầu tiên, số token đầu ra và số lượng non-2xx theo từng route. Nếu tỷ lệ lỗi của bạn cao hơn 39,7% mà gateway báo cáo trên tất cả nhà cung cấp, thì vấn đề nằm ở phía bạn trong yêu cầu.

Làm thế nào để sử dụng điều này khi đưa ra quyết định

Nếu công việc của bạn giống với chín bài đánh giá — tác vụ terminal, tự động hóa, tài liệu có ngữ cảnh dài, khoa học khó — thì Carbon ở mức 60 và $2.70 blended chính là lựa chọn đáng giá nhất trong nhóm v5.0.1 hiện tại, và thời gian suy nghĩ 64,7 giây là một chi phí bạn có thể chấp nhận bằng cách biến lệnh gọi thành bất đồng bộ. Nếu công việc của bạn mang tính tương tác, thì cùng mô hình đó với p50 gần bảy giây qua gateway lại là một câu chuyện hoàn toàn khác, và bài kiểm tra trung thực chính là lưu lượng của chính bạn chứ không phải bộ khung của AA.

Để đối đầu trực tiếp với mô hình đã đánh bại nó, Gemini 4 Carbon vs Claude Fable 5.1 đặt cặp đôi này cạnh nhau, và so sánh giá API LLM bao gồm việc mức giá hỗn hợp $2.70 nằm ở đâu so với phần còn lại của danh mục. Hãy kiểm tra lại phiên bản trên bất kỳ biểu đồ nào bạn dùng lại: v5.0.1 là thang điểm duy nhất mà con số 60 này thuộc về.