Claude Fable 5.2 Benchmark: Cái giá về thời gian thực của mức 65

Claude Fable 5.2 đạt 65 điểm trên Artificial Analysis Intelligence Index v5.0.1 — đứng đầu trong số 78 mô hình, hơn Gemini 4 Carbon năm điểm. Năm điểm đó đi kèm với 267 giây để có token đầu tiên, 46,8 phút thời gian thực cho mỗi tác vụ và 26,54 USD chi phí cho mỗi lần chạy chỉ số, và mỗi con số trong đó chính là hình hài thực tế của điểm số. Đây là những gì bộ khung đo lường ghi nhận, và cách tận dụng nó. Trang API Claude Fable 5.2 có các endpoint và mức giá; bài viết này nói về bộ đánh giá chuẩn.

Chín đánh giá

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Ba nhiệm vụ terminal và tự động hóa, hai nhiệm vụ suy luận dựa trên tài liệu với đầu vào dài, hai đánh giá khoa học và toán học khó, một đánh giá lập trình tiên phong. Không có bộ khung tác nhân web, không mô phỏng hỗ trợ nhiều lượt, không phát hiện lỗ hổng bảo mật.

Điểm số và thang điểm của nó

65, hạng 1 trong 78, trên v5.0.1. Chỉ những mô hình được chấm lại trên v5.0.1 mới thuộc cùng một bảng; điểm của v4.3 và v4.3.2 là một bộ đánh giá khác và mọi biểu đồ trộn chúng đều không hợp lệ. Trong nhóm hiện tại, thứ tự ở đầu là Fable 5.2 với 65 và Gemini 4 Carbon với 60, còn phần còn lại của nhóm ở xa hơn phía sau hoặc chưa được chấm lại.

Khoảng cách năm điểm trên một chỉ số gồm chín đánh giá là có thật nhưng hẹp. Cách hiểu hữu ích không phải là “tốt hơn năm phần trăm” mà là “một lợi thế khiêm tốn trên một bộ kiểm thử khó”, và lý do để trả tiền cho nó là phương sai chứ không phải năng lực thô: trong những tác vụ mà một câu trả lời sai làm vô hiệu hóa toàn bộ lượt chạy, một lợi thế nhỏ về xác suất thành công sẽ cộng dồn qua các bước.

Đồng hồ treo tường

267 giây để có token đầu tiên, xếp hạng 76 trong số 77 mô hình có dữ liệu độ trễ. 46,8 phút tổng cộng mỗi tác vụ. 97 token mỗi giây đầu ra khi bắt đầu, nhanh hơn 35% so với con số 72 của Carbon và gần như không chiếm phần nào trong thời gian đã trôi qua.

Phân phối mới là phần quan trọng. Qua lưu lượng trực tiếp của OrcaRouter, cùng một mô hình báo cáo p50 là 8.09 giây đến token đầu tiên và p95 là 10.00 giây trên 35,6 triệu token trong bảy ngày. Bộ kiểm thử và cổng đang đo lường các tập hợp khác nhau: một bên cho mô hình suy nghĩ ở mức nỗ lực tối đa trên HLE-Diamond, bên kia là yêu cầu trung vị ở bất kỳ mức nỗ lực nào người gọi đặt. Nếu bạn chạy Fable 5.2 ở mức nỗ lực tối đa, bạn sẽ tái tạo con số của AA; ở mức nỗ lực thấp, bạn sẽ thấy một con số gần với con số của cổng.

Tiền

$26.54 mỗi lần chạy chỉ số với $8.00 mỗi triệu đầu vào và $40.00 mỗi triệu đầu ra — xếp hạng 77 trên 77, đắt nhất trong bảng. Gemini 4 Carbon tốn $5.48 cho cùng chín lần đánh giá. Đó là mức chi gấp 4.8 lần để có năm điểm chỉ số, và đây là tỷ lệ hữu ích nhất trong so sánh này.

AA báo cáo 275 triệu token đầu ra cho lần chạy với độ rườm rà ở mức 0,97 phần trăm. Lưu ý rằng tỷ lệ phần trăm và số lượng chỉ theo hai hướng ngược nhau so với 2,69 phần trăm và 205 triệu token của Carbon, đó là lý do không nên trích dẫn tỷ lệ phần trăm này như một luận điểm về tính súc tích.

Tỷ lệ khiến việc so sánh trở nên hữu dụng là $0.41 chi tiêu benchmark cho mỗi điểm chỉ số, so với $0.09 của Carbon. Dù bạn kết luận được gì từ đó, phép tính buộc phải đưa ra quyết định định tuyến thay vì quyết định dùng một mô hình duy nhất: ở mức giá này, mô hình chỉ là một hạng, không phải lựa chọn mặc định.

Những gì điểm số không nói cho bạn biết

Không có đánh giá an ninh mạng nào trong bộ này, nên không có gì ở đây nói về khả năng ghi nhớ lỗ hổng hoặc chất lượng bản vá — điều này có liên quan nếu đó là lý do bạn đang xem xét một mô hình tiên phong. Không có đánh giá tác nhân chạy dài với các lệnh gọi công cụ qua nhiều lượt, vốn là khối lượng công việc mà Fable 5.2 thực sự được quảng bá; các tác vụ terminal chỉ xấp xỉ nó chứ không tái tạo lại nó.

Ngoài ra cũng không có đo lường độ tin cậy. Lưu lượng trực tiếp trên OrcaRouter cho thấy tỷ lệ phản hồi không phải 2xx là 10,8% trên tất cả các nhà cung cấp thượng nguồn trong bảy ngày, so với 39,7% ở Carbon. Một harness benchmark có thể hấp thụ điều đó bằng cơ chế thử lại; ứng dụng của bạn sẽ không làm vậy trừ khi bạn tự xây dựng nó.

Đọc nó như một quyết định

Nếu tác vụ của bạn trông giống chín bài đánh giá và bạn có thể chạy nó bất đồng bộ, thì 65 lần với $26.54 mỗi lần chạy là hợp lý cho các trường hợp khó và lãng phí cho các trường hợp dễ — hãy định tuyến theo độ khó và dùng mô hình rẻ hơn cho phần lớn. Nếu tác vụ của bạn có tính tương tác, thì số liệu của harness không phải số liệu của bạn; p50 8,09 giây của gateway mới là con số cần thiết kế hướng tới, và mức effort là biến quyết định việc bạn đạt gần tám giây hay gần bốn phút.

Đối với màn đối đầu trực tiếp, Claude Fable 5.2 vs Claude Fable 5.1bao gồm thế hệ trước ở mức giá cao hơn, và Gemini 4 Carbon vs Claude Fable 5.1bao gồm cặp khác nhà cung cấp. Danh sách mô hình LLMcó phần còn lại của nhóm v5.0.1 với id và giá; hãy kiểm tra lại phiên bản chỉ mục trên bất kỳ biểu đồ nào bạn tái sử dụng, vì điểm v4.3 trong cùng bảng sẽ khiến việc so sánh không còn giá trị.