Các điểm chuẩn của GPT-6.1 Terra, đã sắp xếp: Nơi 48 ngang bằng 52 và nơi thì không

Con số tổng hợp của GPT-6.1 Terra là 48. GPT-6.1 Sol là 52, GPT-6 Astra là 53, GPT-5.6 Terra là 42 và GPT-6 Luna là 38. Đó là toàn bộ câu chuyện nếu bạn chỉ đọc dòng đầu của Artificial Analysis Intelligence Index — một mô hình tầm trung cao hơn mô hình tiền nhiệm sáu điểm và thấp hơn mô hình anh em đắt tiền hơn bốn điểm. Đó cũng là cách ít hữu ích nhất để đọc thông tin phát hành, bởi chính chỉ số đó che giấu khoảng cách 29 điểm về lập trình so với Astra, khoảng cách 7,6 điểm về sử dụng máy tính so với Claude Opus 5.5, và một mức cải thiện về ảo giác còn lớn hơn tổng mọi mức tăng về trí tuệ trong đợt ra mắt cộng lại.

Những nội dung sau đây tách biệt ba loại số: các phép đo độc lập từ Artificial Analysis, kết quả do OpenAI tự báo cáo mà chưa ai bên ngoài tái lập được, và các con số suy ra — phép tính chuyển một trong hai loại đầu thành chi phí hoặc tỷ lệ. Việc phân biệt này rất quan trọng, vì các bài đưa tin về màn ra mắt đã bắt đầu trộn lẫn chúng.

Ba điểm số mà mọi người sẽ nhắc đến

Artificial Analysis xếp GPT-6.1 Terra ở mức 48 trên Chỉ số Trí tuệ của mình, đứng thứ 25 trong số 221 mô hình, với 0,40 USD mỗi tác vụ chỉ số. GPT-6.1 Sol ở mức 52 và đứng thứ 13, với 0,72 USD mỗi tác vụ. GPT-6 Astra, mẫu chủ lực hiện tại, ở mức 53. GPT-5.6 Terra ở mức 42 và đứng thứ 53, với 1,40 USD mỗi tác vụ. GPT-6 Luna ở mức 38.

Đọc như một thang bậc, Terra là một nâng cấp thực sự: sáu điểm với chi phí chưa bằng một phần ba cho mỗi tác vụ hoàn thành, và cao hơn mười điểm so với hạng ngân sách. Đọc như một so sánh với Sol, nó đúng như bảng giá ngụ ý — yếu hơn bốn điểm, với giá token chỉ khoảng một nửa. Không có gì trong điểm tổng hợp mâu thuẫn với định vị của OpenAI.

Chỉ số tổng hợp cũng san phẳng những thứ lẽ ra không nên bị san phẳng. Bốn điểm chỉ số giữa Terra và Sol là 8% của thang đo; 29 điểm giữa Terra và Astra trên Coding Agent Index là 60% của thang đo đó. Một con số duy nhất không thể truyền tải cả hai, và các bài đưa tin ra mắt chỉ trích dẫn con số đầu tiên đã âm thầm bỏ qua con số thứ hai.

Nơi khoảng cách ngày càng lớn: lập trình

Trên Coding Agent Index v2.0 của Artificial Analysis, GPT-6.1 Terra đạt 48 điểm, GPT-6.1 Sol đạt 54 điểm và GPT-6 Luna đạt 31 điểm. Đó là mức kém Sol sáu điểm và dẫn trước Luna 17 điểm — cùng hình thái với chỉ số trí tuệ, nhưng khoảng cách tới đỉnh của dòng mô hình lớn hơn về mặt tương đối.

Những con số của nhà cung cấp kể một câu chuyện có lợi hơn, và chúng đúng là số liệu do nhà cung cấp đưa ra. OpenAI báo cáo tỷ lệ giải được 50,3% trên Terminal-Bench 4.0 ở mức nỗ lực tối đa, so với 21,5% của GPT-5.6 Terra. Đó là mức hơn gấp đôi, và là bước nhảy lớn nhất giữa các thế hệ trong bản phát hành này. Đây cũng là một benchmark tác vụ terminal, không phải thước đo tổng quát cho coding agent: Terra có thể gần bằng Sol ở các tác vụ shell ngắn, phạm vi rõ ràng, mà vẫn kém sáu điểm trên chỉ số rộng hơn, và cả hai điều đó đều đúng cùng lúc.

Cách hiểu thực tế là những cải thiện về lập trình của Terra tập trung ở những nơi nhiệm vụ có phạm vi giới hạn. "Chạy bộ kiểm thử này, đọc lỗi, vá tệp" là dạng bài của Terra. "Giữ một đợt tái cấu trúc mười lăm tệp trong đầu qua bốn mươi bước" thì không, và khuyến nghị của chính OpenAI vẫn hướng công việc lập trình phức tạp sang Sol hoặc Astra.

Nơi khoảng cách nhỏ hơn so với mức chỉ số cho thấy: sử dụng máy tính

Trên OSWorld 2.1, bộ đánh giá chuẩn về tự động hóa máy tính để bàn, GPT-6.1 Terra đạt 74,2% ở mức suy luận tối đa. GPT-6.1 Sol đạt 75,9% ở xhigh. GPT-6 Astra đạt 75,8%. Claude Opus 5.5 dẫn đầu các mô hình mà chúng tôi có thể so sánh với 81,8%, tiếp theo là Claude Fable 5.1 với 80,7%, Claude Sonnet 5.5 với 80,1% và Kimi K3.1 Pro với 79,6%.

Hai điều sau đây. Thứ nhất, Terra chỉ kém Sol 1,7 điểm trong tác vụ mà nó được xây dựng để làm, với mức giá token chỉ bằng một nửa — một sự đánh đổi tốt hơn nhiều so với hàm ý của khoảng cách trí tuệ bốn điểm. Thứ hai, toàn bộ dòng GPT-6 đều tụt hậu so với Anthropic về tự động hóa máy tính để bàn từ sáu đến bảy điểm, và Terra không thu hẹp được khoảng cách đó. Nếu sản phẩm của bạn là một tác nhân trình duyệt, phép so sánh đáng quan tâm không phải là Terra với Sol; mà là Terra với Claude Sonnet 5.5, vốn rẻ hơn trên mỗi token so với Sol và đạt điểm cao hơn 5,9 điểm trên OSWorld.

Các con số agentic của chính nhà cung cấp cũng cho thấy điều tương tự. Trên Agents' Last Exam v1, OpenAI báo cáo 57,6% cho Terra ở mức nỗ lực trung bình, so với 50,7% của GPT-5.6 Terra ở mức tối đa. Tuyên bố đi kèm — tương đương với GPT-6 Astra ở mức trung bình, với mức giá trên mỗi token chỉ bằng khoảng một phần mười — là một tuyên bố theo từng tác vụ, và đây là câu có ý nghĩa kinh tế nhất trong buổi ra mắt.

Con số thực sự đã thay đổi: ảo giác

Artificial Analysis đo lường tỷ lệ ảo giác Omniscience: tần suất một mô hình đoán bừa khi nó không biết. GPT-5.6 Terra đạt 88%. GPT-6.1 Terra đạt 38%. Độ chính xác tăng hai điểm trong cùng khoảng thời gian đó.

Mức giảm 50 điểm trong việc đoán mò còn lớn hơn bất kỳ mức tăng trí tuệ nào trong bản phát hành này, và đây là con số duy nhất thay đổi việc một mô hình an toàn để dùng cho những gì. Một mô hình bịa ra câu trả lời trong 88% số lần khi không chắc chắn thì không thể được tin cậy để trích xuất hóa đơn hay điền biểu mẫu mà không có người kiểm tra từng kết quả đầu ra. Ở mức 38%, nó vẫn đoán mò hơn một phần ba số lần — đây là một cải thiện, không phải giải pháp — nhưng kiểu thất bại đã chuyển từ "mặc định là sai" sang "lấy mẫu và kiểm chứng".

Điều đó có hệ quả trực tiếp về chi phí. Kiểm chứng là khoản mục ẩn trong mọi triển khai mô hình giá rẻ: nếu bạn phải kiểm tra 88% câu trả lời, chi phí nhân công sẽ lấn át khoản tiết kiệm token. Ở mức 38%, kiểm tra ngẫu nhiên trở nên khả thi, và con số $0,40 mỗi tác vụ bắt đầu giống chi phí thực hơn là nửa phần hiển thị của nó.

Tuyên bố của nhà cung cấp và những gì còn thiếu trong đó

Kết quả công bố của OpenAI, tất cả đều do nhà cung cấp tự thực hiện và không có kết quả nào được tái lập độc lập tại thời điểm viết bài:

• Terminal-Bench 4.0 — 50,3% ở mức nỗ lực tối đa, so với 21,5% của GPT-5.6 Terra.

Agents' Last Exam — cao hơn GPT-5.6 Terra 15 điểm ở mức nỗ lực trung bình, với chi phí chỉ khoảng một phần ba.

• MMMU-Pro — dẫn trước GPT-5.6 Terra ở mọi mức nỗ lực, đang tiệm cận Astra và Sol, mà không công bố điểm số tuyệt đối.

• Terminal-Bench-Science 0.1 — chênh không quá 5 điểm so với Claude Opus 5.5 với chi phí ước tính dưới một phần năm.

• Lời nhắc gây lỗi — 16,7% ở mức nỗ lực thấp so với 53,6%, và 4,3% ở mức tối đa, trong một bài kiểm tra nội bộ mà công ty chưa công bố.

Mô thức trong danh sách đó đáng được gọi tên. Hai tuyên bố mạnh nhất — MMMU-Pro và bài kiểm tra tỷ lệ lỗi — là hai tuyên bố không gắn với con số tuyệt đối nào. “Tiệm cận Astra” và “gần với Sol” là những phát biểu so sánh không thể kiểm chứng nếu không có các con số phía sau. Những tuyên bố có số liệu cứng là những tuyên bố mà bên thứ ba có thể tái lập, và Artificial Analysis đã tái lập được phần chi phí: $0.40 mỗi tác vụ, $1.40 cho phiên bản tiền nhiệm.

Tốc độ là số độc lập không có trong chỉ mục

Artificial Analysis đo GPT-6.1 Terra đạt 90,9 token đầu ra mỗi giây với 133,64 giây để có token đầu tiên trên bài đánh giá suy luận của nó. GPT-6.1 Sol được đo ở 73,5 token mỗi giây và 284,31 giây. Đó là thông lượng cao hơn khoảng 24% và lợi thế về thời gian đến token đầu tiên lớn hơn gấp đôi một chút — một phép đo độc lập, không phải tuyên bố của nhà cung cấp, và là lập luận khách quan mạnh nhất cho Terra trong toàn bộ đợt phát hành.

Với một sản phẩm chat, thông lượng hầu như không quan trọng; với một vòng lặp sử dụng máy tính cần hai mươi bước mỗi tác vụ, đó là sự khác biệt giữa một tác vụ 40 giây và một tác vụ 90 giây. Chỉ số này không định giá độ trễ, đó là lý do một mô hình xếp hạng 25 vẫn có thể là lựa chọn mua phù hợp cho một agent xếp hạng 13 về chất lượng.

Cách đọc chỉ số mà không bị đánh lừa

• Hãy coi chỉ số tổng hợp như một bộ lọc, không phải bảng xếp hạng. Nó cho bạn biết những mô hình nào đang có mặt trong cuộc so tài; nó không cho bạn biết mô hình nào sẽ giành chiến thắng trong tác vụ của bạn.

Hãy xem riêng các điểm thành phần về lập trình và sử dụng máy tính. Hồ sơ năng lực của Terra rộng một cách bất thường: gần ngang Sol về tự động hóa máy tính để bàn, thấp hơn sáu điểm về lập trình và thấp hơn bốn điểm về tổng thể.

• Kiểm tra lại các giá trị tuyệt đối so với một ngày duy nhất. Chỉ số này được chuẩn hóa lại theo định kỳ và các bài viết từ những tuần khác nhau lại trích dẫn những con số khác nhau cho cùng một mô hình.

• Hãy coi trọng tỷ lệ ảo giác ngang với điểm trí tuệ nếu khối lượng công việc của bạn có chi phí xác minh. Mức cải thiện 50 điểm sẽ thay đổi mô hình vận hành, chứ không chỉ điểm số.

• Hãy đo lường tác vụ của chính bạn. Các con số chi phí trên mỗi tác vụ từ Artificial Analysis là một đại diện được xây dựng trên các prompt của họ; các prompt của bạn sẽ tạo ra một tỷ lệ khác giữa giá token và số lần thử.

Không điều nào trong số này khiến GPT-6.1 Terra trở thành một mô hình tồi. Nó khiến nó trở thành một mô hình cụ thể: nhanh, rẻ, ít ảo giác hơn nhiều, gần với người anh em đắt tiền hơn của nó trên màn hình và xa mô hình hàng đầu về mã. Điểm tổng hợp ghi 48. Các điểm thành phần cho biết bạn đang mua con 48 nào.