GPT-6.1 Terra cho Tác nhân Trình duyệt: Phép toán từng bước đằng sau 74,2%

Lời quảng bá của OpenAI cho GPT-6.1 Terra không phải là nó thông minh hơn. Mà là nó có thể vận hành một màn hình — điền biểu mẫu, đọc bản vẽ kỹ thuật, nhấp chuột qua một ứng dụng — và làm điều đó với chi phí thấp và nhanh chóng. Bài kiểm chuẩn củng cố tuyên bố này là OSWorld 2.1, trong đó Terra đạt 74,2% ở mức nỗ lực suy luận tối đa, chỉ kém GPT-6.1 Sol ở xhigh 1,7 điểm và kém GPT-6 Astra 1,6 điểm. Tuy nhiên, con số quan trọng đối với một agent không phải là điểm số nhiệm vụ. Mà là độ tin cậy theo từng bước được ngụ ý bởi điểm số đó, vì các agent thất bại theo từng bước, chứ không phải theo từng nhiệm vụ.

Bài viết này mổ xẻ con số 74,2%: OSWorld đo cái gì, con số đó hàm ý gì ở từng bước, một tác vụ hai mươi bước tốn những gì, vòng lặp vỡ ở đâu, và những hàng rào bảo vệ nào giữ cho một agent chính xác 74% không biến thành một sự cố chính xác 0%.

Bảng điểm nói gì

• GPT-6.1 Terra — 74,2% trên OSWorld 2.1 khi nỗ lực tối đa.

• GPT-6.1 Sol — 75,9% ở mức xhigh.

• GPT-6 Astra — 75,8%.

• Claude Opus 5.5 — 81,8%.

• Claude Sonnet 5.5 — 80,1%.

• Kimi K3.1 Pro — 79,6%.

Ba cách đọc đáng được tách riêng. Trong dòng GPT-6, Terra chỉ cách các phiên bản anh em đắt tiền hơn của mình một sai số làm tròn — khoảng chênh giá hầu như không mua được gì trên tự động hóa máy tính để bàn. Xét trên các nhà cung cấp, cả dòng sản phẩm đều kém Anthropic từ sáu đến bảy điểm. Và tuyên bố gắn với nhà cung cấp của chính Terra — gần ngang bằng với GPT-6 Astra ở mức medium trên Agents’ Last Exam, với giá mỗi token chỉ bằng một phần mười — là tuyên bố theo từng tác vụ mà con số OSWorld phần lớn ủng hộ.

Từ điểm nhiệm vụ đến độ tin cậy theo từng bước

Các nhiệm vụ OSWorld được tính điểm đạt hoặc không đạt sau một chuỗi hành động. Nếu một nhiệm vụ mất khoảng hai mươi bước và Terra hoàn thành 74,2% nhiệm vụ từ đầu đến cuối, thì tỷ lệ thành công ước tính trên mỗi bước là căn bậc hai mươi của 0,742 — khoảng 98,5%. Đây là một minh họa số học, không phải một phép đo: một số nhiệm vụ ngắn hơn, một số dài hơn, và các lần thất bại không độc lập. Nhưng nó đặt đúng quy mô. Một mô hình trông giống mô hình 74% thực chất là mô hình 98,5% mỗi bước, và khoảng cách đó chính là nơi thiết kế agent diễn ra.

Hãy tính toán theo chiều ngược lại cho một quy trình gồm năm mươi bước. Với cùng tỷ lệ mỗi bước, xác suất thành công từ đầu đến cuối giảm xuống còn khoảng 47%. Ở tám mươi bước, con số này là 30%. Điểm số của tác vụ không thay đổi; quy trình thì có, và đó là lý do tại sao “đủ tốt cho một tác nhân” phụ thuộc hoàn toàn vào việc tác nhân chạy không giám sát trong bao lâu.

Chi phí của một nhiệm vụ

Giả sử mỗi bước có 3.000 token đầu vào — một ảnh chụp màn hình cùng trạng thái tác vụ và lịch sử hành động — và 150 token đầu ra cho hành động, qua hai mươi bước.

• Mỗi tác vụ: 60.000 đầu vào với $1 mỗi triệu là $0,06; 3.000 đầu ra với $5 mỗi triệu là $0,015. Tổng cộng $0,075.

• Với tỷ lệ thử lại 30%: khoảng $0,0975 cho mỗi tác vụ thành công, hoặc $98 cho mỗi nghìn tác vụ.

Khối lượng công việc tương tự trên GPT-6.1 Sol ở mức $2/$10: $0.15 mỗi tác vụ, $195 mỗi nghìn.

• Với GPT-6 Astra ở mức $10/$50: $0,75 mỗi tác vụ, $975 mỗi nghìn.

• Trên Claude Opus 5.5 với mức $4/$20: $0.30 mỗi tác vụ, $390 mỗi nghìn.

Các giả định về token quan trọng hơn tỷ lệ giá. Ảnh chụp màn hình chi phối chi phí đầu vào, và kích thước ảnh chụp màn hình là một lựa chọn: một tệp PNG 1440×900 đầy đủ tốn nhiều token hơn đáng kể so với một vùng quan tâm đã được cắt. Một pipeline gửi một ảnh chụp màn hình đã cắt ở mỗi bước thay vì toàn bộ màn hình có thể giảm một nửa số token đầu vào, điều này giảm một nửa chi phí mỗi tác vụ và thay đổi thứ hạng so với các mô hình chính xác hơn.

Độ trễ chính là sản phẩm.

Artificial Analysis đo Terra ở mức 90,9 token đầu ra mỗi giây và 133,64 giây để có token đầu tiên trên bài đo chuẩn suy luận của mình, so với 73,5 token mỗi giây và 284,31 giây của GPT-6.1 Sol. Những con số độ trễ đó đến từ một tác vụ suy luận nỗ lực tối đa, nên chúng phóng đại độ trễ mỗi bước trong vòng lặp tác nhân — nhưng tỷ lệ, chỉ hơn 2 lần một chút, là chỉ báo phù hợp về việc mỗi mô hình suy nghĩ bao lâu trước khi hành động.

Trong một vòng lặp tác nhân, thời gian suy nghĩ cộng dồn qua hai mươi bước trong mỗi tác vụ. Nếu Sol mất bốn giây mỗi bước còn Terra mất hai giây, một tác vụ hai mươi bước kết thúc trong 40 giây thay vì 80 giây. Nhân viên OpenAI Victor E. Nunez đã báo cáo rằng Terra hoàn thành một biểu mẫu web nhanh hơn Sol hơn hai phút; đó là một giai thoại, không phải một phép đo chuẩn, nhưng đó là kiểu khác biệt mà người dùng nhận ra dù không được thông báo.

Nơi vòng lặp bị phá vỡ

• Hành động không thể hoàn tác. Nộp, gửi, xóa, thanh toán — bất kỳ hành động nào có tác động phụ đều cần một cổng phê duyệt. Không có điểm benchmark nào thay đổi được điều đó.

• Giao diện mơ hồ. Hai nút đều được dán nhãn “Continue” sẽ đánh bại một mô hình ở bất kỳ mức giá nào; cách khắc phục là vệ sinh prompt và ảnh chụp màn hình.

• Chân trời dài. Phép toán theo từng bước ở trên chính là toàn bộ lập luận chống lại công việc dài hạn không có giám sát ở mức 98,5% mỗi bước.

• Ảnh chụp màn hình cũ. Một khung hình được chụp trước khi bố cục thay đổi là sai, và một khung hình sai dẫn đến một cú nhấp sai đầy tự tin.

• Trạng thái tồn tại xuyên suốt các tab. Các tác nhân dựa trên ảnh chụp màn hình chỉ thấy một cửa sổ tại một thời điểm; quy trình làm việc nhiều tab cần theo dõi trạng thái rõ ràng bên ngoài mô hình.

Các rào chắn bảo vệ giúp 74% có thể phát hành

• Giới hạn số bước, không chỉ giới hạn tiền. Hai mươi vừa là ngân sách vừa là biện pháp kiểm soát an toàn cùng lúc; một vòng lặp không thể kết thúc là dạng lỗi tốn kém nhất.

• Kiểm soát tác động phụ. Chuyển mọi hành động làm thay đổi trạng thái bên ngoài qua con người hoặc qua kiểm tra chính sách.

• Ghi lại khung hình cùng với hành động. Khi tác nhân làm sai, thứ hữu ích duy nhất là ảnh chụp màn hình mà nó đã thao tác trên đó.

• Sử dụng structured outputs cho schema hành động. Một hành động dạng free-text là không thể phân tích được đúng vào ngay thời điểm bạn cần sự chắc chắn.

• Đo lường theo từng bước, không phải theo từng tác vụ. Một hồi quy 2% mỗi bước là vô hình trong điểm số tác vụ và làm tăng gấp đôi tỷ lệ thất bại qua năm mươi bước.

• Giữ một mô hình thứ hai cho các bước khó. Dùng Terra cho các khung thông thường và một mô hình mạnh hơn cho những khung mơ hồ sẽ rẻ hơn so với dùng Terra kèm thử lại.

Hôm nay chạy gì

GPT-6.1 Terra hiện chưa có trong danh mục của OrcaRouter tại thời điểm viết bài, vì vậy nhánh Terra phải được thử nghiệm trực tiếp với OpenAI. Bộ so sánh đang chạy thực tế ở phía chúng tôi với mức phụ giá 0% so với giá niêm yết của nhà cung cấp — GPT-6.1 Sol ở mức $2/$10, GPT-6 Astra ở mức $10/$50, Claude Opus 5.5 ở mức $4/$20, Claude Sonnet 5.5 ở mức $2/$10 và Kimi K3.1 Pro ở mức $2/$10 — tất cả trên một khoá duy nhất với tính năng chuyển đổi dự phòng tự động.

Thí nghiệm đáng để chạy không phải là “mô hình nào đạt điểm cao nhất trên OSWorld”, mà là bộ nhiệm vụ của riêng bạn, được chấm điểm theo từng bước, với chính sách ảnh chụp màn hình được giữ nguyên. Phép đo đó quyết định liệu mức giá và tốc độ của Terra có đáng với khoảng cách 7,6 điểm so với Claude Opus 5.5 trên những nhiệm vụ bạn thực sự chạy hay không — và đó là con số duy nhất mà một sản phẩm agent có thể được xây dựng dựa trên.