Con số lớn nhất của GPT-6.1 Terra là 38%: Tỷ lệ ảo giác, không phải chỉ số IQ

Thông tin đưa tin về bản ra mắt GPT-6.1 Terra đã tập trung vào mức tăng trí tuệ sáu điểm và một card có giá bằng nửa. Con số thực sự thay đổi cách người ta có thể sử dụng mô hình là 38% — thước đo của Artificial Analysis về tần suất Terra đoán khi nó không biết, giảm từ 88% ở GPT-5.6 Terra. Mức giảm năm mươi điểm về việc đoán mò lớn hơn mọi mức tăng chất lượng trong bản phát hành cộng lại, và nó đưa mô hình từ chỗ “coi như câu trả lời bị bịa ra” sang “lấy mẫu và xác minh”.

Bài viết này tách bạch hai thứ khác nhau mà người ta gọi là ảo giác trong bản phát hành này — phép đo toàn tri độc lập và bài kiểm tra lỗi nội bộ của OpenAI — đồng thời tính toán cái giá của tỷ lệ đoán mò 38% trong một quy trình xác minh thực tế.

Chỉ số 38% đo lường điều gì

Đánh giá AA-Omniscience của Artificial Analysis đặt ra cho các mô hình những câu hỏi mà chúng có thể không biết câu trả lời, và đếm xem chúng vẫn đưa ra câu trả lời đầy tự tin bao nhiêu lần. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. Độ chính xác tăng hai điểm trong cùng khoảng thời gian.

Đọc cùng nhau, hai dữ kiện đó mô tả một mô hình đã trở nên sẵn sàng nói “Tôi không biết” hơn — chứ không phải một mô hình đã trở nên hiểu biết hơn một cách đáng kể. Chỉ số trí tuệ tăng sáu điểm, từ 42 lên 48. Hành vi không trả lời thay đổi năm mươi. Đối với bất kỳ ai dùng mô hình để trích xuất dữ kiện, đó là thay đổi đáng giá hơn.

Vẫn chưa tốt. Ba mươi tám phần trăm nghĩa là trong một bộ câu hỏi mà mô hình không thể trả lời, hơn một trong ba câu vẫn nhận được một câu trả lời sai đầy tự tin. Một mô hình từ chối trả lời 62% số lần khi không biết thì an toàn hơn nhiều so với mô hình chỉ từ chối 12% số lần — và vẫn không phải là thứ nên đưa ra trước mặt khách hàng mà không kiểm tra.

Số của nhà cung cấp là một bài kiểm tra khác

Con số nổi bật của OpenAI là mức giảm 37 điểm trên các lời nhắc được thiết kế để gây ra lỗi: từ 53,6% trên GPT-5.6 Terra ở mức nỗ lực thấp xuống 16,7% trên Terra, và 4,3% ở mức nỗ lực tối đa. Bài kiểm tra đó là nội bộ, chưa được công bố và được xây dựng theo hướng đối kháng. Nó đo lường liệu mô hình có thể chống lại một lời nhắc được thiết kế để khiến nó thất bại hay không — chứ không phải liệu nó có bịa ra sự kiện khi thiếu thông tin hay không.

Cả hai con số đều có thể đúng. Bài kiểm tra của nhà cung cấp đo khả năng chống chịu với các lời nhắc đối kháng; bài kiểm tra độc lập đo mức độ hiệu chuẩn khi thiếu hiểu biết. Chúng có tương quan nhưng không thể thay thế cho nhau, và các bài đưa tin về đợt ra mắt phần lớn đã coi cái thứ nhất là bằng chứng cho cái thứ hai. Không phải vậy.

Cái giá phải trả cho tỷ lệ đoán 38%

Kiểm tra xác minh là khoản mục chi phí ẩn trong mọi triển khai mô hình giá rẻ, và khoản này tăng theo tỷ lệ đoán mò. Hãy lấy ví dụ một quy trình trích xuất tài liệu xử lý 100.000 trang mỗi tháng, với chi phí kiểm tra chọn mẫu thủ công là 2 đô la cho mỗi trang được kiểm tra.

• Với tỷ lệ đoán trúng 88%, bạn không thể kiểm tra ngẫu nhiên. Bạn phải kiểm tra mọi thứ: 100.000 trang × $2 = $200.000 mỗi tháng. Chi phí token không thành vấn đề.

Ở mức 38%, một cơ chế lấy mẫu trở nên khả thi. Kiểm tra 20% số trang: 20,000 × $2 = $40,000 mỗi tháng, với tỷ lệ bỏ sót đã biết trên phần còn lại.

• Ở mức giả định 10%, việc kiểm tra 5% sẽ tốn $10,000 mỗi tháng và vẫn giới hạn được tỷ lệ lỗi.

Chi phí token của chính pipeline theo mức giá của Terra — giả sử 20.000 token đầu vào và 500 token đầu ra mỗi trang — là 2.250 đô la cho mỗi 100.000 trang. Dòng xác minh lớn hơn dòng mô hình từ mười đến chín mươi lần. Đó là khung đúng để so sánh các mô hình rẻ: hóa đơn là mô hình cộng với việc rà soát, và việc rà soát bị chi phối bởi tỷ lệ phỏng đoán.

Những nhiệm vụ nào chấp nhận việc đoán?

• Khoan dung — tóm tắt một tài liệu nằm hoàn toàn trong ngữ cảnh (câu trả lời được căn cứ vào đầu vào), phân loại với một tập nhãn cố định, soạn thảo mà con người biên tập, trích xuất với một lược đồ từ chối đầu ra sai định dạng.

• Không khoan nhượng — trả lời các câu hỏi thực tế mà không truy xuất nguồn, các con số tài chính, trích dẫn pháp lý, liều lượng y khoa, bất cứ điều gì mà ở đó một câu trả lời sai nhưng nghe có lý còn tệ hơn là không trả lời.

Ranh giới phân chia không phải là điểm trí tuệ của mô hình; mà là liệu câu trả lời có thể được kiểm chứng dựa trên một nguồn hay không. Tỷ lệ đoán 38% trong một tác vụ mà mọi đầu ra đều được xác minh là một vấn đề hiệu quả. Trong một tác vụ mà đầu ra đi thẳng đến khách hàng, đó là một rủi ro.

Cách đo lường nó trên dữ liệu của riêng bạn

• Xây dựng một bộ câu hỏi mà mô hình không thể trả lời từ ngữ cảnh. Tỷ lệ đoán được đo trên các mục không thể trả lời, không phải trên toàn bộ bộ kiểm tra — một bài kiểm tra mà mọi câu hỏi đều có đáp án đo độ chính xác, không phải độ hiệu chuẩn.

• Chấm điểm ba kết quả, không phải hai: đúng, sai, không trả lời. Một mô hình trả lời “unknown” đang hành xử đúng với một mục không thể trả lời.

• So sánh với GPT-5.6 Terra trên cùng một bộ câu hỏi. Mức cải thiện năm mươi điểm là một tuyên bố độc lập với nhà cung cấp, nhưng nó được đo trên các câu hỏi của Artificial Analysis; câu hỏi của bạn có thể khác.

• Hãy chú ý đến thiết lập nỗ lực. Các khẳng định về tỷ lệ lỗi gắn với từng mức nỗ lực cụ thể, và hành vi từ chối trả lời cũng có khả năng thay đổi theo nỗ lực suy luận — một lần chạy với nỗ lực thấp có thể đoán nhiều hơn so với lần chạy nỗ lực tối đa.

Gợi ý để kiềm chế trả lời

Hiệu chỉnh một phần là thuộc tính của prompt. Ba mẫu giúp giảm một cách đáng tin cậy việc đoán đầy tự tin:

• Cho mô hình một lối thoát rõ ràng — “nếu câu trả lời không có trong ngữ cảnh được cung cấp, hãy trả lời UNKNOWN” — và tính điểm cho câu trả lời đó là đúng đối với các mục không thể trả lời.

• Yêu cầu trích dẫn cho mọi khẳng định thực tế và từ chối các kết quả đầu ra có trích dẫn không khớp với ngữ cảnh.

• Hãy yêu cầu một nhãn độ tin cậy và chuyển các câu trả lời có độ tin cậy thấp đến một mô hình thứ hai hoặc một người, thay vì yêu cầu mô hình rẻ phải chắc chắn.

Mỗi lựa chọn trong số này đều tốn token và thêm một giai đoạn. Mỗi lựa chọn đều rẻ hơn so với việc một câu trả lời sai đến được tay khách hàng, và chính con số 38% là thứ khiến sự đánh đổi này đáng được đưa vào tính toán chi phí thay vì bỏ qua.

Vì sao điều này quan trọng hơn chỉ số

Mức tăng sáu điểm về trí tuệ sẽ thay đổi những tác vụ mà một mô hình có thể làm được. Mức thay đổi năm mươi điểm về khả năng đoán sẽ thay đổi những tác vụ mà nó có thể làm mà không cần con người can thiệp. Đối với một quyết định định tuyến, yếu tố thứ hai là trục hữu ích hơn: nó quyết định liệu mô hình rẻ có thể không cần giám sát khi làm một tác vụ hay không, và giám sát chính là chi phí chiếm phần lớn hóa đơn vận hành sản xuất.

GPT-6.1 Terra không phải là một mô hình đã ngừng ảo giác. Đây là một mô hình ảo giác ít hơn một nửa lần so với mô hình tiền nhiệm, với mức giá bằng một nửa, cùng mốc kiến thức mới hơn. Sự kết hợp đó thực sự hữu ích — và đó là một câu chuyện về kiểm chứng, không phải một câu chuyện về năng lực.

Những gì bạn có thể chạy hôm nay

GPT-6.1 Terra hiện chưa có trên danh mục OrcaRouter tại thời điểm viết bài, nên hành vi từ chối trả lời của nó phải được đo trực tiếp với OpenAI. Mọi thứ được dùng để so sánh đều đang chạy thật trên phía chúng tôi với mức phụ thu 0% so với giá niêm yết của nhà cung cấp — GPT-5.6 Terra ở mức $2/$12, GPT-6.1 Sol ở mức $2/$10, GPT-6 Astra ở mức $10/$50, GPT-6 Luna ở mức $0.10/$0.50, Claude Sonnet 5.5 ở mức $2/$10 — và thế là đủ để xây dựng bộ hiệu chuẩn cùng mô hình chi phí xác minh trước khi Terra xuất hiện.

Con số cần đưa vào thí nghiệm đó không phải là 48. Mà là 38, và câu hỏi cần đặt ra là ngân sách đánh giá của bạn sẽ ra sao ở tỷ lệ đoán đó.