Một thẻ tiêu đề được tạo có nội dung 'GPT-6.2 Lý luận được bảo toàn: Sửa tiền tố, trả gấp đôi', với phụ đề nói về việc các mục lý luận bị ràng buộc với lịch sử hội thoại đứng trước chúng, phía trên ba hàng được đánh số: rằng ràng buộc bắt đầu với GPT-6.2 Astra và GPT-6.2 Sol; rằng bốn chỉnh sửa tiền tố thông thường sẽ loại bỏ các mục; và rằng phạm vi bị ảnh hưởng tính phí $2.00 mỗi triệu token đầu vào thay vì $0.10.
Guides & Insights

GPT-6.2 Suy luận được bảo toàn: Chỉnh sửa tiền tố, trả giá gấp đôi

Tác giả

Elias Hawthorne

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Vào ngày 17 tháng 11 năm 2026, O​penAI đã phát hành GPT-6.2 Astra và GPT-6.2 Sol cùng với một thay đổi đối với Responses API mà không liên quan gì đến chất lượng mô hình mà hoàn toàn liên quan đến số tiền bạn phải trả cho nó. Bắt đầu từ hai mô hình này, một mục suy luận được gắn với lịch sử hội thoại phía trước nó. Chỉnh sửa bất kỳ nội dung nào trước đó trong bản ghi — rút ngắn kết quả của công cụ, viết lại thông điệp dành cho nhà phát triển, thay ba lượt cũ bằng một bản tóm tắt — thì API sẽ loại bỏ các mục suy luận theo sau, như một biện pháp bảo vệ. Sau đó, mô hình phải làm lại những việc mà nó đã làm trước đó. Không có lỗi, không có cảnh báo ở thời điểm yêu cầu và không có mục chi tiết nào. Bạn nhận được một câu trả lời kém hơn một chút và một hóa đơn lớn hơn, và thật khó để liên hệ hai điều đó với nhau.

Đây không phải là một đợt ngừng hỗ trợ mà bạn có thể lên lịch. Đó là một hành vi đã hiện diện với bất kỳ ai gọi gpt-6.2-astra hoặc gpt-6.2-sol ngay hôm nay, và nó sẽ đến với mọi nhóm thực hiện nâng cấp, vì thế nó xứng đáng được đọc như một mục di trú chứ không phải một chú thích cuối trong nhật ký thay đổi.

Điều gì thực sự đã thay đổi trong Responses API

Các mô hình trước đây vẫn giữ các mục suy luận của mình qua một lần chỉnh sửa tiền tố. Bạn có thể viết lại một tin nhắn developer giữa các lượt, hoặc thay mười lượt trao đổi đầu tiên bằng một bản tóm tắt, và phần suy luận mà mô hình đã tạo ra sẽ vẫn nằm trong ngữ cảnh. Điều đó dễ dãi đúng theo kiểu mà mã agent cẩu thả: bất kể bạn gửi gì, mô hình vẫn được hưởng lợi từ suy nghĩ trước đó của nó.

Với hành vi mới, API sẽ kiểm tra lịch sử và khi phát hiện tiền tố phía trước một mục suy luận đã thay đổi, nó sẽ loại bỏ mục đó. Tài liệu của chính O​penAI mô tả hệ quả bằng ngôn ngữ đơn giản — mô hình "có thể cần suy luận lại một số phần," điều này "có thể làm tăng mức sử dụng token, chi phí và độ trễ," và chất lượng câu trả lời có thể giảm "nếu mô hình không thể khôi phục phần suy luận bị mất."

Bốn yếu tố kích hoạt mà OpenAI liệt kê đáng để ghi nhớ, vì ba trong số đó trông giống mã gọn gàng hơn là một thay đổi hành vi:

• Chỉnh sửa các mục đầu vào trước đó — cắt bớt kết quả của công cụ, xóa một lượt, hoặc thay thế một khối lịch sử bằng bản tóm tắt.

• Thay đổi công cụ — thêm, xóa hoặc sắp xếp lại định nghĩa công cụ giữa cuộc trò chuyện.

• Thay đổi text.format — hoán đổi lược đồ đầu ra giữa chừng trong một phiên.

• Thay đổi reasoning.effort — hạ thấp thông số cho một lượt tiếp theo ít tốn kém, đây là cách tối ưu chi phí phổ biến nhất trong vòng lặp agent.

Lưu ý những gì không có trong danh sách. Việc thêm nội dung mới sau một mục suy luận là không sao. Việc xóa toàn bộ mục cũng không sao. Quy tắc mang tính định hướng: API nhìn ngược lại từ mỗi mục suy luận, và bất kỳ thứ gì bị di chuyển lên trước nó đều làm nó mất hiệu lực.

Một chỉnh sửa tiền tố bao gồm bốn thay đổi mã thông thường.

Mỗi một trong bốn tác nhân kích hoạt đó đều là việc một kỹ sư có năng lực làm có chủ đích. Đó chính là vấn đề. Chỉnh sửa tiền tố không phải là sai lầm bạn mắc một lần; đó là một mẫu thiết kế bạn áp dụng vì nó đúng ở mọi khía cạnh khác.

Trường hợp cắt ngắn ngữ cảnh là rõ ràng nhất. Một tác nhân chạy dài lấp đầy cửa sổ của nó, nên bạn bỏ những lượt cũ nhất hoặc tóm tắt chúng. Đó là một thói quen tốt, nó tiết kiệm token đầu vào, và trên GPT-6 Sol thì việc này miễn phí. Trên GPT-6.2, nó xóa phần lý luận xuất hiện sau những lượt đó, và mô hình bắt đầu bước tiếp theo mà đã quên vì sao nó chọn công cụ mà nó đã chọn.

Trường hợp núm chỉnh nỗ lực còn tệ hơn, vì đó là một cơ chế kiểm soát chi phí bị đảo ngược. Cách tối ưu tự nhiên — chạy các lượt thông thường ở mức thấp và nâng lên mức cao khi công việc trở nên khó — là một thay đổi đối với reasoning.effort giữa các yêu cầu. Trên GPT-6.2, chỉnh sửa đó làm mất phần suy luận, nên lần nâng cấp tốn kém phải suy diễn lại phần suy luận tốn kém từ đầu. Bạn đã trả tiền cho mức cao và nhận được mức cao khởi đầu nguội, một thứ khác biệt và tốn kém hơn.

Cái giá phải trả khi bỏ sót một mục lý luận

Không có mức giá nào được công bố cho một mục suy luận đã bị loại bỏ, nên cách trung thực để định lượng nó là xem chi phí suy luận vốn là bao nhiêu ngay từ đầu. Artificial Analysis đo toàn bộ bộ đánh giá, và số token trên mỗi tác vụ là thứ gần nhất với một phép đo công khai về lượng suy nghĩ mà một mô hình tiên phong bỏ ra cho những công việc khó.

Trên Intelligence Index v5.0.1 ở mức nỗ lực tối đa, GPT-6.2 Sol tạo ra 60,9 triệu token đầu ra để hoàn thành bộ chín bài đánh giá, với chi phí có trọng số là $1.01 cho mỗi tác vụ chỉ mục và 9,3 phút mỗi tác vụ. GPT-6.2 Astra tạo ra 65,8 triệu token đầu ra cho cùng bộ đánh giá và tính phí $4.00 cho mỗi tác vụ chỉ mục ở mức $40 mỗi triệu token đầu ra. Những tổng đó là mức sàn của chi phí một lần đánh giá đầy đủ, và mỗi một token trong số đó đều được mua với mức giá đầu ra đầy đủ. Các con số do nhà cung cấp báo cáo cũng cho thấy điều tương tự — OpenAI nói rằng GPT-6.2 Astra sử dụng ít hơn 22% token đầu ra so với GPT-6 Astra trên bộ đánh giá GDPval v2 nội bộ của mình — nhưng đó là so sánh giữa các mô hình, không phải phép đo xem một mục bị bỏ đi sẽ cộng thêm lại bao nhiêu.

Cơ chế mới là điều quan trọng ở đây, không phải hệ số nhân chính xác. Một mục suy luận buộc phải được tạo lại là token đầu ra mà bạn đã trả tiền, được sinh ra lần thứ hai. Trong một vòng lặp tác nhân chạy hai mươi lượt cho một tác vụ, việc mất suy luận ở lượt thứ sáu không khiến bạn tốn công suy nghĩ của một lượt; nó khiến bạn tốn phần suy diễn lại cộng với bất kỳ quyết định suy giảm nào kéo theo từ ngữ cảnh mỏng hơn. Cả hai đều vô hình trong nhật ký theo từng yêu cầu.

A generated single-column scoreboard with six rows. Cached input $0.10 per million tokens; uncached input $2.00 per million tokens; cost ratio on the affected span 20x; documented triggers 4; reasoning after a prefix edit: dropped; diagnostic field comparison_response_id. A footer line attributes the behaviour to OpenAI's preserved-reasoning guide and the cache rates to the GPT-6.2 Sol model page, 17 November 2026.

Bản viết lại chỉ ghi thêm, qua năm bước

Hướng dẫn của OpenAI là ngừng chỉnh sửa tiền tố và bắt đầu nối thêm vào sau nó. Điều đó thì dễ nói, nhưng nó thay đổi năm điểm gọi riêng biệt, vì vậy đây là tất cả chúng được gom lại cùng nhau, kèm theo tên trường chính xác.

• Mức nỗ lực suy luận — không thay đổi reasoning.effort giữa các yêu cầu. Thay vào đó, hãy thêm một mục configuration_update vào input, mang theo mức nỗ lực mới. Dạng được tài liệu hóa là {"type": "configuration_update", "reasoning": {"effort": "high"}}, đặt trước thông điệp người dùng tiếp theo. Cài đặt này vẫn có hiệu lực cho đến khi một bản cập nhật khác ghi đè lên nó, và bạn có thể thay đổi reasoning.effort và text.format trong cùng một mục.

• Lược đồ đầu ra — cùng một mục, cùng một cách xử lý. Thay đổi text.format thông qua configuration_update thay vì chỉnh sửa yêu cầu. Chỉ cập nhật một trong hai sẽ để cái còn lại nguyên tại chỗ, đó là một cách tinh vi để nhận được lược đồ không như mong đợi.

• Công cụ — thêm công cụ bằng một mục additional_tools được gửi dưới vai trò developer, mang theo một mảng tools, được phát lại ở vị trí ban đầu. Giữ các định nghĩa hiện có theo đúng thứ tự ban đầu và dùng tool_choice với allowed_tools để giới hạn những gì mô hình được phép gọi.

• Hướng dẫn — hãy đặt văn bản dùng lại được vào tin nhắn developer đầu tiên bên trong input, chứ không phải vào trường instructions ở cấp cao nhất. Để thay đổi nó, hãy nối thêm một tin nhắn developer mới. Trên GPT-6.2 và các phiên bản về sau, trường instructions cấp cao nhất được nối vào sau input, nên việc chỉnh sửa chính trường này tự nó đã là một thay đổi tiền tố.

• Compaction — với tính năng nén của chính OpenAI, dù dùng endpoint /responses/compact hay context_management, reasoning vẫn được giữ lại khi tiền tố thay đổi. Không gửi kèm instructions khi gọi /responses/compact. Với tính năng nén tùy chỉnh, hãy đặt mục đã nén ở cuối ngữ cảnh. Lưu ý điểm quan trọng: cắt ngắn tự động và /responses/compact đều từ chối các lịch sử chứa mục configuration_update, vì vậy một phiên dùng mẫu mới không thể được nén bằng đường cũ.

Nếu bạn nén thủ công bằng một mục compaction_trigger, hãy thêm một configuration_update mới sau lần nén và nêu lại mọi cài đặt bạn đã thay đổi. Không có gì được tự động giữ lại qua ranh giới cho bạn.

Phát hiện ra trước khi hóa đơn của bạn làm điều đó

Lý do thay đổi hành vi này nguy hiểm là vì nó thất bại một cách âm thầm. API trả về 200. Phản hồi trông có vẻ bình thường. Điều bạn cần là một cách để nhìn thấy sự sụt giảm, và OpenAI cung cấp một cách: đặt prompt_cache_options.comparison_response_id thành một ID phản hồi trước đó, rồi đọc lý do chẩn đoán và số token được lưu trong bộ nhớ đệm. Trường input_transformations liệt kê những mục suy luận nào đã bị loại bỏ và tại sao, và lý do prefix_mismatch khớp theo id với một mục suy luận trong đầu ra của phản hồi trước đó.

Có hai giới hạn trung thực đối với chẩn đoán đó. Nó báo cáo khác biệt đầu tiên trong khả năng tốt nhất có thể, và nó không thể xác minh liệu mô hình có thực sự tái sử dụng phần lý luận mà nó đã giữ lại hay không. Vì vậy, hãy coi nó như một máy báo khói, không phải một thước đo — nó cho bạn biết rằng đã có một sự sụt giảm, chứ không phải cái giá của sự sụt giảm đó.

Nửa còn lại của phần đo đạc là bộ nhớ đệm, và đây là nơi câu chuyện token gặp câu chuyện chi phí. Prompt caching so khớp các yêu cầu từ đầu, nên một chỉnh sửa tiền tố không chỉ làm rơi các mục suy luận; nó còn chấm dứt việc tái sử dụng bộ nhớ đệm từ điểm chỉnh sửa trở đi. Mọi thứ sau điểm đó được tính theo mức giá đầu vào không được lưu đệm. Trên GPT-6.2 Sol, đó là $2.00 mỗi triệu thay vì $0.10 — chênh lệch gấp hai mươi lần trên đoạn bị ảnh hưởng. Trên GPT-6.2 Astra, đó là $8.00 thay vì $0.40, tức vẫn là tỷ lệ gấp hai mươi lần đó trên một card lớn gấp bốn lần.

Đó là con số cần để mắt tới, và cũng chính là con số mà một bài đăng ra mắt sẽ không bao giờ đưa lên tiêu đề: lần trượt cache chính là hoá đơn, còn phần suy luận bị đánh rơi chính là sự thoái hoá chất lượng, và cả hai đều đến từ cùng một chỉnh sửa. Token cho trường hướng dẫn cấp cao nhất trên GPT-6.2 và các phiên bản sau được tính theo mức giá đầu vào không qua cache chính vì lý do này — trường đó nằm ngoài tiền tố được cache.

Screenshot of the Artificial Analysis page for GPT-6.2 Sol, showing an Intelligence Index of 57 at max effort, a weighted cost of $1.01 per index task, 9.3 minutes per task, 72 output tokens per second and 60.9M output tokens used across the nine-evaluation suite.

Điều này đặt một bản triển khai Sol 6.1 ở vị thế nào?

Không có điểm nào trong số này lập luận chống lại việc chuyển sang. GPT-6.1 Sol đạt 55 trên Intelligence Index v5.0.1 ở mức nỗ lực tối đa và GPT-6.2 Sol đạt 57, với $1,27 mỗi tác vụ chỉ số so với $1,01 và 24,9 phút mỗi tác vụ so với 9,3 — một mô hình nhanh hơn, rẻ hơn, thông minh hơn một chút trên một bảng giá không đổi gồm $2 đầu vào, $0,10 cho token được lưu đệm và $10 đầu ra. Việc nâng cấp là có thật. Điều đã thay đổi là việc nâng cấp giờ đây có một điều kiện tiên quyết về tính đúng đắn, và điều kiện tiên quyết đó là cách xử lý hội thoại của bạn phải là chỉ ghi thêm.

Cách rẻ nhất để trả lời câu đó là so sánh hóa đơn thay vì so sánh điểm số: gửi một phần nhỏ lưu lượng trực tiếp đến gpt-6.2-sol với công cụ đo lường chỉ ghi thêm hiện có của bạn được bật, rồi đọc tỷ lệ token được cache trên cả hai nhánh sau một ngày. OrcaRouter phục vụ openai/gpt-6.1-sol theo giá niêm yết của nhà cung cấp, không cộng thêm gì, và phần hạch toán cache theo từng yêu cầu xuất hiện trong khối usage, nên phía 6.1 của sổ cái đó không cần hợp đồng riêng để đọc. Cơ chế chuyển đổi dự phòng là thứ giữ cho phần nhỏ đó không biến thành sự cố: bất kỳ yêu cầu nào tuyến mới không phục vụ được sẽ được chuyển sang mô hình vốn đang trả lời. Điều phải nói thẳng là GPT-6.2 Sol chưa có trong danh mục ở đây, nên nhánh 6.2 được gọi trực tiếp tới O​penAI, còn nhánh 6.1 được gọi tới chúng tôi.

Điều cần theo dõi tiếp theo hẹp hơn vẻ ngoài của nó. Hành vi đã được ghi lại, đường di chuyển đã được ghi lại, và các chẩn đoán đã tồn tại. Điều chưa tồn tại là một phép đo công khai về việc một mục suy luận bị bỏ rơi tốn bao nhiêu token đầu ra trong một tác vụ dài hạn thực tế, và cho đến khi ai đó công bố một phép đo như vậy, mọi ước lượng về thiệt hại chỉ là một mô hình về cơ chế chứ không phải số đọc từ đồng hồ đo. Nếu bạn đang vận hành các tác nhân với khối lượng lớn, bạn có vị thế tốt hơn để tạo ra con số đó so với bất kỳ benchmark nào — và bạn sẽ tạo ra nó dù muốn hay không, đó chính là lý do để gắn thiết bị đo ngay bây giờ.

Screenshot of OpenAI's preserved-reasoning guide, showing the section on configuration_update and additional_tools items, the list of changes that cause reasoning items to be dropped, and the append-only guidance for changing effort, tools and output schema mid-conversation.

So sánh trong bài viết này3

Phát hiện từ bài viết này · Benchmark: Artificial Analysis · cập nhật hằng ngày