一張生成的標題卡,上頭寫著「GPT-6.2 保留推理:編輯前綴,付兩次」,副標題談的是推理項目被綁定在緊接於它們之前的對話歷史上,下方則有三列編號條目:綁定始於 GPT-6.2 Astra 與 GPT-6.2 Sol;四次普通的前綴編輯就會讓這些項目被丟棄;以及受影響的區段每百萬輸入 token 收費 $2.00,而非 $0.10。
Guides & Insights

GPT-6.2 保留推理:編輯前綴,付出雙倍代價

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

2026 年 11 月 17 日,O​penAI 推出了 GPT-6.2 Astra 與 GPT-6.2 Sol,並對 Responses API 做了一項變更,這與模型品質無關,卻與你為此支付多少費用息息相關。從這兩個模型開始,推理項目會繫結到其前方的對話歷史。只要編輯對話記錄中較早的任何內容——縮短工具結果、改寫開發者訊息、用摘要替換三個舊回合——API 就會作為防護措施,丟棄其後出現的推理項目。模型接著就必須重做它早已完成的工作。請求當下不會有錯誤、不會有警告,也不會有明細項目。你得到的是一個稍微更差的答案與一張更大的帳單,而這兩者很難聯想在一起。

這不是那種可以排定時程的棄用。它是一種已經實際運作的行為,今天任何呼叫 gpt-6.2-astra 或 gpt-6.2-sol 的人都會遇到;而且它會影響到每一個升級的團隊,因此值得被視為遷移項目來閱讀,而不是變更記錄裡的註腳。

Responses API 究竟有什麼改變?

較早的模型在經歷前綴編輯後仍會保留其推理項目。你可以改寫輪次之間的開發者訊息,或以摘要替換前十輪往來,而模型產出的推理仍會留在上下文中。這種寬容正好對應了代理程式碼的粗心之處:不論你送出什麼,模型都能受益於它先前的思考。

在新行為下,API 會檢查歷史記錄,當它偵測到某個推理項目前面的前綴已變更時,就會移除該項目。O​penAI 自己的文件以淺白措辭描述其後果——模型「可能需要重做部分推理」,這「可能增加 token 用量、成本與延遲」,而且「如果模型無法恢復遺失的推理」,答案品質可能下降。

O​penAI 列出的四個觸發條件值得牢記,因為其中三個看起來像是整潔的程式碼,而不是行為改變:

• 編輯先前的輸入項目 — 修剪工具結果、刪除一輪對話,或以摘要取代一段歷史記錄。

• 變更工具 — 在對話途中新增、移除或重新排序工具定義。

• 變更 text.format——在工作階段進行到一半時替換輸出結構定義。

• 調整 reasoning.effort —— 為低成本後續回合調低設定,這是代理迴圈中最常見的單一成本最佳化做法。

請注意哪些內容不在清單上。在推理項目之後附加新內容是可以的。刪除整個項目也可以。這條規則是有方向性的:API 會從每個推理項目往回看,而任何被移到它前面的內容都會使其失效。

前綴編輯就是四項普通的程式碼變更

那四個觸發條件中的每一個,都是稱職工程師刻意會做的事。問題就出在這裡。前綴編輯不是偶爾犯一次的錯誤;它是一種你會採用的設計模式,因為它在其他各方面都是正確的。

上下文截斷這個案例最為清楚。長時間執行的代理會填滿它的視窗,因此你會捨棄最舊的回合,或將它們摘要。這是良好的做法,能節省輸入 token,而且在 GPT-6 Sol 上毫無代價。在 GPT-6.2 上,它會刪除那些回合之後產生的推理,而模型在開始下一步時,已經忘記自己為何選擇了當初選用的工具。

effort 旋鈕的情況更糟,因為它是一種會反轉的成本控制。自然的最佳化做法——例行回合以低檔執行,工作變難時再升到高檔——是在請求之間變更 reasoning.effort。在 GPT-6.2 上,這樣的編輯會丟掉推理,因此昂貴的升級會從頭重新推導出昂貴的推理。你付了高檔的錢,得到的卻是從冷啟動的高檔,這是不同且更昂貴的東西。

丟棄一個推理項目要付出什麼代價

對於已下架的推理項目,並沒有公開價格,因此要誠實估算它的成本,就得先看推理原本要花多少。Artificial Analysis 測量的是整套測試,而每項任務的 token 數,是最接近公開測量前沿模型在處理困難工作時投入多少「思考」的指標。

在 Intelligence Index v5.0.1 上以最大投入運行時,GPT-6.2 Sol 產生 60.9M 個輸出 token 以完成這套九項評估,對應每項 index 任務的加權成本為 $1.01,每項任務耗時 9.3 分鐘。GPT-6.2 Astra 為同一套評估產生 65.8M 個輸出 token,並以每百萬輸出 token $40 計費,每項 index 任務收費 $4.00。這些總量是完整評估成本的下限,而且其中每一個 token 都是按完整輸出費率計價。廠商回報的數字也指向同一方向——O​penAI 表示,在其內部 GDPval v2 基準上,GPT-6.2 Astra 使用的輸出 token 比 GPT-6 Astra 少 22%——但那是模型之間的比較,並非衡量被刪減項目加回後會增加多少的測量。

這裡重要的是機制,而不是確切的倍數。一個必須重新生成的推理項目,就是你已經付費取得、卻又第二次產生的輸出 token。在一個針對單一任務執行二十輪的代理迴圈中,在第六輪失去推理,損失的不只是一輪份量的思考;你損失的是重新推導,以及因上下文變得更稀薄而隨之而來的任何劣化決策。這兩者在逐請求日誌中都看不見。

A generated single-column scoreboard with six rows. Cached input $0.10 per million tokens; uncached input $2.00 per million tokens; cost ratio on the affected span 20x; documented triggers 4; reasoning after a prefix edit: dropped; diagnostic field comparison_response_id. A footer line attributes the behaviour to OpenAI's preserved-reasoning guide and the cache rates to the GPT-6.2 Sol model page, 17 November 2026.

僅追加式重寫,五步完成

OpenAI 的指導原則是停止編輯前綴,改為開始附加到前綴。說起來容易,但這會改動五個不同的呼叫點,所以把它們放在一起,並附上確切的欄位名稱。

• 推理強度 — 請勿在請求之間變更 reasoning.effort。改為在 input 中附加一個 configuration_update 項目,並在其中攜帶新的 effort。文件記載的格式為 {"type": "configuration_update", "reasoning": {"effort": "high"}},置於下一則使用者訊息之前。此設定會持續生效,直到另一個更新將其覆寫;且您可以在同一個項目中變更 reasoning.effort 與 text.format。

• 輸出結構 — 相同的項目,相同的處理方式。請透過 configuration_update 變更 text.format,而不是藉由編輯請求來變更。只更新兩者之一會讓另一個維持原狀,這是一種微妙的方式,會導致意想不到的結構。

• 工具 — 透過在 developer 角色下傳送 additional_tools 項目來新增工具,該項目帶有 tools 陣列,並會在其原始位置重放。請依原始順序保留現有定義,並使用 tool_choice 搭配 allowed_tools 來限制模型可呼叫的內容。

• Instructions —將可重複使用的文字放在 input 內的第一則開發人員訊息中,而非頂層 instructions 欄位。若要變更,請附加一則新的開發人員訊息。在 GPT-6.2 及更新版本中,頂層 instructions 欄位會附加於 input 之後,因此編輯它本身即構成前綴變更。

• 壓縮 — 使用 O​penAI 自家的壓縮時,無論是 /responses/compact 端點或 context_management,推理都能在前綴變更後保留。呼叫 /responses/compact 時請省略 instructions。使用自訂壓縮時,請將壓縮後的項目放在上下文的末尾。注意這個棘手限制:自動截斷和 /responses/compact 都會拒絕包含 configuration_update 項目的歷史記錄,因此使用新模式的工作階段無法透過舊路徑進行壓縮。

如果你使用 compaction_trigger 項目手動進行壓縮,請在壓縮後加入全新的 configuration_update,並重新陳述你變更的每一項設定。沒有任何東西會替你跨越這個界線。

比你的帳單更早偵測到

這種行為變更之所以危險,是因為它會悄無聲息地失敗。API 會回傳 200。回應看起來很正常。你需要的是能看見這種丟失的方法,而 OpenAI 提供了一個:將 prompt_cache_options.comparison_response_id 設為較早的回應 ID,然後讀取診斷原因與快取 token 數。input_transformations 欄位會列出哪些推理項目被移除以及原因,而 prefix_mismatch 原因會透過 id 對應到較早回應輸出中的某個推理項目。

那個診斷有兩個實實在在的限制。它會盡力回報第一個差異,但無法驗證模型是否真的重用了它保留下來的推理。所以把它當成煙霧偵測器,而不是計量器——它只告訴你有下降發生,不告訴你代價是多少。

另一半的量測機制是快取,而 token 用量與成本這兩個層面正是在此交會。提示快取會從開頭比對請求,因此編輯前綴不只會丟掉推理項目,還會從編輯處往後中斷快取重用。該點之後的所有內容都依未快取輸入費率計費。在 GPT-6.2 Sol 上,這是每百萬 $2.00 而非 $0.10——受影響區間的費用相差二十倍。在 GPT-6.2 Astra 上,則是 $8.00 而非 $0.40,在規模大四倍的價目表上,同樣是二十倍的比率。

那就是值得留意的數字,也是發布文章永遠不會拿來當大標的數字:快取未命中就是帳單,被捨棄的推理就是品質退步,而兩者都源自同一次編輯。GPT-6.2 及更新版本中,頂層指示欄位的 Token 正是因此按未快取輸入費率計費——該欄位位於快取前綴之外。

Screenshot of the Artificial Analysis page for GPT-6.2 Sol, showing an Intelligence Index of 57 at max effort, a weighted cost of $1.01 per index task, 9.3 minutes per task, 72 output tokens per second and 60.9M output tokens used across the nine-evaluation suite.

这会让 6.1 Sol 部署处于什么境地

這些都不構成反對轉換的理由。GPT-6.1 Sol 在最高努力設定下於 Intelligence Index v5.0.1 得分 55,而 GPT-6.2 Sol 得分 57;每項索引任務成本為 $1.27 對比 $1.01,每項任務耗時 24.9 分鐘對比 9.3 分鐘——在維持不變的價目表(輸入 $2、快取 $0.10、輸出 $10)下,這是個更快、更便宜、也稍微更聰明的模型。升級確有其事。改變的是,這項升級現在有了一個正確性前提,而這個前提就是你的對話處理必須是僅附加的。

回答這個問題最便宜的方式是做帳單比較,而不是分數比較:把一小部分實際流量送到 gpt-6.2-sol,並開啟你現有的僅附加式觀測機制,一天後讀取兩邊的快取 token 佔比。OrcaRouter 以供應商牌價提供 openai/gpt-6.1-sol,完全不額外加價,而且每筆請求的快取計費明細會出現在 usage 區塊中,因此那份帳的 6.1 這一側不需要另立合約就能讀取。故障轉移正是避免這一小部分流量演變成事故的關鍵:新路由無法處理的任何請求,都會退回到目前已在回應的模型。其中必須直說的一點是,這裡的產品目錄尚未收錄 GPT-6.2 Sol,因此 6.2 這一組是直接向 O​penAI 發出呼叫,而 6.1 這一組則是向我們發出呼叫。

接下來該關注什麼,範圍比聽起來更窄。行為已有文件記載,遷移路徑已有文件記載,診斷機制也已存在。目前尚不存在的,是針對真實長時程任務中,一個被丟棄的推理項目在輸出 token 上究竟造成多少成本,提供公開測量;而在有人發表這樣的測量之前,每一項損害估計都只是機制模型,而不是儀表上的讀數。如果你正在大規模運行 agent,你比任何基準測試都更有條件產出那個數字——而且無論你想不想,你都會產出它,這正是現在就該進行量測的理由。

Screenshot of OpenAI's preserved-reasoning guide, showing the section on configuration_update and additional_tools items, the list of changes that cause reasoning items to be dropped, and the append-only guidance for changing effort, tools and output schema mid-conversation.

本文中的比較3

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新