GPT-6.1 Terra 最大的數字是 38%：這是幻覺率，不是 IQ

GPT-6.1 Terra 的發布報導，焦點都集中在六點的智慧提升與半價價格卡上。但真正改變這個模型使用方式的數字是 38%，那是 Artificial Analysis 衡量 Terra 在不知道答案時仍舊憑猜測作答的頻率，已從 GPT-5.6 Terra 的 88% 降了下來。猜測率下降五十個百分點，幅度大於這次發布中所有品質提升的總和，也讓這個模型從「預設答案都是編造出來的」轉為「先取樣、再驗證」。

本文釐清本次發布中人們所稱「幻覺」的兩種不同事物——獨立的全知性衡量指標與 OpenAI 的內部錯誤測試——並具體估算出 38% 的猜測率在真實驗證流程中要付出多少代價。

38% 衡量的是什麼

Artificial Analysis 的 AA-Omniscience 評估會向模型提出它們可能不知道答案的問題，並計算它們仍舊給出自信答案的頻率。GPT-5.6 Terra：88%。GPT-6.1 Terra：38%。同期準確率上升了兩個百分點。

把這兩項事實放在一起看，它們描述的是一個變得更願意說「我不知道」的模型，而不是一個知識量大幅增加的模型。智能指數變動了六點，從 42 到 48。棄答行為則變動了五十。對任何使用該模型來擷取事實的人來說，那才是更有價值的改變。

這仍然不夠好。38% 意味著，在一組模型無法回答的問題中，仍有超過三分之一會得到自信的錯誤答案。一個在不知道時有 62% 的時間會拒答的模型，比一個只有 12% 的時間會拒答的模型安全得多——但若未經核查，仍然不適合直接呈現在客戶面前。

供應商的編號是另一項測試

OpenAI 的頭條數字是：在旨在誘發錯誤的提示上，指標下降了 37 個百分點——從 GPT-5.6 Terra 在低推理強度下的 53.6%，降至 Terra 的 16.7%，而在最大推理強度下則為 4.3%。這項測試是內部的、未公開的，而且是刻意以對抗方式建構的。它衡量的是模型能否抵抗一個被精心設計來讓它失敗的提示——而不是衡量它在缺乏事實依據時是否會憑空捏造。

兩個數字都可能是真的。廠商測試衡量的是對抗性提示的穩健性；獨立測試衡量的則是在無知狀態下的校準程度。兩者相關，但不能互換，而這次發布的報導大致上把前者當成後者的證據。事實並非如此。

38% 猜測率所付出的代價

驗證是每個低成本模型部署中隱藏的支出項目，而且會隨猜測率而增加。以每月處理 100,000 頁的文件擷取流程為例，人工抽查每檢查一頁的成本為 2 美元。

• 在 88% 的猜測率下，你無法抽查。你得全數檢查：100,000 頁 × $2 = 每月 $200,000。Token 費用根本不重要。

• 在 38% 時，抽樣方案就變得可行。檢查 20% 的頁面：20,000 × $2 = 每月 $40,000，而其餘部分則有已知的漏檢率。

• 在假設的 10% 下，檢查 5% 每月將花費 10,000 美元，且仍能限制錯誤率。

以 Terra 的費率計算，流程本身的 token 成本——比如每頁 20,000 個輸入 token 和 500 個輸出 token——是每 100,000 頁 2,250 美元。驗證那一行比模型那一行大十到九十倍。這才是比較便宜模型的正確框架：帳單是模型加上審查，而審查由猜測率驅動。

哪些任務能容忍猜測？

• 容錯 — 對完全位於上下文中的文件進行摘要（答案以輸入為依據）、使用固定標籤集進行分類、由人工編輯的草擬，以及使用可拒絕格式錯誤輸出之結構描述的擷取。

• 不容忍——未經檢索的事實性問答、財務數字、法律引註、醫療劑量，以及任何「看似合理卻錯誤的答案比沒有答案更糟」的情況。

分界線不在於模型的智慧分數，而在於答案能否對照來源查核。在每項輸出都會被驗證的任務中，38% 的猜測率是效率問題。在輸出直接送到客戶手上的任務中，那就是一項風險。

如何在你自己嘅資料上衡量它

• 建立一組模型無法從上下文回答的問題。猜測率是在無法回答的項目上衡量，而不是在整個測試集上衡量——若每道題都有答案，這樣的測試衡量的是準確率，而不是校準度。

• 評分三種結果，而非兩種：正確、錯誤、棄答。在無法回答的題目上，回答「unknown」的模型行為正確。

• 在同一組題目上與 GPT-5.6 Terra 比較。五十點的提升是一項獨立於廠商的說法，但這是在 Artificial Analysis 的題目上測得的；你的題目可能有所不同。

• 注意努力程度設定。這些錯誤率說法是針對特定努力程度而言的，而棄答行為很可能也會隨推理努力程度而變化——低努力程度的執行可能比最高努力程度的執行更容易猜測。

提示棄權

校準在某種程度上是提示詞本身的屬性。以下三種模式能可靠地減少自信滿滿的猜測：

• 給模型一個明確的退路——「若答案未出現在提供的上下文中，請回覆 UNKNOWN」——並將該回覆在無法回答的題項上計為正確。

• 要求每項事實陳述都必須提供引用來源，並拒絕引用內容與上下文不符的輸出。

• 要求提供信心標籤，並將低信心的回答轉交給第二個模型或人工處理，而不是要求低成本模型給出確定答案。

這些做法每一項都會消耗 token 並增加一個階段。每一項都比讓錯誤答案送到客戶手中更便宜，而 38% 這個數字正是讓這筆取捨值得納入成本計算、而非忽視的原因。

為什麼這比指數更重要

智能提升六點，會改變模型究竟能做哪些任務；猜測能力變動五十點，則會改變模型在無需人工介入的情況下能完成哪些任務。對路由決策而言，後者是更有用的軸線：它決定便宜模型能否在任務上以無人監督的方式運作，而監督正是主導生產成本的開支。

GPT-6.1 Terra 並不是一款從此不再產生幻覺的模型。它是一款幻覺頻率不到前代一半、價格只有一半，且知識截止點更新的模型。這樣的組合確實實用——而這是一個驗證的故事，而不是能力的故事。

你今天可以運行什麼

撰寫本文時，GPT-6.1 Terra 尚未收錄於 OrcaRouter 目錄，因此其棄答行為必須直接對照 OpenAI 來衡量。所有與它比較的項目都已在我們這邊上線，價格相對供應商牌價加價 0%——GPT-5.6 Terra 為 $2/$12、GPT-6.1 Sol 為 $2/$10、GPT-6 Astra 為 $10/$50、GPT-6 Luna 為 $0.10/$0.50、Claude Sonnet 5.5 為 $2/$10——這足以在 Terra 上市前建立校準集與驗證成本模型。

帶進那個實驗的數字不是 48，而是 38；該問的問題是：在那樣的猜測率下，你的審查預算會是什麼樣子。