Il numero più significativo di GPT-6.1 Terra è 38%: un tasso di allucinazione, non un QI

La copertura del lancio di GPT-6.1 Terra si è concentrata su un guadagno di intelligenza di sei punti e su una scheda a metà prezzo. Il numero che cambia davvero il modo in cui il modello può essere usato è 38%: la misura di Artificial Analysis di quanto spesso Terra tirì a indovinare quando non sa, scesa dall'88% di GPT-5.6 Terra. Un calo di cinquanta punti nella tendenza a tirar a indovinare è maggiore di tutti i guadagni di qualità del rilascio messi insieme, e sposta il modello da "dare per scontato che la risposta sia inventata" a "campionare e verificare".

Questo articolo distingue le due cose diverse che le persone chiamano allucinazione in questa versione — la misura indipendente di onniscienza e il test interno di errore di OpenAI — e quantifica quanto costa un tasso di congetture del 38% in una vera pipeline di verifica.

Che cosa misura il 38%

La valutazione AA-Omniscience di Artificial Analysis pone ai modelli domande alle quali potrebbero non conoscere la risposta e conta quanto spesso producano comunque una risposta sicura. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. L'accuratezza è salita di due punti nello stesso periodo.

Letti insieme, questi due fatti descrivono un modello che è diventato più disponibile a dire “non lo so” — non uno che è diventato drasticamente più competente. L’indice di intelligenza è salito di sei punti, da 42 a 48. Il comportamento di astensione è cambiato di cinquanta. Per chiunque usi il modello per estrarre fatti, questo è il cambiamento più prezioso.

Non va ancora bene. Il trentotto per cento significa che, in un insieme di domande a cui il modello non sa rispondere, più di uno su tre riceve comunque una risposta sbagliata ma sicura. Un modello che si astiene il 62% delle volte quando non sa è molto più sicuro di uno che si astiene il 12% delle volte — e non è comunque qualcosa da mettere davanti a un cliente senza un controllo.

Il numero del fornitore è un test diverso.

Il dato principale di OpenAI è un calo di 37 punti sui prompt progettati per indurre errori: dal 53,6% su GPT-5.6 Terra con sforzo ridotto al 16,7% su Terra, e al 4,3% con sforzo massimo. Quel test è interno, non pubblicato e costruito in modo avversariale. Misura se il modello riesce a resistere a un prompt ingegnerizzato per farlo fallire — non se inventa fatti quando non li ha.

Entrambi i numeri possono essere veri. Il test del fornitore misura la robustezza ai prompt adversariali; il test indipendente misura la calibrazione in condizioni di ignoranza. Sono correlati ma non intercambiabili, e la copertura del lancio ha in gran parte trattato il primo come prova del secondo. Non lo è.

Quanto costa un tasso di risposte a caso del 38%

La verifica è la voce di costo nascosta in ogni implementazione di modelli a basso costo, e cresce in proporzione al tasso di errori. Si consideri una pipeline di estrazione documentale che elabora 100.000 pagine al mese, con un controllo a campione manuale che costa 2 dollari per pagina verificata.

• Con un tasso di indovinelli dell'88%, non puoi fare controlli a campione. Controlli tutto: 100.000 pagine × 2 $ = 200.000 $ al mese. Il costo dei token è irrilevante.

• Al 38%, un regime di campionamento diventa sostenibile. Controlla il 20% delle pagine: 20.000 × $2 = $40.000 al mese, con un tasso di mancato rilevamento noto sul resto.

• A un ipotetico 10%, controllare il 5% costerebbe 10.000 $ al mese e limiterebbe comunque il tasso di errore.

Il costo in token della pipeline stessa, alle tariffe di Terra — diciamo 20.000 token di input e 500 di output per pagina — è di 2.250 dollari per 100.000 pagine. La voce di verifica è da dieci a novanta volte più grande della voce del modello. Questo è il quadro corretto per confrontare modelli economici: il conto è il modello più la revisione, e la revisione è determinata dal tasso di congettura.

Quali attività tollerano congetture?

• Tollerante — sintesi di un documento interamente nel contesto (la risposta è fondata sull'input), classificazione con un set fisso di etichette, redazione in cui un umano interviene, estrazione con uno schema che rifiuta output malformati.

• Intollerante — risposta a domande fattuali senza recupero di informazioni, dati finanziari, citazioni legali, dosaggi medici, qualsiasi cosa in cui una risposta sbagliata ma plausibile sia peggiore di nessuna risposta.

La linea di demarcazione non è il punteggio di intelligenza del modello; è se la risposta può essere verificata rispetto a una fonte. Un tasso di congetture del 38% su un compito in cui ogni output viene verificato è un problema di efficienza. Su un compito in cui gli output vanno direttamente a un cliente, è un rischio.

Come misurarlo sui tuoi dati

• Costruisci un insieme di domande a cui il modello non può rispondere in base al contesto. Il tasso di risposte indovinate viene misurato sugli elementi a cui non è possibile rispondere, non sull'intero set di test — un test in cui ogni domanda ha una risposta misura l'accuratezza, non la calibrazione.

• Valuta tre esiti, non due: corretto, errato, astenuto. Un modello che risponde "sconosciuto" si comporta correttamente su un elemento a cui non è possibile rispondere.

• Confrontalo con GPT-5.6 Terra sullo stesso set. Il miglioramento di cinquanta punti è un'affermazione indipendente dal fornitore, ma è misurato sulle domande di Artificial Analysis; le tue potrebbero differire.

• Attenzione all'impostazione dell'effort. Le dichiarazioni sul tasso di errore sono specifiche per l'effort, e anche il comportamento di astensione probabilmente varia con l'effort di ragionamento — un'esecuzione a basso effort potrebbe indovinare più di una a effort massimo.

Richiedere l'astensione

La calibrazione è in parte una proprietà del prompt. Tre schemi che riducono in modo affidabile le supposizioni sicure:

• Fornisci al modello una via d'uscita esplicita — “se la risposta non è presente nel contesto fornito, rispondi UNKNOWN” — e valuta tale risposta come corretta per gli elementi privi di risposta.

{{1}}Richiedi una citazione per ogni affermazione fattuale{{/1}} e {{2}}rifiuta i risultati le cui citazioni non corrispondono al contesto{{/2}}.

• Chiedi un'etichetta di affidabilità e indirizza le risposte con bassa affidabilità a un secondo modello o a una persona, invece di chiedere al modello economico di essere certo.

Ognuna di queste costa token e aggiunge una fase. Ognuna costa meno di una risposta sbagliata che arriva a un cliente, e il dato del 38% è ciò che rende questo compromesso degno di essere quantificato anziché ignorato.

Perché questo conta più dell'indice

Un guadagno di sei punti di intelligenza cambia le attività che un modello può svolgere del tutto. Un cambiamento di cinquanta punti nella capacità di indovinare cambia le attività che può svolgere senza un umano nel ciclo. Per una decisione di routing, il secondo è l’asse più utile: determina se il modello economico può essere lasciato senza supervisione su un’attività, e la supervisione è il costo che domina un conto di produzione.

GPT-6.1 Terra non è un modello che ha smesso di allucinare. È un modello che allucina meno della metà delle volte rispetto al suo predecessore, a metà del prezzo, con una data limite delle conoscenze più recente. Questa combinazione è davvero utile — ed è una questione di verifica, non una questione di capacità.

Cosa puoi eseguire oggi

Al momento della stesura, GPT-6.1 Terra non è presente nel catalogo di OrcaRouter, quindi il suo comportamento di astensione deve essere misurato direttamente rispetto a OpenAI. Tutto ciò con cui viene confrontato è disponibile sul nostro lato con 0% di ricarico rispetto al prezzo di listino del provider — GPT-5.6 Terra a $2/$12, GPT-6.1 Sol a $2/$10, GPT-6 Astra a $10/$50, GPT-6 Luna a $0.10/$0.50, Claude Sonnet 5.5 a $2/$10 — il che basta per costruire il set di calibrazione e il modello dei costi di verifica prima che Terra arrivi.

Il numero da portare in quell'esperimento non è 48, ma 38; e la domanda da porsi è che aspetto ha il tuo budget di revisione a quel tasso di risposte indovinate.