המספר הגדול ביותר של GPT-6.1 Terra הוא 38%: שיעור הזיות, לא IQ

סיקור ההשקה של GPT-6.1 Terra התמקד בעלייה של שש נקודות באינטליגנציה ובכרטיס בחצי מחיר. המספר שבאמת משנה את האופן שבו אפשר להשתמש במודל הוא 38% — המדד של Artificial Analysis לכך באיזו תדירות Terra מנחש כשהוא אינו יודע, ירידה מ-88% ב-GPT-5.6 Terra. ירידה של חמישים נקודות בשיעור הניחושים גדולה מכלל שיפורי האיכות בהשקה, והיא מעבירה את המודל מ"להניח שהתשובה מומצאת" ל"לדגום ולאמת".

הקטע הזה מפריד בין שני הדברים השונים שאנשים מכנים הזיה במהדורה הזו — מדד הכול-ידיעה העצמאי ומבחן השגיאות הפנימי של OpenAI — ומתמחר את העלות של שיעור ניחושים של 38% בצינור אימות אמיתי.

מה 38% מודד

הערכת AA-Omniscience של Artificial Analysis שואלת מודלים שאלות שייתכן שאין להם את התשובה עליהן, וסופרת באיזו תדירות הם בכל זאת מספקים תשובה בטוחה. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. הדיוק עלה בשתי נקודות באותו פרק זמן.

כשקוראים אותן יחד, שתי העובדות האלה מתארות מודל שנעשה מוכן יותר לומר „לא יודע” — ולא כזה שנעשה בקיא יותר באופן דרמטי. מדד האינטליגנציה נע בשש נקודות, מ־42 ל־48. התנהגות ההימנעות נעה בחמישים. עבור כל מי שמשתמש במודל כדי לחלץ עובדות, זהו השינוי בעל הערך הרב יותר.

עדיין לא טוב. שלושים ושמונה אחוזים פירושם שבקבוצה של שאלות שהמודל אינו יכול לענות עליהן, יותר מאחד מכל שלושה מקבל עדיין תשובה שגויה שנאמרת בביטחון. מודל שנמנע מלענות ב־62% מהמקרים כשהוא אינו יודע הרבה יותר בטוח ממודל שנמנע מלענות ב־12% מהמקרים — ועדיין לא משהו שכדאי להציג ללקוח בלי בדיקה.

מספר הספק הוא מבחן אחר

הכותרת של OpenAI היא ירידה של 37 נקודות בפרומפטים שתוכננו לעורר שגיאות: מ-53.6% ב-GPT-5.6 Terra במאמץ נמוך ל-16.7% ב-Terra, ו-4.3% במאמץ מקסימלי. המבחן הזה הוא פנימי, לא מפורסם, ונבנה באופן עוין. הוא מודד אם המודל יכול לעמוד בפני פרומפט שהונדס כדי לגרום לו להיכשל — ולא אם הוא ממציא עובדות כשאין לו אותן.

שני המספרים יכולים להיות נכונים. מבחן הספק מודד עמידות בפני פרומפטים עוינים; המבחן העצמאי מודד כיול תחת חוסר ידע. הם מתואמים אך אינם ניתנים להחלפה, וסיקור ההשקה התייחס במידה רבה לראשון כראיה לשני. זה אינו כך.

מה המחיר של שיעור ניחוש של 38%

אימות הוא סעיף העלות הנסתר בכל פריסה של מודל זול, והוא גדל עם שיעור הניחושים. קחו צינור חילוץ מסמכים שמעבד 100,000 עמודים בחודש, כאשר בדיקה אנושית מדגמית עולה $2 לכל עמוד שנבדק.

• בשיעור ניחוש של 88%, אינך יכול לבצע בדיקות מדגמיות. אתה בודק הכול: 100,000 עמודים × $2 = $200,000 בחודש. חשבון הטוקנים אינו רלוונטי.

• ב־38%, משטר דגימה נעשה ישים. בדיקה של 20% מהעמודים: 20,000 × $2 = $40,000 בחודש, עם שיעור החמצה ידוע בשאר.

• בשיעור היפותטי של 10%, בדיקת 5% תעלה 10,000 דולר בחודש ועדיין תגביל את שיעור השגיאות.

עלות הטוקנים של הצינור עצמו לפי התעריפים של Terra — נניח 20,000 טוקנים בקלט ו-500 בפלט לכל עמוד — היא 2,250 דולר לכל 100,000 עמודים. שורת האימות גדולה פי עשרה עד תשעים משורת המודל. זו המסגרת הנכונה להשוואת מודלים זולים: החשבון הוא המודל בתוספת הסקירה, והסקירה נקבעת לפי שיעור הניחושים.

אילו משימות סובלות ניחוש

• סובלני — תמצות של מסמך שנמצא כולו בהקשר (התשובה מעוגנת בקלט), סיווג עם קבוצת תוויות קבועה, ניסוח טיוטות שבו אדם עורך, חילוץ עם סכימה שדוחה פלט פגום.

• לא סובלנית — מענה על שאלות עובדתיות ללא אחזור, נתונים פיננסיים, ציטוטים משפטיים, מינון רפואי, וכל דבר שבו תשובה שגויה אך סבירה גרועה מאי-תשובה.

קו הגבול אינו ציון האינטליגנציה של המודל; הוא האם ניתן לבדוק את התשובה מול מקור. שיעור ניחושים של 38% במשימה שבה כל פלט מאומת הוא בעיית יעילות. במשימה שבה הפלטים מגיעים ישירות ללקוח, מדובר בסיכון.

איך למדוד את זה על הנתונים שלך

• בנה קבוצה של שאלות שהמודל אינו יכול לענות עליהן מתוך ההקשר. שיעור הניחוש נמדד על פריטים שאין להם תשובה, לא על מערך הבדיקה המלא — בדיקה שבה לכל שאלה יש תשובה מודדת דיוק, לא כיול.

• דרג שלוש תוצאות, לא שתיים: נכונה, שגויה, התנזרות. מודל שעונה "לא ידוע" מתנהג כראוי בפריט שאין לו תשובה.

• השוו מול GPT-5.6 Terra על אותו סט. השיפור של חמישים נקודות הוא טענה בלתי־תלויה בספק, אך הוא נמדד על השאלות של Artificial Analysis; שלכם עשויות להיות שונות.

• שימו לב להגדרת המאמץ. הטענות לגבי שיעור השגיאות ספציפיות לרמת המאמץ, והתנהגות ההימנעות עשויה להשתנות גם היא עם מאמץ החשיבה — הרצה במאמץ נמוך עשויה לנחש יותר מאשר הרצה במאמץ מקסימלי.

הנחיה להימנעות

הכיול הוא בחלקו תכונה של הפרומפט. שלושה דפוסים שמפחיתים באופן מהימן ניחוש בטוח:

• תן למודל אפשרות יציאה מפורשת — "אם התשובה אינה מופיעה בהקשר שסופק, השב UNKNOWN" — ותן ניקוד לתשובה הזו כנכונה בפריטים שאין להם תשובה.

• דרוש ציטוט לכל טענה עובדתית, ופסול פלטים שהציטוטים שלהם אינם תואמים להקשר.

• בקשו תווית ביטחון והעבירו תשובות בעלות ביטחון נמוך למודל שני או לאדם, במקום לבקש מהמודל הזול להיות בטוח.

כל אחד מאלה עולה טוקנים ומוסיף שלב. כל אחד מהם זול יותר מתשובה שגויה שמגיעה ללקוח, והנתון של 38% הוא מה שהופך את העסקה לשווה תמחור במקום התעלמות.

למה זה חשוב יותר מהמדד

עלייה של שש נקודות באינטליגנציה משנה אילו משימות מודל יכול לבצע בכלל. שינוי של חמישים נקודות בניחוש משנה אילו משימות הוא יכול לבצע בלי אדם בלופ. עבור החלטת ניתוב, השני הוא הציר השימושי יותר: הוא קובע אם המודל הזול יכול להיות ללא פיקוח במשימה, ופיקוח הוא העלות ששולטת בחשבון הייצור.

GPT-6.1 Terra אינו מודל שהפסיק לייצר הזיות. זהו מודל שמייצר הזיות בפחות מחצי מהתדירות של קודמו, במחצית המחיר, ועם נקודת חיתוך ידע עדכנית יותר. השילוב הזה שימושי באמת — וזהו סיפור של אימות, לא סיפור של יכולת.

מה ניתן להריץ כיום

GPT-6.1 Terra אינו נמצא בקטלוג OrcaRouter בזמן כתיבת שורות אלה, ולכן יש למדוד את התנהגות ההימנעות שלו ישירות מול OpenAI. כל מה שהוא מושווה אליו זמין אצלנו בתוספת של 0% מעל מחיר המחירון של הספק — GPT-5.6 Terra ב-$2/$12, GPT-6.1 Sol ב-$2/$10, GPT-6 Astra ב-$10/$50, GPT-6 Luna ב-$0.10/$0.50, Claude Sonnet 5.5 ב-$2/$10 — וזה מספיק כדי לבנות את מערך הכיול ואת מודל עלות האימות לפני השקת Terra.

המספר שיש לקחת לניסוי הזה הוא לא 48. הוא 38, והשאלה שצריך לשאול היא איך נראה תקציב הביקורת שלך בקצב הניחושים הזה.