כרטיס כותרת שנוצר שכותרתו 'מקום ראשון, מקום אחרון, אותו לוח', עם כתובית משנה 'Liquid AI d1.2-ultra - Decision Index v2.1, 16 בנובמבר 2026'. שני כרטיסים מעוגלים מונחים זה לצד זה: השמאלי מציג '#1 מתוך 24' מעל 'Decision Index 75', והימני מציג '#24 מתוך 24' מעל 'דיוק HLE 2.36%'; מתחתיהם שורת כיתוב מציגה 'מודל אחד, שש הערכות', ושלושה צ'יפים עם קו מתאר מציגים 'נמדד על ידי Artificial Analysis', 'הקשר של 66k' ו-'$0.042 לכל 1M טוקני קלט'. הסימן של OrcaRouter מורכב בפינה הימנית התחתונה.
Guides & Insights

Liquid AI d1.2-ultra בראש ה-Decision Index עם 75 — ומסיים במקום האחרון באחד מששת המבחנים שלו

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

Liquid AI d1.2-ultra הוא המודל הראשון בקטגוריה זו שקיבל מקום ראשון מגורם שאינו החברה שפיתחה אותו. Artificial Analysis העניקה לו ציון 75 ב-Decision Index v2.1, הדפיסה את המספר הזה בעמוד הלוח של המודל עצמו, ודירגה אותו ראשון מבין 24 מודלים לקבלת החלטות — בפער של 2.2 נקודות מ-Drex Max v1.1 של Nace.AI עם 73. Liquid AI d1.2, החצי הקטן יותר של אותה השקה, מגיע למקום התשיעי עם 69. שניהם הושקו ב-16 בנובמבר 2026, מה שהופך את זו להשקה הראשונה של Liquid AI שבה הטענה לדירוג הגיעה כשלוח עצמאי כבר מציג את המודל, ולא כמספר ספק שמצביע על לוח שקדם לו.

אותה טבלת דירוג גם ממקמת את d1.2-ultra במקום האחרון מבין 24 הדגמים האלה ב-HLE-MultiChoice, עם דיוק גולמי של 2.36%. שתי הקביעות נכונות בעת ובעונה אחת, הן נמדדו על ידי אותו ארגון, באותו מכשיר, באותו יום, והפער ביניהן הוא הדבר המועיל ביותר בפרסום.

מדוע הטענה הזו בלוח המובילים היא טענה מסוג אחר

באוקטובר הכריזה Liquid AI על d1-ultra עם טענה למקום הראשון, שנמדדה מול Decision Index v1.0 — לוח שפורסם יומיים לפני שהמודל הזה בכלל היה קיים. איש לא יכול היה לבדוק אותה, מפני שהמודל לא הופיע בלוח. זה לא מה שקרה כאן. Artificial Analysis הריצה את d1.2-ultra בעצמה, על החומרה שלה, דרך מערכת הבדיקות שלה, והתוצאה היא שורה מדורגת עם שישה ציוני רכיב ועקומת כיול מצורפת. כשהליקוויד אומרת "הגבוה ביותר במדד, ושתי נקודות לפני מודל קבלת ההחלטות הטוב ביותר הקודם", גם המדד וגם הטוב ביותר הקודם פומביים ושניהם מסכימים.

גרסה 2.1 היא ממוצע משוקלל של שש הערכות, והמשקלות אינן מפוזרות באופן אחיד. AA-Paperclip נושא 30%: 1,500 מסמכים פרטיים — קורות חיים, קבלות, חשבוניות, מאמרי מחקר — כאשר כל מסמך כולל חמש החלטות ועשר עובדות, ומדורג כמסמך אחד שנחשב רק אם כל חמש-עשרה התשובות חוזרות נכונות. EvalSafe-O*NET-AA, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1 ו-AA-Symmetry v1.1 נושאים כל אחד 15%. When2Call, קבוצת קריאות הכלים של NVIDIA, נושא 10%. כל שאלה מדורגת לפי 50 × (1 + c − (p − c)²), כאשר c מציין אם הבחירה הייתה נכונה ו-p הוא ההסתברות שהמודל העניק לה, מה שמצטבר ל-50 × (1 + accuracy − Brier score). טעות בטוחה עולה יותר מטעות מהססת, ומודל שאומר 0.6 וצודק מקבל ציון טוב יותר ממודל שאומר 0.99 וצודק.

מאיפה מגיע ה-75

A generated single-column scoreboard titled ‘Liquid AI d1.2-ultra - the scoreboard’, with six rows: Decision Index 75, first of 24; AA-Paperclip 75.8 with 67.7% of documents all-correct; AA-Symmetry 86.3, second of 24; When2Call 96.5, first of 24; HLE-MultiChoice 2.36% accuracy, last of 24; and Cost $133 per 1M tasks at $0.042 per 1M input tokens. The footer reads ‘All figures measured independently by Artificial Analysis, Decision Index v2.1; Liquid AI's own task accuracies are vendor-reported.’

כשמפרקים אותו לגורמים, המקום הראשון נשען על שתי הערכות ומוגן על ידי הערכה שלישית. השאר אינם בולטים או שהם גרועים יותר, וזה כדאי לדעת לפני שמישהו מתייחס לציון מרוכב כתיאור של המודל.

• AA-Paperclip, 30% מהמדד — d1.2-ultra משיג 75.81 בציון ההחלטה עם 67.7% מהמסמכים נכונים לחלוטין, שניהם ראשונים מבין 24. Drex Max v1.1 במקום השני עם 72.82 ו-63.0%, SubQ Snap 1.2 במקום השלישי עם 71.58. המודל שהוא מחליף, Liquid AI d1-ultra, עמד על 64.69 ו-51.3%.

• When2Call, 10% — d1.2-ultra במקום הראשון עם 96.49, לפני SubQ Snap 1.2 עם 96.10 ו-d1.2 עם 96.09. קריאה לכלים כבר הייתה הנקודה החזקה ביותר בתחום; הפער כאן הוא נקודה וחצי בקרב עשרת המובילים.

• AA-Symmetry, 15% — מקום שני עם 86.34, אחרי Mammoth 27B עם 88.25. במדד המחמיר יותר של מעבר בכל המבחנים התמונה משתנה: Mammoth שומר על אותה תשובה לאורך ניסוחים חלופיים ב-68.3% מהשאלות, Elephant 9B ב-65.8%, ו-d1.2-ultra ב-56.7%. מקום שני בציון אינו מקום שני בעקביות.

• EvalSafe-O*NET-AA, 15% — שלישי עם 89.53, מאחורי Jev 1.14 עם 91.14. זהו הרכיב היחיד שבו המודל של מתחרה עדיין מוביל, וזה לא קרוב מספיק כדי לקרוא לזה רעש.

• AA-Omniscience-Decision v1.1, 15% — 60.80, שזה באמצע הטווח, ונמוך מ-64.39 ש-d1-ultra השיג.

• HLE-MultiChoice v1.1, 15% — 46.36 בציון ההחלטה, אך 2.36% דיוק גולמי, הנמוך מבין כל 24. הפער הזה אינו סתירה; כך נראה מודל מכויל היטב כשהוא דוחה כמעט הכול. שיעור אי-ההזיה שלו על אותה קבוצה הוא 76.1%, כלומר בשלושה מתוך ארבעה מקרים הוא אמר נכון שאינו יודע במקום לנחש.

מדד הכותרת שמתחת לכל ששת אלה, ציון מדד הדיוק הנפרד של AA, מציב את d1.2-ultra במקום הראשון עם 61.6, לפני GLiDE v1.2 עם 59.4 ו-Drex Max v1.1 עם 58.2. ציון ה-Brier שלו, 0.150, הוא הטוב מבין ה-24. המודל אינו מנצח משום שהוא מכויל ותו לא; הוא מנצח על מסמכים וכיול יחד, וזהו השילוב שהמדד נבנה לתגמל.

התוצאה שהולכת לכיוון השני

יש גרסה של השחרור הזה שנקראת כניצחון מוחלט, ושורת HLE-MultiChoice היא מה שמפריך אותה. דיוק גולמי של שניים ושליש אחוז בשאלות רב-ברירה של Humanity's Last Exam אינו שגיאת עיגול, והוא אינו מתורץ על ידי אפשרות הסירוב: למודל יש אפשרות להימנע, והוא בוחר בה, וההימנעות מדורגת ככנות ולא כידע. Decider v1.3 עונה נכון על 15.32% מאותן שאלות. Drex Max v1.1 עונה נכון על 8.25%. Liquid AI d1.2, המודל הזול באותו שחרור, עונה נכון על 5.30%.

ההשוואה האחרונה היא המוזרה. בהערכות עתירות ידע, המודל הקטן והזול יותר אינו החלש יותר. d1.2 משיג 30.0% תשובות נכונות בשאלות AA-Omniscience-Decision לעומת 23.6% של d1.2-ultra, ו-5.30% ב-HLE לעומת 2.36%. מה ש-d1.2-ultra קונה בשתי הסנטים הנוספים שלו למיליון טוקנים הוא לא ידע; זה טיפול במסמכים, סימטריה וכיול — החצי התפעולי של העבודה. אם עומס העבודה שלכם הוא חילוץ מחשבונית סרוקה, העסקה הזו כמובן נכונה. אם מדובר במענה על שאלות קשות על העולם, המודל הזול יותר באותה משפחה הוא טוב יותר באופן מדיד, ושום דבר בפוסט ההשקה לא אומר זאת.

שינוי החיוב שלא מופיע בכותרת

המשפט בעל ההשלכות הגדולות ביותר בפוסט של Liquid הוא כלל חיוב, לא מדד ביצועים. תחת d1-ultra, כל שאלה חויבה כפרומפט נפרד כולל כל התמונות המצורפות, כך ששאילת עשר שאלות על תמונה אחת כללה תשלום עבור התמונה עשר פעמים. תחת d1.2 ו-d1.2-ultra, הבקשה מחייבת את הטקסט והתמונות שלה פעם אחת, וכל שאלה נוספת מוסיפה רק את הטקסט של עצמה.

קחו מסמך בן 2,000 טוקנים עם תמונה אחת בגודל 1024×1024, שעולה 1,536 טוקנים לפי התעריף הנקוב של 1.5 טוקנים לכל טלאי בגודל 32×32 פיקסלים, ועשר שאלות קצרות בכ-30 טוקנים כל אחת. לפי הכלל הישן, בקשה כזו מכילה כ-35,700 טוקנים. לפי הכלל החדש, היא מכילה כ-3,840. בתעריף של $0.042 למיליון טוקני קלט, מדובר בכ-$0.0015 לבקשה לעומת $0.00016 — זול יותר פי תשע ומעט עבור אותה עבודה בדיוק ובאותו מחיר מחירון. ב-100,000 בקשות בחודש, ההבדל הוא כ-$150 לעומת $16. שני הנתונים הם חישוב אריתמטי על בסיס תיאור החיוב של הספק עצמו, ולא מדידות.

המפרט השני שהשתנה הוא חלון ההקשר. Artificial Analysis מציין 66k אסימונים לשני דגמי d1.2, לעומת 33k עבור d1-ultra. הפוסט של Liquid אינו מציין חלון כלל, כך שנתון ה-66k הוא קריאה של הלוח ולא מפרט של הספק, והוא עדיין כפול ממה שנשא הדור הקודם. עבור מודל שכל תפקידו הוא לקבל מצב, זהו שינוי מעשי גדול יותר מארבע נקודות אינדקס.

חמישה סוגי תשובות חדשים, ואודיו

תוספות היכולות הן תוספתיות ולא עיבוד מחדש: אותה נקודת קצה, אותו מבנה בקשה, חמישה סוגים חדשים של תשובות ומודאליות קלט חדשה. כעת אפשר לבקש ערך שנקרא מהעמוד — מספר, תאריך, שם — שיוחזר יחד עם התווים שמהם נקרא, או "לא נמצא" אם הוא חסר. אפשר לבקש כל מקטע מסוג נתון עם מיקומים, וזה המקרה של PII. אפשר לבקש תיבה סביב אובייקט אחד או תיבה סביב כל מופע בתוספת ספירה. אפשר לבקש אומדן עם טווח מצורף. ואפשר לבקש כל אפשרות רלוונטית, כל אחת עם ההסתברות שלה.

האודיו הוא התוספת האחרת, ופועל בשני הכיוונים: ההקלטה יכולה להיות נושא השאלה, או שהיא יכולה להיות השאלה עצמה. Liquid מדווחת שבהקלטות שלא נכללו באימון, שני המודלים עונים נכון על 95% עד 97% מהשאלות בשאלה איזה צליל הם שומעים, מ-ESC-50, או איזו שפה מדוברת, מ-FLEURS ב-43 שפות, עם שלוש עד שש אפשרויות בכל שאלה ועם בלבולים קרובים כמו ספרדית ופורטוגזית בין האפשרויות.

נתוני הדיוק עבור חמש המשימות החדשות מגיעים מערכי בדיקה פנימיים שנבנו מחלוקות מוחזקות של מערכי נתונים ציבוריים, והספק אומר זאת בגלוי, משום שאף מבחן ציבורי עדיין לא מכסה את המשימות האלה. יש לקרוא אותם כהערכה עצמית של הספק: 98% ו-96% לקריאת ערך מקבלה ב-CORD וב-SROIE, 94%/93% דיוק ו-recall לעומת 92%/88% עבור מקטעי PII ב-Nemotron PII, 94% בשניהם באיתור אובייקטים במשפחת RefCOCO, 93% ו-92% בספירה בסטייה של עד אחד ב-COCO, ו-87% לעומת 90% בזיהוי כל אובייקט שקיים — השורה היחידה שבה המודל הזול מנצח.

בדיקת התביעה הכספית

A headless-browser screenshot of the Artificial Analysis Decision Index v2.1 page, captured 17 November 2026 in English, headed ‘Artificial Analysis Decision Index v2.1’ and described as a composite index testing decision models across document decisions and extraction, tool calling, knowledge, reasoning and invariance, with a note that version 2.1 combines six evaluations starting with AA-Paperclip's 1,500 resumes, receipts, invoices and research papers.

משפט התמחור של Liquid ניתן לבדיקה בצורה יוצאת דופן: "אין מודל שמשיג ציון גבוה מ-d1.2 במחיר נמוך יותר, ואין מודל שמשיג ציון גבוה מ-d1.2-ultra בכל מחיר." שני החצאים עומדים במבחן הלוח. שום דבר במדד בן 24 המודלים לא משיג ציון מעל 74.85 בכלל, כך שהחצי השני נכון באופן טריוויאלי. לגבי הראשון, d1.2 עומד על 68.69 ועל 63 דולר למיליון משימות; כל מודל שמשיג ציון גבוה ממנו עולה יותר, כשהמתחרה הזול הקרוב ביותר הוא Decider v1.3 עם 70.41 ו-68 דולר. הטענה מחזיקה, והיא מחזיקה על המספרים של מישהו אחר ולא של Liquid, וזה נדיר יותר ממה שצריך להיות.

נתוני העלות עצמם מגיעים מ-Artificial Analysis, שמריצה כל הערכה לפי מחירי המחירון הנוכחיים וממצעת: 133 דולר למיליון משימות עבור d1.2-ultra, המקום האחד-עשר מתוך 24 לעומת חציון קטגוריה של 135 דולר, ו-63 דולר עבור d1.2, השלישי הכי זול. הזמן למשימה הוא 218 מ״ש עבור המודל הגדול ו-150 מ״ש עבור הקטן, לעומת חציון קטגוריה של 209 מ״ש — דגם הדגל איטי מעט מהממוצע, המודל הזול מהיר בהרבה, ושניהם מהירים בסדר גודל מהמודלים הגנרטיביים שמופיעים באותו לוח בזמן של 11 ו-32 שניות למשימה.

היכן אפשר לקרוא לזה, ועל מה להריץ אותו

שני המודלים זמינים היום ב-API של Liquid עצמה בכתובת api.liquid.ai/decisions/v1/systemone, הנקראים d1.2-ultra ו־d1.2, עם מפתחות מהקונסולה של Liquid, ושניהם נמצאים בפליי־גראונד של Liquid. הפוסט של Liquid אומר שפלטפורמות צד שלישי נוספות מגיעות; נכון לכתיבת שורות אלה, ה-API של הספק עצמו הוא המסלול הקיים. אף אחד מהמודלים אינו בקטלוג שלנו, והמאמר הזה אינו מהווה טענת זמינות לגבי אף אחד מהם.

מה שנמצא בקטלוג שלנו הוא Jev 1.14, המודל שמוביל ברכיב האחד שבו d1.2-ultra אינו מוביל — EvalSafe-O*NET-AA, ב-91.14 מול 89.53 — מוגש דרך אותו מבנה endpoint של systemone, טקסט נכנס ו-JSON מובנה יוצא, ב-$0.042 למיליון טוקני קלט. הצירוף הזה שימושי: צוות שמעריך את המהדורה הזו יכול להעמיד את המודל החדש ואת המודל הקיים על אותם מצבים בלי חוזה שני או ספריית לקוח שנייה, כי API אחד ל-200+ מודלים כבר מדבר בשני המבנים. מחירי מחירון מועברים הלאה ב-0% תוספת, כך שאם Liquid משנה את ה-$0.042, המספר כאן זז איתו ולא אחריו, ומעבר אוטומטי לגיבוי פירושו שמודל בן יום יכול לקחת פרוסה מעומס עבודה אמיתי בלי להפקיד בידיו את כולו.

A headless-browser screenshot of the OrcaRouter model page for typesafe/jev-1.14, captured 17 November 2026 in English, showing the /v1/systemone endpoint, Zero Data Retention availability, an input and output list price of $0.04, and measured latencies of 182 ms and 372 ms.

ההמלצה שנובעת מן הנתונים ולא מדף התמחור: להריץ אותו בהרצת צל. d1.2-ultra ראשון במסמכים וראשון בכיול, וזה צמד חזק באמת עבור צינורות חילוץ, והוא אחרון בשאלות ידע קשות, וזו מגבלה ממשית ולא הערת שוליים. שלחו לו את המצבים שהצינור שלכם באמת רואה, השוו את ההסתברויות ולא את בחירות ה-top-1, ושימו לב למקרים שבהם הוא עונה 0.8 וטועה, כי בזנב הזה קודמו של המודל מאוקטובר קיבל ניקוד גרוע, ושם השיפור או מתגלה או לא.

השאלה הפתוחה אינה אם 75 הוא אמיתי — Artificial Analysis מדדה אותו ופרסמה את הרכיבים. השאלה היא אם הערכת מסמכים משוקללת ב-30%, על 1,500 מסמכים פרטיים, ניתנת להכללה למסמכים שלך. זוהי שאלה שרק מדגם מתויג משלך יכול לענות עליה, וכדאי לענות עליה לפני ששינוי החיוב יפתה אותך לשאול עשר שאלות לכל מסמך במקום אחת.