d1-2B מול Liquid AI d1-3B: המודל הקטן יותר מנצח בטבלת הדירוג אך מפסיד בפריסה

ארבע שאלות מכריעות את ההתמודדות הזו, ואף לא אחת מהן היא "איזה מודל טוב יותר". האם המצב כולל וידאו? האם הוא עולה על 32K טוקנים? האם אתה צריך להריץ אותו תחת llama.cpp? האם אתה יכול להרשות לעצמך להיות האדם הראשון שבודק אותו? d1-2B הוא מודל ההחלטות של Liquid AI בנפח 1.92B, שנבנה על LFM3-VL-2B וקיבל ציון 51.1 בטבלת Decision Index של הספק. Liquid AI d1-3B הוא המודל בנפח 3.12B שיצא ב-7 באוקטובר, נבנה על LFM2.5-VL-3B וקיבל ציון 49.0 באותה טבלה. המודל החדש והקטן יותר מוביל בממוצע. הוא עדיין מפסיד בשלוש מהשורות שפריסה בפועל מסתמכת עליהן, והוא זה מבין השניים שאין לו מסלול llama.cpp ותוצאת בדיקה עצמאית. העמוד הזה מאורגן סביב ארבע השאלות האלה ולא סביב לוח הדירוג, כי לוח הדירוג לא עונה על אף אחת מהן.

התשובה הקצרה, לפי עומס העבודה

• מיון טקסט בלבד בהיקף גבוה — d1-2B, בזכות 1,132 החלטות בשנייה עבור 64 מצבים באצווה ו-3.84GB של משקלים. היתרון של ה-3B ב-Typed Decisions אינו רלוונטי כאשר הפלט הוא תווית.

• קריאת דיאגרמות ותרשימים — Liquid AI d1-3B. הוא מנצח את AI2D בתוצאה 79.9 מול 76.7, והוא המודל שיש מאחוריו הרצה עצמאית.

• מסמכים ארוכים, טפסים ארוכים, תמלולי שיחות ארוכים — d1-2B. החלון שלו הוא 128K טוקנים לעומת 32,768, והכרטיס מודה בכנות שהאמינות יורדת אחרי כ-64K, מה שעדיין משאיר פי שניים מהקיבולת הכוללת של ה-3B.

• מכשירי קצה שמריצים llama.cpp — Liquid AI d1-3B, כברירת מחדל ולא בזכות. יש לו מאגר GGUF וגרסה מכומתת של משקולות-אקטיבציה; ל-d1-2B אין אף אחד מהשניים.

• כל דבר שבו החלטה שגויה עולה ביוקר ואינה נבדקת — לא זה ולא זה, עד שתהריץ את שניהם על הנתונים שלך. רק אחד מהם אפילו הורץ על ידי צד שלישי.

אותה משפחה, בהפרש של דור אחד

שני המודלים אינם אחים במובן שמרמזים השמות. Liquid AI d1-3B נגזר מ-LFM2.5-VL-3B, אשר נגזר מ-LFM2.5-2.6B-Base, והוא כולל מקודד חזותי SigLIP2 NaFlex בנפח 400M.‏ d1-2B נגזר מ-LFM3-VL-2B, הדור הבא של המשפחה, על בסיס עמוד שדרה של 24 שכבות המחולקות בין 13 קונבולוציות קצרות עם שער, 5 שכבות קשב בחלון מחליק ו-6 שכבות קשב גלובליות. פער הדורות הזה הוא מקור ההיפוך בתוצאות הבנצ'מרק: הארכיטקטורה החדשה יותר עושה יותר לכל פרמטר, ולכן נקודת הביקורת הקטנה יותר יכולה להשיג ציון גבוה יותר מזו הגדולה יותר ברוב השורות.

• פרמטרים — 1.92B עבור d1-2B לעומת 3.12B עבור Liquid AI d1-3B.

• הורדה — 3.84GB לעומת 6.25GB של BF16 safetensors, שניהם בקובץ יחיד.

• הקשר — 128K אסימונים לעומת 32,768.

• אוצר מילים — 128,000 טוקנים לעומת אוצר המילים של LFM2.5.

• קלטים — טקסט או JSON, תמונות או וידאו, בתוספת שאלות בעלות שם, עבור d1-2B; טקסט או JSON בתוספת תמונות עבור ה-3B. וידאו הוא ההבדל הברור ביותר ביכולות בין השניים.

• שפות — שש עשרה בכל אחת, אותה קבוצה.

• רישיון — LFM Open License v1.0 עבור שניהם, כאשר השימוש המסחרי מותנה בכך שההכנסות השנתיות יישארו מתחת ל-$10,000,000. אין שום סיבה הקשורה לרישוי להעדיף אחד מהם.

• שחרור — המשקלים של d1-3B הועלו ב-5 באוקטובר והוכרזו ב-7 באוקטובר. המאגר של d1-2B נוצר ב-24 באוקטובר ומעולם לא היה לו פוסט משל עצמו; המשפט היחיד של הספק שמזכיר אותו נמצא בהשקת LFM3 ב-27 באוקטובר.

פרט תיעודי אחד שווה קריאה כאות ולא כעובדה: עמוד התיעוד של מודלי ההחלטה של Liquid AI מציג כעת את d1-2B, d1-omni-2B, d1-omni-600M, d1.1 ו-d1-ultra. הוא כבר אינו מציג את d1-3B. ה-3B לא הוצא משירות — המאגר, בניות ה-GGUF וה-MLX שלו כולם פעילים — אבל האינדקס של הספק עצמו העביר את משבצת המשקולות הפתוחות ל-2B.

לוח התוצאות, לקרוא שורה אחר שורה

כל המספרים שלהלן מגיעים מטבלת הבנצ'מרק בכרטיס המודל של d1-2B, שמנקדת ארבעה מודלים פתוחים של d1 על אותם פריטים עם אותו מעריך. זה חשוב משום שהכרטיס של d1-3B מבית Liquid AI עצמו מדווח 48.57 ב-Decision Index 0.2.1 ואילו הטבלה הזו מדווחת 49.0 בגרסה 0.3; הפער הוא במהדורת האינדקס, לא בשינוי במודל, והכרטיס אומר זאת בהערה. השוואה ישירה בין שני הכרטיסים — 48.57 מול 51.1 — תהיה חיסור בין שני מבחנים שונים. השוואה בתוך הטבלה הזו היא לגיטימית, וזה מה ששאר הסעיף הזה עושה.

• Decision Index public suite v0.3 — 51.1 לעומת 49.0.

• DecisionBench (Hanno Labs) v1 — 77.1 לעומת 73.1.

• Decision Bench (decisionbench.ai) v4 — 85.2 לעומת 83.6.

• JevBench v1.4.1 — 77.9 לעומת 76.2.

• ImajevBench v2.0-lite — 75.5 לעומת 64.0, הפער הגדול ביותר בצד קבלת ההחלטות.

• WorkflowEvals — 81.6 לעומת 74.4.

• הלוח הפנימי של Liquid AI — 63.2 לעומת 58.8.

• ממוצע Vision — 70.2 לעומת 65.4 על פני שמונה־עשר מבחנים.

כל חבילת החלטות בעלת שם בטבלה ההיא הולכת ל-2B, וזה מה שפוסט ההשקה של LFM3 מתכוון אליו כשהוא מכנה את d1-2B תחליף ל-d1-3B "עם שליש פחות פרמטרים" וציונים גבוהים יותר "בכל ארבע חבילות ההחלטה". הטענה מדויקת כפי שהיא כתובה — וצרה יותר מ"מנצח את ה-3B", ולכן קיימת הפסקה הבאה. לאחר מכן, שלוש השורות שהולכות בכיוון ההפוך. Fast Decisions עומד על 58.8 עבור d1-2B לעומת 59.3 עבור ה-3B. Typed Decisions עומד על 61.3 לעומת 65.0. AI2D עומד על 76.7 לעומת 79.9. אף אחד מהפערים האלה אינו גדול, ושניים מהשלושה נמצאים בתוך נקודה אחת, אבל אלה השורות שבהן 1.2B הפרמטרים הנוספים עדיין קונים משהו מדיד: החלטות שמכוונות למהירות, חילוץ מוקלד וקריאת תרשימים. אם המשימות בצינור העיבוד שלך הן חילוץ מוקלד מטפסים, ה-3B אינו האפשרות המיושנת שדף התיעוד מרמז עליה.

השהיה: שני מספרי הכותרת אינם ניתנים להשוואה

Liquid AI מצטטת 5.7 ms לכל החלטה עבור d1-2B ו-8 ms עבור Liquid AI d1-3B, ואלה אינן אותה מדידה. הנתון של 2B הוא על H100 PCIe; הנתון של 3B הוא על RTX 4090. פער של 2.3 ms בין שני מעבדים גרפיים שונים לא אומר לך דבר על איזה מודל מהיר יותר בחומרה שלך, וחזרה עליו כהשוואה תהיה בדיוק מסוג הלבנת המספרים שהבלוג הזה נועד להימנע ממנה.

יש מכונה אחת ששני הכרטיסים מדווחים עליה. ב-Apple M5 Pro, ‏d1-2B לוקח 18.6 מילישניות לכל שאלה וה-3B לוקח 30 מילישניות — קיצור של 38% על אותו סיליקון. זו השוואת המהירות הכנה, והיא מצביעה לאותו כיוון שההבדל בגודל מרמז עליו. בעיבוד באצוות, ‏d1-2B מטפל ב-1,132 החלטות בשנייה על H100 PCIe וב-1,699 בשנייה על MI325X עם 64 מצבים בקריאה אחת; הכרטיס של ה-3B מדווח על 475 בשנייה על RTX 4090 ועל 1,106 בשנייה על MI325X. שורת ה-MI325X היא זו ששני הכרטיסים חולקים, ושם ה-2B מוביל בכ-54%.

המבחן העצמאי היחיד שקיים הריץ את ה-3B

באמצע אוקטובר, Efraín Garay הריץ שמונה מודלים לקבלת החלטות מול Decision Index 0.3 ומול שלוש משימות עם נתונים אמיתיים, ופרסם את התוצאות יחד עם הקוד. שני ממצאים נוגעים להשוואה הזו.

הראשון מעודד מבחינת לוח התוצאות. הוא בנה מחדש את מערך המבחנים הציבורי מהערכה שלו, בדק שהקבצים שהורדו תואמים לאלה הרשמיים, דגם 6,000 בקשות, והעניק ל-Liquid AI d1-3B ציון 49.11 — לעומת 49.04 של Liquid עצמה על אותן שורות ו-48.99 על מערך המבחנים המלא. זו הראיה החזקה ביותר הזמינה לכך שמספרי v0.3 בטבלה שלמעלה מחושבים נכון. זו ראיה לגבי ה-3B, לא לגבי d1-2B, שאותו הוא לא בדק.

הדבר השני הוא אזהרה לגבי מה שמדד מודד. על מאגר סינתטי של הונאות כרטיסים של 10,000 תשלומים, Liquid AI d1-3B קיבל ציון AUC של 0.314 — מתחת לרמה האקראית, ודירג אנומליות כפחות חשודות מתשלומים רגילים, משום שרצפים של תשלומים עוקבים קיבלו הסתברות חציונית של 0.41 לעומת 0.56 לתשלום רגיל. המודל היה שני במדד הציבורי ואחרון במשימה הזו. הלקח עובר ישירות: 51.1 של d1-2B הוא ציון במערך החלטות כללי, ואיש לא הראה שהוא מנבא ביצועים בהחלטה הספציפית שלך. הספק אומר זאת במפורש בכרטיס שלו, בהנחיה לכייל ספים על הנתונים שלך.

מה שאתה יכול להריץ בפועל היום

כאן ההשוואה מפסיקה להיות צמודה. ל-Liquid AI d1-3B יש מאגר GGUF מאז 6 באוקטובר, בילד של משקולות-אקטיבציה ב-8 ביט מאז 7 באוקטובר, וארבעה וריאנטים של MLX מאז 12 באוקטובר. d1-2B קיבל שלושה בילדים של MLX וייצוא ONNX ב-27 באוקטובר, ושום דבר אחר. אין GGUF ל-d1-2B, אין קוונטיזציה מעבר ל-4 ביט ול-8 ביט של MLX, ולכן אין נתיב llama.cpp מפורסם עבור ראש ההחלטה — למרות שלמודל הבסיס, LFM3-VL-2B, יש GGUF משלו מאז 19 באוקטובר.

בפריסת Transformers ההבדל נעלם: שניהם נטענים עם trust_remote_code=True ומספקים את אותן system_one ו-system_one_batch קריאות. בפריסת קצה זה לא כך. אם הסטאק שלך הוא llama.cpp על Jetson או על טלפון, ה-3B הוא היחיד מבין השניים שאפשר להריץ בלי לכתוב אינטגרציית ריצה, והנתונים שפורסמו עבורו לקצה — 16 ms על Jetson AGX Thor, 26 ms על AGX Orin 64GB, 50 ms על Orin Nano — הם אלה שאפשר לתכנן לפיהם.

אף אחד מהמודלים אינו מוגש על ידי OrcaRouter, כך שהבחירה ביניהם היא החלטת אירוח עצמי בכל מקרה. המקום שבו ראוטר מצדיק את מקומו הוא שכבה אחת החוצה: מודלי החלטה לעיתים נדירות פועלים לבד, והשלב הגנרטיבי שפועל על תווית ניתוב מגיע בדרך כלל ממודל מתארח. מפתח אחד תואם OpenAI ליותר מ-200 מודלים, DSL לניתוב שמאפשר לך להרכיב את השלבים האלה לקריאה אחת, ומעבר אוטומטי לכשל שומרים על החצי הזה של הצינור מלהיות פרויקט אינטגרציה שני בזמן שצומת ההחלטה נשאר על החומרה שלך.

אם אתם מבצעים הגירה, שלושה דברים משתנים

משטח ה-API קרוב מספיק כדי שפורט ייראה טריוויאלי, אך הוא אינו כזה. ראשית, חוזה הקלט: d1-3B מקבל תמונות; d1-2B מקבל רשימת מדיה שיכולה לכלול וידאו, והכרטיס שלו מתאר את המדיה כמקודדת פעם אחת עבור כל השאלות בקריאה. קוד שמעביר תמונה בודדת ירוץ, אבל הוא לא ישתמש במה שהמודל נבנה עבורו.

שנית, הסף. שני המודלים מחזירים הסתברויות, ושניהם זקוקים לסף החלטה שיותאם לנתונים שלך. סף שהותאם לכיול של d1-3B אינו עובר הלאה — טבלאות הכיול מגיעות בתוך כל מאגר, מותאמות בנפרד — כך שהגירה ששומרת על הסף הישן תייצר נקודת הפעלה שונה ובמסלול מודרציה או הונאה, פרופיל שגיאות שונה.

שלישית, צוק האמינות. חלון ה-128K הוא הכותרת; הכרטיס אומר שהתשובות נעשות פחות אמינות לאחר כ-64K טוקנים של מצב. ב-3B התקרה היא 32,768, כך שמעבר ל-d1-2B יהיה בדרך כלל רווח קיבולת ישיר — אבל פייפליין שמתחיל להזין מצבים של 100K טוקנים כי עכשיו הוא יכול בודק את החלק של הטווח שהספק סימן כחלש יותר.

ההכרעה פחות סימטרית מלוח התוצאות. לבנייה חדשה ב-Transformers, על טקסט או תמונות או וידאו, עם מצבים שיכולים להתארך, d1-2B הוא ברירת המחדל העדיפה והזולה יותר להרצה. לפריסה בקצה תחת llama.cpp, לחילוץ עם טיפוסים, או לראייה עתירת דיאגרמות, Liquid AI d1-3B הוא עדיין המודל שכדאי לבחור בו — והוא היחיד מבין השניים שיש מאחוריו ראיות חיצוניות כלשהן. הדבר היחיד שאסור לעשות הוא לבחור רק לפי 51.1 מול 49.0. שתי נקודות במדד של ספק, בין שני מודלים שאיש לא הריץ על המשימה שלך, אינן החלטה; זהו שובר שוויון.