Bonsai 2 הגיע ל-Ollama לפני שמישהו הודיע שזה עומד לקרות

מתישהו בשעות הקטנות של 17 באוקטובר 2026, Ollama החלה להגיש Bonsai 2 — רשומת ספרייה בת תשעה תגים המכסה את Ternary Bonsai 2 2B, את Ternary Bonsai 2 4B, את Ternary Bonsai 2 9B ואת Bonsai 2 27B, כל אחד בשתי אריזות בתוספת כינוי ברירת מחדל. Prism ML לא אמרה דבר על כך. אין פוסט בעמוד החדשות של הספק, אין שורה בהודעה מ-15 באוקטובר על המודלים הקטנים — הפוסט ההוא מציין את llama.cpp ואת MLX כסביבות ההרצה ואת קונסולה מתארחת כדמו, ואינו מזכיר את Ollama כלל. הרשומה פשוט קיימת, כשכל תשעת התגים חתומים כבני אותן שעות ספורות, וזה מה שנראה כמו דחיפה טרייה ולא כמו הפצה מדורגת.

אז החלוקה הכנה היא כזו. ניתן לדעת כעת, מהרג'יסטרי ומהקבצים: התגים, השמות שלהם, גדלי הבתים המדויקים שלהם, תמציות התוכן שלהם, וכיוון ש-Ollama מגיעה עם GGUF — הארכיטקטורה ומחרוזות המטא-נתונים שבתוך המשקלים עצמם. לא מאושר: מי ארז אותם, מדוע ההכרזה של הספק משמיטה את הפלטפורמה, אם הקרנלים הטרינריים נמצאים במעלה הזרם במנוע של Ollama עצמו או שהם קוד צד-שלישי מוטמע, ואם חלק מהמספרים של הספק שורדים את המעבר. אלה שאלות נפרדות והמאמר הזה שומר עליהן נפרדות.

מה בעצם נמצא על המדף

תשעה תגים, ארבעה גדלים, שלוש אריזות של אותם משקלים. עמוד הספרייה של Ollama מפרט כינוי ברירת מחדל לכל גודל וגרסת -q2_0 לכל גודל:

• bonsai-2:latest — 3.2 GB, מתפרש למודל 9B (digest c8b5462f8688)

• bonsai-2:2b ו-bonsai-2:2b-q2_0 — 911 MB, אותו digest de2ccb4e7328

• bonsai-2:4b ו-bonsai-2:4b-q2_0 — 1.6 GB, אותו digest 93edd652c932

• bonsai-2:9b ו-bonsai-2:9b-q2_0 — 3.2 GB, אותו digest c8b5462f8688

• bonsai-2:27b ו-bonsai-2:27b-q2_0 — 8.3 GB, אותו digest f3c4f4208659

השמות עושים יותר עבודה ממה שזה נראה. שני תגים לכל גודל שחולקים תקציר אינם כפילות — זו הצהרה על איזו אריזה Ollama בחר. משוך את המניפסט עבור bonsai-2:9b ושכבת המודל היא 2.557 GB. זה של Ternary Bonsai 2 9B Q2_0 קובץ, נמדד ב-Hugging Face ב-2.557 GB עד הבייט. ה-PQ2_0 חבילה היא 2.417 GB וה-PTQ1_0 חבילה — הקטנה ביותר ב-1.997 GB — לא נמצאת כאן בכלל.

לבחירה הזו יש השלכה שראוי להצהיר עליה בפשטות, כי זה מהסוג של דברים שהופכים לשרשור תמיכה. בכרטיס המודל של הספק, upstream llama.cpp מריץ בדיוק אחת משלוש האריזות: Q2_0, "מאסטר עדכני, הכולל את סביבת ההרצה של הפעלת Hadamard." הוא דוחה את PQ2_0 ואת PTQ1_0 כסוגים לא ידועים, כי אלה דורשים את הפורק של Prism ML llama.cpp. Ollama מריצה מנוע משלה. Q2_0 היא האריזה שצרכן GGUF סטנדרטי יכול לטעון באופן סביר — ו-Q2_0 היא בדיוק האריזה ש-Ollama הפיצה. אם Ollama פיתחה קרנלים טרינאריים משלה או מנתבת לבנייה מוטמעת, זה לא משהו שהרג'יסטרי מספר לך. מה שכן הוא אומר לך הוא שהם לא הפיצו את הקובץ שלא יכול להיטען.

המטא-דאטה של GGUF מספרת לך יותר משהעמוד מספר.

העמוד של Ollama מדווח ארבע עובדות לכל תג: גודל בבתים, תג הקשר "256K", סוג קלט של טקסט-בתוספת-תמונה, וחותמת זמן יחסית. כל השאר נמצא בתוך הקובץ. קריאת כותרת ה-GGUF של כל שכבת מודל נותנת את הדברים הבאים, וכדאי לקרוא אותה מסיבה ספציפית: זהו החלק היחיד בסיפור הזה שאינו טענה שיווקית של מישהו.

• general.architecture — qwen35 בכל ארבעת הגדלים

• general.name — Ternary-Bonsai-2-2B, -4B, -9B על השלושה הקטנים; שכבת ה-27B מדווחת על המחרוזת הגנרית Hf עם general.basename = folded

• general.file_type — 41 בכל ארבעתם, עם general.quantization_version = 2

• general.size_label — 2B, 4B, 9B, 27B, בהתאמה לשמות התגים

• מספרי טנסורים — 320 עבור ה-2B, 426 עבור ה-4B, 427 עבור ה-9B, 851 עבור ה-27B

מחרוזת הארכיטקטורה היא המעניינת. qwen35 הוא עמוד השדרה של Qwen3.5 עם קשב היברידי, והוא מאשר מתוך הארטיפקט עצמו את מה שכרטיסי המודל אומרים במילים: שלושת הקטנים הם Qwen3.5-2B, ‎-4B ו-‎-9B, כאשר הארכיטקטורה לא השתנתה והמשקלים הוחלפו. הוא גם חושף תפר בשמות שהערות השחרור של הספק עצמו מטשטשות. הפוסט מ-15 באוקטובר אומר שהמודלים החדשים "מבוססים על Qwen3.5". ה-27B הוא בסיס שונה לחלוטין — Qwen3.8-27B, שהוכרז ב-17 בספטמבר. ארבעה גדלים, שם משפחה אחד, שני מודלי בסיס. כל מה שתקראו על התנהגות "Bonsai 2" שנמדדה על ה-27B לא עובר אוטומטית למטה אל ה-9B, וכותרת ה-GGUF היא המקום שבו אפשר לראות למה.

המטא-דאטה של 27B גם נראית פחות מסודרת מהשאר: general.name = Hf, general.basename = folded, general.version = v5, ומפתח דגימה נוסף אחד ששלושת הקטנים אינם נושאים. כך נראה פלט ביניים של צינור המרה כשהוא נדחף בלי מעבר שינוי שם סופי. זה לא פגם — הטנזורים הם הטנזורים — אבל זו טביעת אצבע, והיא מרמזת שתג 27B הגיע דרך נתיב שונה מזה של שלושת הקטנים.

מה שהמספרים של Ollama לא אומרים

כאן רוב הסיקור של רשימת ספרייה משתבש, ולכן כדאי להאט. גדלי הבתים בדף של Ollama הם גדלי מכולה, ולכל גודל הם גדולים יותר מקובץ המודל שבתוכה. תג 2B מציג 911 MB מול שכבת מודל של 0.547 GB ומקרן ראייה של 0.365 GB. תג 27B מציג 8.3 GB מול שכבת מודל של 7.626 GB ומקרן של 0.629 GB. הוסיפו את בלובי הרישיון והפרמטרים והחשבון מסתדר: Ollama מצטטת את כל הארטיפקט הנמשך, כולל מגדל הראייה.

פירוש הדבר שה-3.2 GB של עמוד Ollama עבור ה-9B אינו בר השוואה לנתון "2GB" של הספק עבור אותו דגם, והפער אינו אי-התאמה שיש לדווח עליה — אלו שתי מדידות שונות של שני דברים שונים. ה-0.43 GB / 0.95 GB / 2 GB של Prism ML הם המודלים הלשוניים בלבד. מגדל הראייה מועבר מהזיכרון ונטען רק כאשר תמונה מגיעה בפועל, כך שפריסה טקסטואלית בלבד לעולם אינה משלמת עליו, אבל ollama pull כן. אם אתם קובעים את גודל ההתקן לפי המספרים של הספק ואז מושכים מ-Ollama, תהיו חורגים מהתקציב ב-0.5 עד 1 GB לפני שתריצו משהו.

אותה זהירות חלה גם על התג "256K". ההקשר הבסיסי הוא 262,144 אסימונים, בירושה משלד Qwen3.5 — 24 שכבות קשב ליניארי ו-8 שכבות קשב מלא ב-9B — והתג של Ollama מעגל אותו כלפי מטה לצורך התצוגה. ההקשר אמיתי והוא בירושה, לא משהו ש-Ollama הוסיף. מה שלא מוצהר בשום מקום בעמוד הוא כמה זיכרון עולה הקשר ארוך, ובמודל עם קשב היברידי עם מטמון קשב מלא על תת-קבוצה של שכבות זה לא מספר קטן. שום דבר בעמוד של Ollama לא אומר לך אם 262K באמת נכנס בכל מקום שבו אתה מתכוון להריץ אותו.

מי ארז את זה, והאם זה משנה

לא נענתה, ויש לסמן אותה כלא נענתה במקום לנחש. שלוש אפשרויות: Prism ML דחפה אותו, Ollama משכה אותו ממאגרי ה-GGUF הציבוריים של הספק כחלק מעבודת הקטלוג שלה, או שצד שלישי עשה זאת. ה-Registry לא יכול לומר לך איזו מהן.

מה שניתן לבדוק הוא מקורו של הארטיפקט, והוא תואם. בתיאור המודל של Ollama עצמה נאמר: "Bonsai 2 מבית Prism ML היא משפחה של מודלי ראייה הבנויים עבור משקלים תלת-ערכיים (−1, 0 או +1): כחצי מהגודל של מודלים סטנדרטיים של 4 סיביות, באיכות הקרובה לדיוק מלא", ומקשרת לארגון Hugging Face של הספק, למסמך הלבן של Bonsai 2 27B, ול-Apache 2.0. בלוב הרישיון המוטמע בכל אחד מארבעת מניפסטי הגדלים הוא הטקסט המילולי של Apache 2.0. בלוב הפרמטרים עבור 2B, 4B ו-9B כתוב {"presence_penalty":1,"temperature":1,"top_k":20,"top_p":0.95} — וזהו מתכון הדגימה המומלץ של הספק במצב חשיבה מכרטיסי המודל, כאשר min_p מושמט בדיוק כפי שכרטיס ה-27B אומר שקובצי GGUF משמיטים אותו. זו אינה השערה שמישהו העלה; זהו המרה שקראה את הכרטיס.

מה שמרגיע ובכל זאת לא אומר לך דבר על הדבר שבאמת קובע את החוויה שלך: האם קרנלים טרינאריים נמצאים במנוע שאתה מריץ. העמדה הכנה היא שמשיכה מוצלחת מוכיחה שהקובץ הוא GGUF תקין, ותו לא. אמת על החומרה שלך לפני שאתה בונה על זה.

טענות הספק, ומה שנבדק

כל מספר איכות שמצורף למשפחה הזו מגיע מ-Prism ML, על ההרנס של Prism ML עצמה, ואף אחד מהם לא שוחזר באופן בלתי תלוי. זה נורמלי בגיל הזה, ויש לומר זאת בקול רם ולא לרמוז זאת. הפוסט מ-15 באוקטובר מדווח על 19 בנצ'מרקים על פני שישה תחומי מיומנות עבור המודלים הקטנים, עם שימור מול קווי בסיס של Qwen3.5 בדייקנות מלאה:

• 2B — סוכני 95.5%, מתמטיקה 107.8%, ביצוע הוראות 121.5%, קידוד 115.0%, ידע 82.9%, ראייה 89.0%

• 4B — 90.0% / 99.3% / 106.0% / 100.7% / 90.9% / 91.3%

• 9B — 92.4% / 98.2% / 100.0% / 100.1% / 93.0% / 92.5%

כמה מאלה עוברים את 100%, וזה לא שגיאת הקלדה ולא תוצר של עיגול — זה אומר שהמודל הטרנרי קיבל ציון גבוה יותר מהמודל ברמת דיוק מלאה שממנו הוא נגזר באותה קטגוריה. עמידה בהוראות בשיעור 121.5% עבור ה-2B היא הדוגמה הבולטת ביותר. התייחסו לזה בחשד הראוי לו: מודל דחוס שמנצח את קו הבסיס של עצמו במבחן שהספק בחר הוא אמירה על האימון ועל ה-harness לא פחות מאשר על הייצוג, וציוני קטגוריית המודלים הקטנים רועשים בהרבה יותר מאלה של ה-27B. המספרים של ה-27B שמרניים יותר ואמינים יותר בצורתם — 84.78 לעומת 86.32 עבור FP16, שימור של 98.2% לאורך 14 מבחנים במצב חשיבה, עם מתמטיקה ב-96.57 לעומת 97.06 ורמת קידוד ב-89.42 לעומת 89.07, והאובדן מרוכז בידע/היסק ובראייה. כאשר משפחה מוותרת על יכולת תחת ייצוג של 1.7 סיביות, זה הפרופיל שהייתם חוזים.

הטענה היחידה בפוסט על המודלים הקטנים שהיא לא מדד ביצועים היא זו שכדאי לקחת ברצינות הרבה ביותר: מודל ה-9B "משתמש בפחות כ-40% טוקנים במשימות סטנדרטיות של ביצוע הוראות ומתמטיקה יומיומית". זו טענה על מילוליות, לא על יכולת, וזה מסוג הדברים שאפשר לבדוק באחר צהריים אחד עם הפרומפטים שלכם. היא גם מתקשרת לאזהרה בכרטיסי המודל של היצרן עצמו — מצב חשיבה יכול לשרוף יותר מ-3,000 טוקנים על שאלה טריוויאלית, לכן הגדירו לפחות 8,192 טוקני פלט, ואל תריצו פענוח חמדני עם מצב חשיבה פעיל, כי הוא עלול להיתקע בחשיבה. מודל שמילוליותו קטנה ב-40% ובכל זאת זקוק לתקציב של 8,192 טוקנים אומר לכם שהוא מילולי במקום מסוים.

איפה זה משאיר אותך

אם אתם כבר מריצים Ollama ורציתם לנסות מודל בדרגת 27B על מחשב נייד בלי GPU של מרכז נתונים, ארבעת התגים הם הנתיב הקצר ביותר שקיים כרגע: pull אחד, בלי פורק, בלי בניית קרנל. אם אתם צריכים את האריזה שהיא למעשה הקטנה ביותר, או את מודלי הטיוטה לפענוח ספקולטיבי שהספק מספק עבור 4B ו-9B, לרשומה של Ollama אין אותם — זה הורדה מ-Hugging Face ובנייה של Prism ML llama.cpp, וזה כך מאז 15 באוקטובר.

הדבר הנוסף שכדאי לדעת הוא שמודל מקומי אינו הדרך היחידה לצרוך מודל בעל ביטים נמוכים, והוא גם לא תמיד הדרך הנכונה. OrcaRouter מציב API אחד מול יותר מ-200 מודלים מתארחים עם 0% תוספת מחיר — מחיר המחירון של הספק מועבר הלאה כמו שהוא — ובנוסף מעבר אוטומטי בין ספקים במקרה של תקלה, כך שתוכל להעריך מודל על עומס עבודה אמיתי לפני שתחליט אם הוא ראוי למקום במחשב הנייד שלך. אף אחד מגדלי Bonsai 2 אינו מוגש דרך OrcaRouter כיום, והמאמר הזה אינו טוען אחרת: המשפחה היא הורדה שאתה מריץ בעצמך, והיא נשארת כך עד שהספק יפרסם נקודת קצה. מה ששכבת הניתוב נותנת לך הוא החצי השני של ההחלטה — המודלים המתארחים שאיתם תשווה אותו, מאחורי מפתח אחד, עם מיזוג מודלים ו-DSL לניתוב זמינים כשמודל אחד אינו מספיק.

מה כדאי לעקוב אחריו, לפי הסדר שבו זה ישנה את התמונה: תג של Ollama שמקבל ptq1_0 אח, מה שאומר שקרנלי ה-dense-trit הגיעו ל-upstream; פוסט של ספק שמכיר בפלטפורמה, שיענה על שאלת הפרובננס; וכל בנצ'מרק בלתי תלוי של 9B או 27B, שהוא הדבר היחיד שיוציא את נתוני הריטנשן מהעמודה של "מדווח על ידי הספק". עד שאחד מאלה ינחת, הרשומה היא מנגנון הפצה, לא מודל חדש — והמודל שהיא מספקת פומבי מאז 15 באוקטובר.

שום דבר מזה אינו היפותטי: כשלי ה-AI המתועדים ותקריות הסוכנים העומדים מאחורי מהדורות כמו זו מרוכזים בארכיון תקריות ה-AI של OrcaRouter, שבו כל רשומה כוללת מקורות משלה, חומרה, דירוג מהימנות וסימון שנוי במחלוקת.