Ternary Bonsai 2 27B Uncensored לעומת Qwen3.8-27B-Uncensored-MLX: שתי דרכים להסיר כיוון סירוב

OrcaRouter Ternary Bonsai 2 27B Uncensored וQwen3.8-27B-Uncensored-MLX עונים על אותה שאלה — כיצד מוציאים כיוון סירוב מתוך מודל שפה — והם עונים עליה בשני מקומות שונים. השושלת Qwen3.8-27B-Uncensored-MLX היא אבליטרציה קונבנציונלית: מטריצות המשקל עוברות אורתוגונליזציה כנגד כיוון סירוב נלמד, והמשקלים שנערכו נשמרים כצ'קפוינט חדש. OrcaRouter Ternary Bonsai 2 27B Uncensored מבצע את ההיטל המקביל בזמן הסקה במקום זאת, תוך חיסור הרכיב של כל כתיבה שיורית שנמצא לאורך כיוון הסירוב, כך שחבילת ה-Bonsai הבסיסית לעולם אינה משתנה ונשארת זהה ביט-בביט. שניהם מהדורות שלנו, והפיצול ביניהם אינו העדפה בנוגע לסביבות ריצה. הוא נובע מהאריתמטיקה הספציפית למשקלים טרנריים.

נושא ההשוואה הזו בן יום. Prism ML הכריזה על Bonsai 2 27B ב-2026-09-17; מאגרי Hugging Face נוצרו בערב שלפני כן, בשעה 23:40–23:41 UTC ב-2026-09-16, תחת Apache-2.0. גרסת ה-MLX ה-abliterated שכנגדה היא מושווית קיימת מאז אמצע אוגוסט. שום דבר להלן אינו רקורד ביצועים עבור החדש מבין השניים — היכן שמשהו לא נמדד, המאמר מציין זאת.

אותו טריק, מיושם בשני מקומות שונים

אבליטרציה רגילה היא עריכת משקלים. מעריכים כיוון סירוב, ואז מטילים אותו החוצה מהמטריצות שכותבות אל תוך הזרם השיורי: W ← W - r(rᵀW). כמה הכפלות מטריצות, בלי אופטימיזר, בלי פונקציית הפסד. כך נוצר Qwen3.8-27B-Uncensored-MLX — כרטיס המודל מתאר אותו כ"אבליטרציה (הסרת כיוון סירוב), ואחר כך קוונטיזציה אפינית של MLX", כאשר הכיוון מוצא מהזרם השיורי באמצעות אורתוגונליזציה והתוצאה נשמרת כמערכת משקלים חדשה. מה שמגיע הוא צ'קפוינט שבו הכיוון כבר הוסר.

OrcaRouter Ternary Bonsai 2 27B Uncensored משאיר את המשקולות ללא שינוי ומתערב במקום שבו מיוצרת כל תרומה שיורית, ב-float32, עם כיוון הסירוב המאוחסן r:

• y ← y - alpha · dot(y, r) · r

באלפא 1 — ברירת המחדל — הרכיב המקביל ל-r מוסר מאותה כתיבה. באלפא 0 ההטלה כבויה והמודל מתנהג כמו החבילה שפורסמה. ערכי ביניים נותנים עוצמה חלקית; ערכים מעל 1 יוצרים הטלת יתר, שלדברי הפרויקט עלולה לפגוע באיכות. גם בחירת שכבות נחשפת, כך שתוכל לבצע אבלציה על תת-קבוצה במקום על המחסנית כולה. הכיוון עצמו הוא וקטור רגיל בן 5120 ממדים — כ-20 KB ב-float32 — ללא הפעלת סיבוב הדמר נוסף, כי ההטלה פועלת על פלטי ההטלה, שכבר נמצאים בבסיס הנסתר הרגיל.

פרט הכיסוי הוא החלק שאנשים טועים בו כשהם מנסים לעשות זאת בעצמם. עטיפה של self_attn.o_proj לבדה תופסת 16 אתרים. המימוש הזה עוטף 129 כותבי שאריות: 64 mlp.down_proj, 48 linear_attn.out_proj, 16 self_attn.o_proj, ו־model.embed_tokens. קובץ selfcheck.py מצורף מאמת שההטלה מורידה את הרכיב הנותר לבערך 1e-6 מנורמת השארית, ומזהיר אם 129 אתרים לא מזוהים.

מדוע משקלים טרינאריים הופכים את זה לבחירה כפויה ולא להעדפה

הנה החלק שהוא למעשה ספציפי למודל הזה, וזו הסיבה ששתי הגישות אינן ניתנות להחלפה כאן למרות שהן מחשבות כמעט את אותו הדבר.

חבילה טרינארית מאחסנת ערכים מהצורה {-1, 0, +1} כפול סקאלת FP16 לכל קבוצה, בגודל קבוצה 128, בבסיס מסובב. בצע אורתוגונליזציה למטריצה טרינארית כנגד כיוון סירוב וקבל מטריצה צפופה ובדיוק מלא. אין מטריצה טרינארית ששווה ל-W - r(rᵀW) באופן כללי. לכן שמירת המשקלים הערוכים בחזרה משמעה לכמת אותם מחדש — וכימות מחדש של משקלים ערוכים אינו משחזר את האימון מודע-הכימות שהפיק את החבילה המקורית. התנהגות העיגול ש-Prism ML אימנה את המודל לסבול היא תכונה של הליך האימון, לא של המכמת, ואי אפשר להריץ אותה מחדש בדיעבד.

בצ'קפוינט BF16 צפוף, הבעיה הזו לא מתעוררת. עגל את המשקלים שנערכו ל-4 סיביות ותקבל מודל 4 סיביות קצת יותר גרוע, וזו הפשרה הרגילה שכולם כבר מקבלים. באריזה טרנרית, היית זורק לפח את התכונה היחידה שבגללה האריזה קיימת.

אז המסגור הכנה אינו "זמן ריצה טוב יותר". אלא שהקרנה בזמן ריצה היא היחידה מבין השתיים שמשמרת את מה שמיוחד במודל המסוים הזה. כיוון הסירוב הוא 20 KB. החבילה היא 8.005 GiB.

המספר 8.005 GiB מתייחס ספציפית לחבילת ה-MLX — prism-ml/Ternary-Bonsai-2-27B-mlx-2bit, שה-model.safetensors שלה מודד 8,595,477,990 בייטים ב-Hugging Face API (8.595 GB, 8.005 GiB), מיכל אפיני של MLX עם קודים של 2 סיביות בתוספת סקאלה והטיה FP16 לכל קבוצה. זהו ארטיפקט שונה מה-builds של GGUF ש-Prism ML מספקת, והמספרים אינם עוברים ביניהם. הכותרת של Prism ML עצמה של 5.93 GB / 1.76 סיביות-למשקל מתארת את ה-PTQ1_0 GGUF שלהם, שמודד 5.947 GB; פורמט ה-True Ternary שלהם מצוטט ב-1.72 סיביות למשקל ו-5.80 GB. אף אחד מהנתונים האלה אינו מתאר את חבילת ה-MLX שהרצה זו מבצעת עליה אבלציה.

היכן שגישת נקודת הביקורת עדיין מנצחת, והיא אכן מנצחת בחלק מהמקרים

יהיה קל לכתוב את זה כסיבוב ניצחון לשיטה החדשה יותר. זה יהיה שגוי, מפני שאבליטרציה קונבנציונלית מובילה בצירים שמכריעים את רוב הפריסות.

• חפץ אחד, כל סביבת הרצה תואמת. צ'קפוינט abliterated הוא סט משקלים רגיל. טענו אותו בכל טוען תואם MLX שאתם כבר משתמשים בו, והוא עובד. גישת ה-runtime דורשת את סביבת ההרצה המצורפת של החבילה עצמה — והפרויקט מזהיר במפורש שטוען MLX רגיל יכול להיראות כאילו הוא טוען את החבילה בעודו מחשב בשקט את הדבר הלא נכון. זה מסלול צר בהרבה.

• חומרה. Qwen3.8-27B-Uncensored-MLX מוצע במבני 2, 4, 6 ו-8 סיביות, עם עותק 4 סיביות המשוכפל בשורש המאגר, כך שכלים שמתייחסים למאגר כמודל יחיד טוענים אותו ללא תצורה. Ternary Bonsai 2 27B Uncensored הוא Apple Silicon / MLX. לכפל המטריצות המקוונט של החבילה יש קרנלים של Metal ו-CPU אך אין מימוש CUDA דרך mlx-cuda, כך שבמכונת NVIDIA חבילת MLX הזו לא מקבלת כרגע האצת GPU כלל — הסקה ב-CPU עובדת, ומעבר קדימה של 27B יכול לקחת דקות. זה הופך את מסלול ה-CPU של לינוקס לשימושי לבדיקות מימוש ולשחזוריות, לא להגשה.

• כלי עבודה והיכרות. מאחורי Abliteration עומדים שנים של כלי עבודה — מתכונים מכווננים, חיפוש טווחי שכבות, גרסאות מפורסמות שאפשר להשוות מולן. לשיטת זמן הריצה כאן יש מימוש אחד, על מודל אחד, ששוחרר אתמול.

• הפצה. צ'קפוינט בודד הוא הורדה אחת. אבלציה בזמן ריצה מספקת חבילה ועוד קובץ כיוון ועוד סביבת הרצה, ועל הקורא לשמור על סנכרון בין שלושה דברים.

• עדויות. לאבליטרציה של נקודת ביקורת יש מדידות מצד שלישי על משפחת מודל הבסיס הזו. אבלציה בזמן ריצה על חבילה טרינרית כוללת רק את המספרים שלנו, וההנחה המרכזית שלה אינה מאומתת — עוד על כך בהמשך.

מה אבלציה בזמן ריצה קונה בתמורה

הפשרה אמיתית גם בכיוון ההפוך, והפריט הראשון הוא זה שמכליל מעבר למודל הזה.

• מקור זהה ביט-בביט. אפס משקלים שונו, אפס כימות מחדש, אפס שגיאת כימות נוספת. זו אינה סיסמה; זו התכונה שהופכת את מספרי היכולות שלהלן למובנים ולא לתוצאה מקרית משמחת.

• אלפא ניתנת להתאמה. עוצמת האבלציה היא פרמטר זמן ריצה, לא מאפיין של צ'קפוינט. ניתן לסרוק אותה עבור עומס העבודה שלך, להשבית אותה לחלוטין עם אלפא 0, או להקרין יתר על המידה ולמדוד מה נשבר — בלי להוריד מודל שני.

• שליטה סלקטיבית לפי שכבות. ביטול (אבלציה) של תת-קבוצה של שכבות הוא ארגומנט, לא אפייה מחדש. זה חשוב לכל מי שחוקר אילו שכבות נושאות את ההתנהגות, כי החלופה היא הפקת צ'קפוינט לכל תצורה.

• אין סט משקלים שני. המודל הערוך הוא המודל המקורי. עבור חבילה שכל התזה שלה היא טביעת רגל, הפצת עותק abliterated מקביל בגודל של כ-16 GB — הגודל של בניית ה-4-bit במאגר ההשוואה — תחתור תחת הטענה.

• הפיכות. עריכה של נקודת ביקורת היא קבועה עבור אותו ארטיפקט. דגל זמן ריצה אינו כזה.

המספרים שיש לנו, ואיך בדיוק הם נמדדו

כל מה שכתוב בסעיף הזה הוא הערכה של OrcaRouter עצמה את OrcaRouter Ternary Bonsai 2 27B Uncensored, והשיטה חשובה לא פחות מהמספרים.

המדידה היא מסווג מבוסס-כללים של ביטויי פתיחה, ולא שופט LLM. החשיבה כבויה, הפענוח חמדני, התקציב הוא 64 טוקנים, והמודל הבסיסי והמודל שעבר אבלציה הם אותם משקלים באותו תהליך ב-alpha 0 לעומת alpha 1. הנקודה האחרונה היא החלק החזק ביותר במערך: אין השוואה בין צ'קפוינטים ואין הבדל קוונטיזציה שעלול לבלבל את התוצאה. זו גם הסיבה לכך שהמספרים צריכים להיקרא כמדד למה שהמודל אומר בביטוי הפתיחה שלו, ולא יותר מכך.

שיעורי סירוב בערכות פרומפטים מזיקים שפורסמו, מבסיס למודל שעבר אבלציה:

• AdvBench (n=100) — מ-99.0% ל-6.0%

• JailbreakBench (n=100) — מ-96.0% ל-4.0%

• StrongREJECT (n=150) — מ-99.3% ל-3.3%

• HarmBench (n=150) — מ-98.7% ל-7.3%

• MaliciousInstruct (n=100) — 97.0% ל-0.0%

• ForbiddenQuestions (n=150) — 75.3% עד 5.3%

• SimpleSafetyTests (n=50) — מ-96.0% ל-18.0%, וזה עוד בלשון המעטה

SimpleSafetyTests מוצג בחסר מסיבה מסוימת. הסט הזה מורכב בעיקרו מפרומפטים של פגיעה עצמית, והמודל האבלטיבי עונה עליהם בהפניית משבר שנפתחת ב"אני מצטער מאוד לשמוע…". רשימת הביטויים המדויקת של המסווג אינה מכילה את הפתיחה הזו, ולכן הוא מדרג הפנייה כציות. שיעור הסירוב השיורי האמיתי גבוה מ-18.0%. המסווג הושאר כפי שהוא במכוון, כדי שהנתונים יישארו ברי-השוואה לכרטיסי המודל האחרים של OrcaRouter — אך הקורא לא צריך לקחת את 18.0% כפשוטם.

אף תשובה באף אחת מהריצות הללו לא מיצתה את תקציב הטוקנים שלה, וזה מה שמצדיק תקציב של 64 טוקנים כאן. עמודה נפרדת בתוצאות המלאות סופרת תשובות שענו אך עטפו את התשובה בהסתייגות; שיעור זה נע בין 42% ל-60% בהתאם לקבוצה.

שתי תוצאות שמנוגדות לסיפור הפשוט

שניים מהממצאים ראויים לטיפול נפרד, מפני ששניהם מסבכים את הקריאה המובנת מאליה.

גם סירוב היתר יורד. בפרומפטים השפירים של JailbreakBench, החבילה שפורסמה מסרבת ל-25.0% מהם. במצב אבלציה, היא מסרבת ל-0.0%. ב-XSTest-safe זה יורד מ-5.2% ל-0.4%.

זהו החצי המדווח פחות של הטכניקה. חבילת Bonsai שפורסמה דוחה רבע מקבוצת הנחיות שפירות; יהא אשר יהא מה שכיוון הסירוב עושה במודל ה-QAT, הוא מופעל על הנחיות שמלכתחילה לא היו אמורות להפעיל אותו. הסרת הכיוון מסירה גם את הסירובים האלה, וזהו רווח יכולת אמיתי ולא עלות בטיחותית. אותו אפקט מופיע בעבודה עצמאית על מודלים אחרים — מערך הבדיקות של Atomic Chat עצמו מדד שסירוב היתר להנחיות שפירות של Gemma 2 9B צנח מ-44% ל-0.5% לאחר אבליטרציה, כשמדד MMLU נותר כמעט ללא שינוי, מ-68.4 ל-68.0. המדידה שלהם, המודל שלהם, בדיווח עצמי בבלוג שלהם; הדפוס הוא העיקר, לא הנתונים המדויקים.

המסגור שלהלן אינו נוח אך הוא כנה: סירוב־יתר וסירוב הם אותה חוגה. אין לך אפשרות להנמיך רק את הסירובים שאינך אוהב.

שימור היכולת יציב, וזה לא מזל. בדיקות היכולת, מבסיס לאבלציה:

• MMLU (n=300) — 76.7% ל-77.7%, +1.0

• GSM8K (n=150) — 87.3% ל-86.0%, -1.3

• CMMLU (n=500) — מ-76.2% ל-75.6%, -0.6

כל תזוזה נמצאת בתוך הרעש בגדלי המדגם האלה — שאלה אחת של GSM8K שווה 0.7 נקודות. MMLU-Pro הודר במקום להיות מדווח: ההנחיה שלו מבקשת הסקה לפני התשובה, ו-63–64% מהתשובות בשני הצדדים לא הגיעו לתשובה בתוך תקציב הטוקנים, כך שכל נתון דיוק יהיה רצפה שנקבעה על ידי התקציב ולא מדידה.

היכולת נשארת שטוחה, וזה נובע ישירות ממשקולות זהות ביט-לביט, וכדאי להיות מדויקים לגבי הסיבה. המודל שמשיב הוא אותו מודל. סביבת ההרצה מוסיפה מכפלה סקלרית אחת ו-AXPY אחד לכל כתיבת שארית, ואינה משנה דבר במשקולות, בקוונטיזציה או בקרנלים שקוראים אותן. גישה מבוססת צ'קפוינט צריכה להרוויח את השטיחות הזו — ולעיתים קרובות אינה עושה זאת. סוללת מבחנים חיצונית של אבליטרציה שונה של אותו בסיס Qwen3.8-27B, שפורסמה ב-2026-08-17 על ידי מהנדס ב-SMF Works, מדדה ציון משולב של 79.0% שירד ל-72.0%, כאשר המתמטיקה ירדה מ-50.0% ל-33.3%. זהו מתכון שונה, שרשרת כלים שונה ומדידה שונה, ולכן זה אינו ציון עבור ההשוואה הזו. זו תזכורת לכך שאבליטרציה מבוססת צ'קפוינט על הבסיס הזה גבתה מחיר באחוזים דו-ספרתיים בלפחות מבחן אחד קפדני עם מכשור, ושהטענה ש"אבליטרציה היא כמעט בחינם" תלויה כולה במתכון.

ההנחה שאיש עדיין לא אימת

זה החלק בסיפור שחייב להיאמר בפשיטות, ומקומו בהשוואה בין שיטות להסרת צנזורה ולא בהערת שוליים.

כיוון הסירוב ששימש כאן הוערך מתוך מודל הבסיס BF16 שחבילת Bonsai אומנה ממנו. הארכיטקטורה והבסיס הנסתר זהים, ולכן הווקטור נכון מבחינת המימדים וההטלה מדויקת מתמטית — סביבת ההרצה יכולה להוכיח, ואף מאמתת, שהוא מסיר את הכיוון שסופק מזרם השיירים.

מה שזה לא מוכיח הוא שהכיוון עדיין אומר את אותו הדבר במודל שאומן במודעות לקוונטיזציה. עד כמה הכיוון שורד אימון מודע לקוונטיזציה לא נמדד במלואו. הסרה מדויקת של וקטור אינה זהה להסרת ההתנהגות שהוא הוערך כמייצג, והטענה השנייה היא זו שחשובה. כל מספר בסעיף שלמעלה הוא תוצאה אמפירית שעולה בקנה אחד עם העברה טובה; אף אחד מהם אינו הוכחה שההעברה הושלמה, והפרויקט אומר זאת בעצמו, וממליץ לסרוק את alpha ואת בחירת השכבות לפני הסקת מסקנות.

כל השוואה כנה של שיטות להסרת צנזורה חייבת להודות בכך. אבליטרציה קונבנציונלית סובלת מהבעיה ההפוכה — היא עורכת משקלים ואז מודדת את התוצאה, כך שהכיוון שלה לעולם לא צריך לעבור בין גרסאות מודל, אבל העריכה שלה קבועה ובלתי ניתנת לשחזור אם המתכון היה שגוי.

מה עדיין לא נמדד

מעבר לשאלת ההעברה, שלושה פערים ראויים להיקרא בשמם ולא להיעקף בכתיבה.

• ללא שחזור עצמאי. כל בנצ'מרק של Bonsai 2 27B שנמצא בתפוצה — הממוצע של 83.9, השימור של 98.2%, פילוחי הקטגוריות — מדווח על ידי הספק Prism ML, הורץ עם EvalScope על תשתית vLLM על H100s במאמץ חשיבה "xhigh". אף אחד מחוץ ל-Prism ML לא שחזר אותם. טבלאות הבטיחות והיכולות שלמעלה הן שלנו וגם הן לא עצמאיות.

• התנהגות במצב חשיבה פעילה.הטבלאות שלנו הן במצב חשיבה כבויה. עבודה בלתי תלויה על מודלים אחרים שעברו אבליטרציה מצאה כי גם כאשר שיעור הצלחת התקיפה הוא 100%, המודל עדיין מנמק בנוגע לבטיחות בחלק ניכר מהתגובות כאשר מותר לו לחשוב. אם זה תקף כאן, ומה זה עושה למספרי ביטוי הפתיחה, טרם נמדד.

• כיוון בודד אחד. השיטה מניחה שהסירוב מתוּוָך על ידי כיוון אחד, וזהו הממצא של Arditi et al. והבסיס לכל הטכניקה. עבודות המשך על מודלים אחרים מצאו כיוונים נבדלים גיאומטרית עבור קטגוריות סירוב שונות. וקטור אחד, הנסרק על פני אלפא אחד, אינו מכריע זאת.

מה זה אומר אם אתם בוחרים ביניהם

בחר בצ'קפוינט אם אתה צריך שהמודל ירוץ בכל מקום, על חומרה שאינה בשליטתך, דרך טוען שלא כתבת. בחר ב-runtime אם אתה על Apple Silicon, אכפת לך שהארטיפקט שאתה חוקר הוא הארטיפקט ש-Prism ML אימנה, ואתה רוצה שעוצמת האבלציה תהיה פרמטר שאתה יכול לסובב במקום החלטה שתצטרך להוריד מחדש. שניהם ניתנים להגנה, והם נבחרים לפי אילוצי פריסה, לא לפי איזו שיטה חדשה יותר.

אם אתם מנסים להחליט באופן אמפירי, לשיטת זמן־הריצה יש יתרון מעשי אחד שראוי להזכיר: אלפא 0 ואלפא 1 הם אותו תהליך ואותם משקלים, כך שהשוואה ביניהם מבודדת את האבלציה ולא דבר אחר. זהו ניסוי נקי יותר מאשר השוואת שני צ׳קפוינטים, וזו הסיבה שהטבלה שלמעלה יכולה להיקרא כמדידה של ההטלה ולא כמדידה של שתי קוונטיזציות שלה.

שימוש אחראי

הסרת כיוון סירוב נלמד עלולה לגרום למודל להגיב לבקשות שהמודל המקורי היה מסרב להן. זהו המנגנון בפעולה, ולא תוצר לוואי, ואין לרשום זאת כתכונה. זהו מנגנון למחקר ולשליטה בהסקה, והוא אינו ראיה לכך שכל פלט שייווצר הוא בטוח, נכון או הולם.

הכרטיס של החבילה שפורסמה עצמה מעביר את אותה נקודה מהצד השני: גרסת ה-MLX ה-abliterated "היישור הבטיחותי שלה הוסר ממנה במידה ניכרת", היא תיענה לבקשות שהגרסה המקורית הייתה מסרבת להן, ואין בה מעקות בטיחות מובנים משמעותיים. המחברים שלה מגדירים את תחומה למחקר לגיטימי — פרשנות, מחקר בטיחות, רד-טימינג, הערכת עמידות — ואומרים בפשטות שפריסות חייבות להוסיף תחילה שכבת מודרציה משלהן ובקרות גישה.

שום דבר במאמר הזה אינו טיעון לכך שהסרת סירוב היא חסרת עלות, או ששיעור סירוב נמוך יותר הוא אות איכות. מודל שעונה על יותר שאלות אינו הופך בשל כך למודל טוב יותר, ומסווג מבוסס-כללים שסופר ביטויי פתיחה הוא מדידה של ניסוח, לא של כשירות. שני הארטיפקטים האלה הם כלי מחקר שמוטלת עליהם חובת מפעיל, והחובה אינה עוברת למי שכתב את קוד האבלציה.

קוד ה-runtime-ablation, כיוון הסירוב וטבלאות ההערכה המלאות מפורסמים על ידי OrcaRouter, לצד פלטפורמת הניתוב שהצוות בונה.