Clef-Flash מול Qwen3-8B: 38 מילישניות לעומת ה-8B שכולם כבר מריצים

יש משימה ספציפית ולא זוהרת שצוותים רבים מפקידים בידי Qwen3-8B: קרא את הפנייה הזו, את שורת הלוג הזו, את הטופס הזה, ותגיד לי לאיזה מארבעת הדליים שלי הוא שייך. זו משימת סיווג בתחפושת של שיחה, ו-Qwen3-8B טוב בכך מספיק כדי שאיש לא טרח להחליף אותו. ב-30 בספטמבר 2026, Cloudflare פרסמה משקלים עבור Cloudflare/clef-flash, מודל 9B שנבנה לעשות את המשימה האחת הזו ושום דבר אחר, והשאלה המעניינת אינה אם הוא חכם יותר מ-Qwen3-8B. השאלה היא אם הדבר שאתם מקבלים כעת מ-8B ג'נרליסטי בכלל שווה לשלם עליו בטוקנים מיוצרים.

Clef-Flash עונה על השאלה הזו באמצעות מבנה ולא באמצעות מדד ביצועים. הוא מקבל מצב וסכימה של עד 64 שאלות טיפוסיות ומחזיר לוגיט עבור כל אפשרות מותרת במעבר יחיד שאינו אוטורגרסיבי — בלי טקסט ביניים, בלי פרסור, בלי פלט מלבד הסתברויות. Cloudflare מדדה עבורו השהיית בקשה חציונית של 38.8 מ״ש, לעומת כ-500 מ״ש עבור Jev, מודל קבלת ההחלטות מבית TypeSafe שכנגדו הוא הושווה. Qwen3-8B אינו נמצא בטבלה הזו, מפני ש-Qwen3-8B לא משחק במשחק הזה: הוא כותב תשובה, ואתם קוראים אותה.

מה שהופך את הזיווג הזה לראוי להשוואה מלאה, ולא לעמוד של שורות מפרט, הוא ששני המודלים אינם חולקים שום בנצ'מרק כלל. כל מספר של Clef-Flash שנמצא במחזור הופק על ידי Cloudflare, על גבי מדד שמפורסם על ידי מתחרה, ואף אחד מחוץ ל-Cloudflare לא שחזר ולו אחד מהם. ל-Qwen3-8B יש שלושה דורות של שימוש עצמאי מאחוריו, ורשומה ציבורית שאפשר להתווכח איתה. האסימטריה הזו, ולא פער ההשהיה, היא מה שצריך להכריע אם לבצע את ההחלפה.

שני חוזי פלט, לא שני גדלים

מספרי הפרמטרים כאן קרובים מספיק כדי להוות הסחה — 9B עבור Clef-Flash לעומת 8.2B עבור Qwen3-8B, 6.95B מתוכם שאינם embedding. ההבדל שמשנה הוא מה שכל מודל רשאי לפלוט.

Qwen3-8B הוא מודל שפה סיבתי. תנו לו כרטיס תמיכה והוא מייצר טוקנים, וכברירת מחדל הוא מייצר תחילה בלוק הסקה, מכיוון שמצב חשיבה דלוק אלא אם תכבו אותו. הוא יכול לסווג, להסביר, להסלים, לנסח תגובה או לומר לך שבטקסונומיה שלך חסר מקרה — הכול מאותם משקלים, בלי צורך בסכמה. הכרטיס שלו מפרט 36 שכבות, קשב מקובץ לפי שאילתות עם 32 ראשי שאילתה ל-8 ראשי KV, יותר מ-100 שפות, ואורך הקשר מובנה של 32,768 טוקנים, שניתן להרחבה ל-131,072 באמצעות YaRN. זה המודל שרוב הצוותים פונים אליו, כי זה המודל שיכול לעשות הכול.

Clef-Flash הוא מודל post-train, לא שותף שיחה. Cloudflare הקפיאה את עמוד השדרה של Qwen3.5-9B — כולל מקודד הראייה שלו — ואימנה על גביו ראש סכימה משותף: 243.5 MB של משקולות ראש לעומת ארבעה קבצים מפוצלים של עמוד השדרה שמסתכמים לכ-18.8 GB. הראש קורא את המצבים הנסתרים הסופיים של עמוד השדרה, מנתב ראיות מהמצב לכל שאלה, ומדרג את כל האפשרויות של כל השאלות יחד. האילוצים הם המאפיין. Cloudflare מגבילה אותו להפיק רק הסתברויות, ולכן מודל הבסיס מופיע בשושלת שלו אבל אף פעם לא בפלט שלו.

שימו לב של מי השושלת. Clef-Flash הוא צאצא של Qwen3.5-9B, הדור שאחרי סדרת Qwen3 שאליה שייך Qwen3-8B. כך שזה לא הסיפור של כיוונון עדין של הבסיס של עצמו שנגזרת 9B בדרך כלל מקבלת — זה ענף אחר של אותו אילן משפחה, שאומן מחדש לחוזה אחר.

אותה עבודה, בשתי דרכים

שני המודלים יכולים לנתב קריאת תמיכה. הם נכשלים באופן שונה, ואופני הכשל הם מה שעולה מיגרציה.

עם Qwen3-8B, העבודה נמצאת בפרומפט ובמנתח. אתה מתאר את הקטגוריות שלך, מבקש שאחת מהן תוחזר, ואז מטפל במקרה שבו המודל מחזיר "זה נראה כמו חיוב, אם כי זה יכול להיות טכני" — תשובה אמיתית לעמימות אמיתית שהקוד במורד הזרם שלך לא יכול לצרוך. ההנחיה של הכרטיס עצמו מפורשת שיש להשבית את מצב החשיבה לעבודת יעילות, ושפענוח חמדני פוגע בפלט, ושכאשר החשיבה פועלת אין להעביר את בלוק החשיבה בהיסטוריית ריבוי תורות. כל אחת מההנחיות האלה היא החלטה שמודל לשימוש כללי כופה עליך.

עם Clef-Flash, העבודה עוברת לסכימה. אתם מצהירים בין שתיים ל-26 אפשרויות לכל שאלה מסוגבחירה, או בין שתיים ל-26 רמות לשאלה מסוגניקוד, ואתם מקבלים בחזרה את האפשרות הנבחרת, הסתברות לכל אפשרות, וערך ביטחון. שלושה פרטים בחוזה הזה שווים יותר ממספר זמן התגובה הכותרתי. ראשית, ביטחון אינו נכונות — התיעוד של Cloudflare אומר במפורש שזה מודד עד כמה ההסתברויות מרוכזות, ולא את הסיכוי שהתשובה נכונה. שנית, תיקו מוכרע לפי סדר האפשרויות שהצהרתם עליו, כך שאם שתי אפשרויות באמת חופפות זו לזו, החלטתם בשקט באמצעות סדר הרשימה. שלישית, וזה הפרט שמכה הכי חזק, אין "אף אחד מהנ"ל" אלא אם כן כתבתם אחד כזה. מודל החלטה מדרג את האפשרויות שניתנו לו; פנייה בנוגע לבקשת פרטיות, שתוגש לה סכימה של חיוב, טכני ומכירות, תחזור בתור הפחות גרועה מבין השלוש ולא כסירוב.

הנקודה האחרונה הזו פועלת לשני הכיוונים, והיא הגרעין הכנה של ההשוואה הזו. Qwen3-8B יגיד לך שהטקסונומיה שלך שבורה. Clef-Flash לא יעשה זאת, ובצינור עיבוד זה רגרסיה אמיתית — מהסוג שמגלים חודש לאחר מכן בתור שנותב לא נכון. העסקה היא השהיה אמיתית ודטרמיניזם אמיתי מול מודל שמסוגל להעלות את השאלה שלא חשבת לשאול.

מה המספרים אומרים ומה הם אינם אומרים

התוצאות שפורסמו של Clef-Flash מגיעות מהרצת Cloudflare של חבילת Jev Decision Index 0.2.1, ואותה הרצה משמשת בסיס לפוסט הבלוג של הספק. התאים החזקים ראויים לציון מדויק: BFCL case-exact 98.8, דיוק API-Bank 93.1, סימולטור מכשירי החשמל הביתיים ב-97.7, ContractNLI macro-F1 84.3, איכות נבחרת של RouterBench 79.9. בארבעה תהליכי עבודה עסקיים מקצה לקצה בחבילת ההערכה של TypeSafe עצמה, Clef-Flash משיג בשירות לקוחות 77.0 לעומת 76.0 של Jev ו-76.3 של Clef 27B הגדול יותר, ומפסיד בעיבוד חשבוניות עם 57.1 לעומת 61.8 של Jev ו-64.7 של Clef.

התאים החלשים אינפורמטיביים לא פחות מהחזקים. CLINC150 עם טיפול מחוץ-לתחום מציב את Clef-Flash על 66.8 macro-F1, לעומת 97.4 עבור ה-Clef 27B ו-89.3 עבור Jev — צוק של שלושים נקודות בדיוק על צורת הבנצ'מרק שבוחנת אם מודל יודע מתי להימנע מלענות. When2Call, 65.6 לעומת 81.0 של Jev. GPQA Diamond, 51.0 לעומת 78.3. POP909-CL מגיע ל-1.6, מספר שהכרטיס אינו מסביר.

עכשיו החלק שהטבלאות לא יספרו לכם: ל-Qwen3-8B אין שורה באף אחת מהן. אף אחד מהמודלים לא קיבל ציון במדדים של האחר. הנתונים של Clef-Flash עצמו — 91.8 ב-MMLU ו-67.3 ב-GSM8K — הופקו באמצעות הרנס ה-typed-decision שלו, שאינו אותו הרנס ש-Qwen דיווחה עליו את המספרים שלה, והשוואה בין השניים תהיה שגיאת קטגוריה בתחפושת של השוואה. לכן העמדה הכנה היא שלא קיים לוח תוצאות משותף, והמאמר הזה לא ימציא אחד. מה שכן קיים הוא פער השהיה שהספק מדד בתשתית שלו עצמו, מבנה עלויות ששונה מבחינה מבנית, ומכלול של תאי Decision Index שאיש מחוץ ל-Cloudflare לא שחזר.

מה עולה החלטה אחת

התיעוד של Workers AI מבית Cloudflare מפרט את Clef-Flash ב-$0.09 למיליון טוקני קלט ואינו מחייב דבר עבור פלט, כי למעשה אין פלט — הדוגמה המפורטת בתיעוד מחזירה שלושה טוקני פלט לבקשה של שלוש שאלות. החלטת ניתוב על פנייה של 1,500 טוקנים עולה אפוא כ-$0.000135 בקלט, ומעבר לכך לא עולה דבר שניתן למדוד. אם תריץ מיליון כאלה ביום, תגיע לכ-$135 ביום, והמספר לא משתנה כשהפנייה נהיית מורכבת יותר, אלא רק כשהיא נהיית ארוכה יותר.

למודל אוטורגרסיבי אין תקרה מקבילה. כל אחת מאותן מיליון החלטות מחייבת גם היא תשלום על טוקנים שנוצרו, ואם מצב החשיבה פעיל — וזה המצב כברירת מחדל ב-Qwen3-8B — המודל עשוי לבזבז מאות טוקנים על חשיבה לאיזו מארבע קטגוריות שייכת הודעת איפוס סיסמה לפני שהוא עונה. כיבוי החשיבה עם enable_thinking=False או תג /no_think הוא השורה בעלת ההשפעה הרבה ביותר בכל פרומפט סיווג שנבנה על אותו מודל, וקל מאוד להשמיט אותה. ההשוואה אינה "מודל זול מול מודל יקר"; היא בין מחיר קבוע של קלט בלבד לבין מחיר שמשתנה בהתאם לכמה שהמודל מחליט לומר.

הקשר, שלושה מספרים משלושה משטחי ספקים

ההקשר השמיש של Clef-Flash תלוי באיזה משטח של Cloudflare אתה קורא. עמוד המודל של Workers AI מתעד חלון הקשר של 65,536 טוקנים. קובץ config.json שפורסם מצהיר max_position_embeddings של 262,144 עבור מגדל הטקסט. ברירת המחדל של עוזר הקידוד של הכרטיס עצמו היא max_length=16,384, כאשר max_state_tokens זמין להגבלת המצב בנפרד. רישום זמן ריצה של צד שלישי שמפרסם 256K קורא את ערך התצורה, לא את מגבלת ההגשה — מה שמיישב את אי-ההתאמה הזו במקום להשאיר אותה כתעלומה, אבל המספר המעשי לכל מי שקורא לנקודת הקצה המתארחת הוא 65,536.

המספרים של Qwen3-8B הם משלו והם יציבים כבר שנה וחצי: 32,768 נייטיבי, 131,072 עם YaRN מופעל, וברירת מחדל בתצורה של 40,960 שמקצה 32,768 לפלט ו-8,192 לפרומפטים. אז אם החלון הגולמי הוא הגורם המכריע שלך, אפשר להרחיב את המודל האוטורגרסיבי הקטן לכדי בערך פי שניים ממה שמודל ההחלטות המתארח מתעד — בעוד שמודל ההחלטות זקוק להרבה פחות ממנו, כי אתה שולח מצב, לא שיחה.

מי צריך להחליף, ומי לא צריך

• Swap — יש לך טקסונומיה קבועה, שלושה עד 26 יעדים, ותור תמיכה, שלב מיון, או שער סוכן, שבו חציון של 38.8 ms ו-p95 של 122.4 ms מול חצי שנייה של יצירה משנים את מה שהפייפליין שלך יכול לעשות.

• Swap — אתה כרגע מנתח טקסט חופשי ממודל 8B ומתמודד עם התשובה האחת מתוך חמישים שלא התאימה לפורמט שלך. התפלגות על אפשרויות מוצהרות מסירה לחלוטין את מחלקת הכשל הזו.

• אין להחליף — סט התשובות אינו ידוע מראש, או שאתם זקוקים לכך שהמודל יגיד לכם שהוא אינו יודע. ל-Clef-Flash אין נתיב הימנעות אלא אם תבנו אחד כזה בקריטריונים, והתא החלש ביותר שלו שפורסם הוא בדיוק המקרה מחוץ לתחום.

• אל תחליף — עומס העבודה הוא הסקה, חילוץ ממסמכים ללא אילוצים, סיכום או קוד. Clef-Flash לא יכול לכתוב משפט, ולכן כל דבר במורד הזרם שמצפה למשפט נשאר עם Qwen3-8B.

• אל תבצע החלפה עדיין — עליך לוודא שמישהו שאינו הספק יבדוק את המספרים. אין הערכה בלתי תלויה של Clef-Flash, וחבילת המבחנים שהפיקה את הציונים של Clef-Flash פורסמה על ידי הספק של המודל המובס על ידי Clef-Flash.

היכן להריץ כל אחד מהם

שניהם ברישיון Apache-2.0, כך ששניהם שלכם לאירוח עצמי, וטביעות הרגל רחוקות זו מזו. Qwen3-8B ב-bf16 הוא כ-16 GB וגרסאות מכוונטזות קטנות בהרבה — גרסת Q4 היא 5.2 GB בספריית Ollama, שבה qwen3:8b מציג 38.7 מיליון הורדות וחלון הקשר של 40K. Clef-Flash זקוק לכל עמוד השדרה של 18.8 GB בתוספת הראש שלו של 243.5 MB, ועמוד ספריית Ollama שלו עלה תוך ימים מהשחרור, עם תג מכוונטז של 11 GB ומניין שיתופים שעדיין במאות הנמוכות; הטבלה של Ollama מציגה את ה-256K של התצורה ולא את ה-65,536 של נקודת הקצה. יחס ההורדות הזה אינו פסיקה על אף אחד מהמודלים — עמוד אחד קיים כבר שמונה עשרה חודשים והאחר בערך יום — אבל הוא תמונה הוגנת של כמה היסטוריה תפעולית עומדת מאחורי כל אחד.

אם אתם רוצים את הגרסה המתארחת, Cloudflare מפעילה את Clef-Flash על Workers AI במחיר של $0.09 למיליון כפי שמופיע לעיל, כאשר ניתן להוריד את המשקולות גם מה-Hub. שני המודלים מדברים אל נקודת הקצה /v1/systemone של Ollama עבור Clef-Flash (Ollama 0.35.1 ואילך) ולנתיב ה-generate הסטנדרטי עבור Qwen3 — כך שהחלפה היא שינוי בצד הלקוח, לא שינוי ארכיטקטוני.

אף אחד מהשניים אינו נכלל כרגע בנתיבים שלנו: הקטלוג הציבורי של OrcaRouter מחזיר 404 גם עבור clef-flash וגם עבור Qwen3-8B, ואין לקרוא בדברים כאן כהצהרת זמינות מצדנו. מה ששכבת ניתוב כן משנה הוא חצי הייצור של הצינור. אם מודל קבלת החלטות הופך לשער עבור הסוכן שלך, המודל שפועל לפי ההחלטה עדיין חייב להיות נגיש, וכאן API אחד ליותר מ-200 מודלים מאחורי מפתח API יחיד זוכה למקומו — מחיר המחירון של הספק מועבר הלאה ב-0% תוספת, כך שהורדת מחיר של ספק מגיעה לכאן באותו יום, ומעבר אוטומטי לגיבוי כך שאחר צהריים רע של ספק אחד לא מפיל נתיב שזה עתה בנית מחדש. גם קו Qwen התקדם: ניתן לנתב כאן את Qwen3.8-27B במחיר של $0.40 לקלט ו-$4.21 לפלט למיליון טוקנים עם חלון של 262,144 טוקנים, שהוא מודל שונה מ-Qwen3-8B ולא תחליף לו, אך הוא אותה משפחה, דור אחד למעלה.

מה ישנה את הקריאה הזו?

שלושה דברים, לפי הסדר.

הרצה עצמאית של תאים מחוץ לתחום. הפער בין 97.7 של Clef-Flash בסימולציית מכשירים לבין 66.8 שלו ב-CLINC150+OOS אינו מתאר מסווג בעל יכולת חלקה; הוא מתאר מודל שחזק בתוך הצורות שעליהן אומן וחלש כאשר התשובה הנכונה היא "אף אחד מאלה". אם זה מחזיק מעמד תחת רתמת הבדיקה של מישהו אחר, זוהי העובדה התפעולית החשובה ביותר לגבי המודל, והיא אינה מופיעה ברשימת ההדגשים של אף אחד.

נתון השהיה מדוד מחוץ לקצה של Cloudflare. החציון של 38.8 ms מרשים, והוא נמדד על ידי הספק, על תשתית שהספק שולט בה, עבור מודל המתארח בקצה. הדירוג מול Jev הוא כנראה מוצק; המספר המוחלט הוא זה שכדאי לא לתת בו אמון.

ובנצ'מרק משותף. עד שמישהו ידרג את Clef-Flash ואת מודל LLM קטן ופתוח באותה משימת סיווג ועם אותן תוויות, הבחירה ביניהם נשענת על חוזה הפלט, מבנה התמחור, ועל השאלה של מי הראיות שאתה מוכן לפעול לפיהן. שלושת אלה מספיקים כדי להכריע בהרבה פייפליינים היום — אבל הם אינם השוואת דיוק, והמאמר הזה לא יעמיד פנים שהם כן.