Ming-3.0-audio-tiny פועל כעת על GPU יחיד — והתצורה שלו סוף סוף מציינת 128K

הצ'קפוינט שמאחורי Ming-3.0-audio-tiny ניתן להורדה מאז 3 בספטמבר 2026 — שני קבצי safetensors מפוצלים, 17.7 GB, שהועלו תשע דקות לאחר שהמאגר עצמו נוצר. מה שלא היה קיים עד השבוע הזה היה כמעט כל מה שמסביר איך להריץ אותו. בין 16 ל-19 באוקטובר 2026 inclusionAI החליפה את התצורה שנשלחה בספטמבר, והפכה וריאנט וידאו-שפה-אודיו עם חלון של 8,192 טוקנים לוריאנט אודיו בלבד שטוען ל-131,072, הוסיפה את ה-Talker שמייצר דיבור, הוסיפה שני קטעי קול ייחוס עם התמלולים שלהם, ו—לאחר שלושה ימים שבהם למאגר לא היה כרטיס מודל כלל—כתבה אחד. הקוד שאליו מצביעים המסמכים הללו הגיע ל-GitHub ב-15 באוקטובר, במאגר שנקרא על שם האח הגדול, Ming-3.0-audio-flash, והוא כולל שלושה פרופילי פריסה עבור מודל ה-tiny שמעולם לא היו למודל ה-tiny. איש לא הודיע על כך. אז השאלה ששווה לענות עליה אינה מה חדש, מפני שהמשקולות בנות שבעה שבועות וזהות בייט-בבייט ליום שבו נחתו. אלא מה קורא יכול כעת להריץ שלא יכול היה להריץ ביום שני שעבר, ומה זה עולה מבחינת דיוק כשהם עושים זאת. כשלי ה-AI ותקריות הסוכנים המתועדים שמאחורי הפצות כמו זו נאספים ב־OrcaRouter AI Incident Archive שבו כל ערך נושא מקורות משלו, חומרה, דרגת ודאות וסימון מחלוקת.

מה השתנה, מתוארך לקומיט

יומן הקומיטים של Hugging Face קצר מספיק כדי לקרוא אותו במלואו, והצורה שלו יוצאת דופן: שלושה קומיטים בספטמבר, שום דבר במשך שלושה שבועות, ואז שישה בארבעה ימים.

• 3 בספטמבר, 11:45 ו-11:49 UTC — המאגר נוצר, ואז שני השברים נוחתים תחת "הוספת קבצים באמצעות הכלי upload-large-folder". קובץ ה-README שמגיע איתם נקרא "Ming Audio V3", מצהיר על רישיון Apache 2.0, מתייג את המאגר בתור automatic-speech-recognition ואומר שהמאגר "מתעד כעת את מסלול ה-ASR."

• 17 בספטמבר — תיקיית examples/ נמחקת. לאחר מכן המאגר הוא משקלים, קוד מידול מותאם אישית וכרטיס קצר, ולא דבר אחר.

• 16 באוקטובר, 08:14 עד 08:20 UTC — המשמעותי שבהם. config.json נכתב מחדש: max_position_embeddings בעמוד השדרה הטקסטואלי עובר מ-8,192 ל-131,072, transformers_version מ-4.56.2 ל-5.14.1, ו-audio_config.model_type מ-bailing_moe_v3_vl_audio ל-bailing_moe_v3_audio — סוג הווידאו-שפה-אודיו שכבר אינו מתאר את המודל. באותה דחיפה auto_map מקבל רשומות AutoModel ו-AutoProcessor שלא היו לו, processor_config.json מופיע, ועץ ה-talker/ מגיע: מודל דיבור של 1.4 GB, VAE של 1.6 GB, מקודד דוברים CAM++, ומתמרי מצב סופי לנרמול טקסט עבור אנגלית וסינית. ה-README הישן יוצא באותה דחיפה — בשלושת הימים הבאים אין למאגר כרטיס מודל כלל.

• 17 באוקטובר, 11:44 UTC — "הוספת פריסטים לקול." שני קובצי WAV ייחוס, US_James.wav ו灵楷.wav, בתוספת קובץ JSON המכיל את התמלולים המדויקים שלהם.

• 19 באוקטובר, 10:36, 11:44 ו-11:49 UTC — שלושה קומיטים של ניקוי והעלאה.

19 באוקטובר, 13:19 UTC — "הוספת כרטיס המודל של Ming-3.0-audio-tiny." 8,514 בייטים, והמסמך הראשון בתולדות המאגר שמתאר מודל דיבור ושמע ולא מסלול ASR.

לצד GitHub יש ציר זמן משלו, והוא מתחיל מאוחר יותר. inclusionAI/Ming-3.0-audio-flash נוצר ב-15 באוקטובר בשעה 03:50 UTC — שישה שבועות לאחר שהמשקלים כבר היו קיימים — ועדיין נשלחו אליו שינויים ב-19 באוקטובר בשעה 14:53 UTC. יש לו שמונה כוכבים, קובץ רישיון MIT, ותיקיית deploy/ המכילה שישה פרופילי YAML, שלושה מהם מיועדים לפי שם לצ'קפוינט הזעיר. אין מאגר inclusionAI/Ming-3.0-audio-tiny; כתובת ה-URL הזו מחזירה 404, והקוד של המודל הזעיר נמצא במאגר ה-flash לצד זה של אחיו.

שכתוב הקונפיגורציה הוא הסיפור האמיתי

שדה אורך־הקשר שקופץ פי 16 הוא מסוג השינויים שהם או קוסמטיים או מבניים, ובמקרה הזה שאר ה-diff מעיד שמבני. בספטמבר המאגר סיפק modeling_bailing_moe_v3_audio.py וprocessing_bailing_moe_v3_audio.py בעץ, אך הקונפיגורציה שלו תיארה מגדל אודיו מסוג bailing_moe_v3_vl_audio — שארית מבנייה של וידאו־שפה — והכרטיס שלו הורה לאתחל את המודל עם trust_remote_code=False, וזה לא מה שקבצי מודלינג מותאמים רוצים. הקונפיגורציה של אוקטובר היא הראשונה שבה הסוג המוצהר, ה-runtime המוצהר ונתיב הקוד תואמים זה לזה.

• Backbone — 24 שכבות, גודל חבוי 1,536, 16 ראשי קשב, 128 מומחים מנותבים עם 8 פעילים לכל טוקן ומומחה משותף אחד, גודל ביניים של מומחה 512, שכבה צפופה ראשונה באינדקס 1, מקדם סקיילינג מנותב 2.5, אוצר מילים 157,184.

• קשב — MLA, עם KV latent ברוחב 512 ו-query latent ברוחב 256, rope_theta 6,000,000, partial_rotary_factor 0.5. צורת ה-KV בדרגה נמוכה היא הסיבה לכך שאפשר בכלל לדון בחלון של 131,072 טוקנים על כרטיס אחד: המטמון מאחסן את ה-latent, ולא מפתחות וערכים לכל ראש.

• מגדל אודיו — 32 שכבות, רוחב 1,280, 20 ראשים, הקשר של 3,000 פריימים ו-128 תאי מל, עם מנמיך דגימה של גרעין [3,3,3] וצעד [2,2,2]. מזהה אסימון אודיו 157,168.

• גודל — 9.3B פרמטרים בסך הכול, 2.7B פעילים לכל טוקן, bfloat16 לאורך כל הדרך, מוצהר מול Transformers 5.14.1.

• קלטים ופלטים — אודיו בתוספת הוראת טקסט נכנס; טקסט יוצא, או טקסט בתוספת דיבור מסונתז דרך ה-Talker האופציונלי. סינית ואנגלית, כולל מבטאים וניבים, לפי הכרטיס.

מה ששכתוב הקונפיגורציה לא עושה הוא להוסיף משקולות. ארבעת קבצי ה-safetensors במאגר — שני שארדים של Thinker, ה-Talker, ה-VAE — הם באותם גדלים בכל גרסה שבדקתי, עד להעלאה הראשונית. זה היה שינוי בתיעוד ובאריזה של צ'קפוינט שלא השתנה, וזו בדיוק הסיבה שהזינוק מ-8,192 ל-131,072 הוא אמין: אף אחד לא אימן מחדש שום דבר, כך שאפשר לבחון את הטענה על ידי טעינת המודל ובקשה להקשר ארוך, במקום להאמין בה.

פיסת תיעוד אחת עדיין אינה עקבית. תג ה-pipeline ברמה העליונה של Hugging Face במאגר כתוב text-to-speech, בעוד שהסיכום של הכרטיס עצמו מכנה אותו מודל שפה-שמע שמקבל הוראות ומחזיר טקסט או דיבור. התג הוא שאריות מכך ש-Talker היה היכולת האחרונה שנגעו בה, וזה מסוג הדברים שלא אכפת לאף אחד מלבד האדם שמסנן את ה-Hub לפי משימה.

GPU אחד לטקסט, שניים לדיבור

כאן המודל הזעיר מצדיק את שמו, וזה גלוי רק משום שפרופילי הפריסה ציבוריים כעת. פרופיל הטקסט של מודל ה-flash פועל על התקנים: "0,1,2,3,4,5,6,7" עם tensor_parallel_size: 8 — שמונה כרטיסים של 80 GB, וזה מה שמשקלי bf16 בנפח 256 GB מחייבים לפני שמוקצה מטמון כלשהו. למודל הזעיר יש שלושה פרופילים משל עצמו, ושניים מהם דורשים כרטיס אחד.

• טקסט ו-ASR, vLLM-Omni — שלב בודד על התקנים: "0", גודל מקבילי טנסור 1, max_model_len 131,072, max_num_batched_tokens 32,768, gpu_memory_utilization 0.92, דגימה בטמפרטורה 0.6 ועד 65,536 אסימוני פלט.

• אודיו מלא עם פלט דיבור — שני שלבים. ה-Thinker על התקנים: "0" ב-0.78 של הכרטיס, וה-Talker על התקנים: "1" ב-0.18, כאשר שלב ה-Talker מוגבל לאסימון פלט אחד ולטמפרטורה 0.0 מכיוון שהוא אינו מייצר טקסט.

• שחזור ASR — צינור עיבוד של thinker בלבד עם מעבד logit נגד חזרות מסדר 10-גרם שהוסף לו, כאשר האודיו מוגבל לקליפ אחד לכל פרומפט, max_model_len 131,072, טמפרטורה 0.0, 32,768 אסימוני פלט. זו התצורה שתחתיה נלקחו נתוני הזיהוי של הספק, וכדאי להעתיק אותה בדיוק אם בכוונתך להשוות.

• SGLang — GPU אחד, התקן אחד גלוי, פלט טקסט בלבד. הכרטיס מציין במפורש שפלט דיבור אינו זמין בנתיב זה.

הפרופילים האלה הם קבצים, לא פרוזה, והם גלויים בתיקיית deploy/ של מאגר ה-flash — שישה פרופילי YAML, שלושה מהם נקראים על שם הצ'קפוינט הזעיר.

קראו את מספרי הזיכרון בכנות. 0.92 הוא נתח מכל כרטיס שאליו תכוונו את השלב, לא דרישה: השברים של Thinker מסתכמים ב-17.74 GB, כך שהמשקולות נכנסות בכרטיס של 24 GB עם כ-6 GB שנותרים למטמון ולאקטיבציות. ההקצאה של 0.92 מותאמת לחלון של 131,072 טוקנים בתוספת אצווה של 32,768 טוקנים בבת אחת, והיא יורדת אם תפחיתו את max_model_len. מה שאי אפשר לעשות בכרטיס אחד הוא להפיק דיבור, כי ה-Talker וה-VAE שלו הם תהליך שני עם סט משקולות שני — 3 GB לפני מקודד ה-CAM++ והמתמרים — ופרופיל הייחוס מקצה להם התקן משלהם. טקסט על GPU אחד, שיחה בקול רם על שניים: זו האריתמטיקה הכנה, וזהו סעיף תקציב שונה מזה של השמונה של האח התאום.

מה בעצם יש בהורדה

המאגר מסתכם ב-20.78 GB. ה-Thinker הוא 17.74 GB בשני פלחים של 9.55 GB ו-8.19 GB; ה-Talker מוסיף 1.40 GB, ה-VAE שלו 1.56 GB, מקודד הדובר 28 MB, וקבצי הטוקנייזר והמנרמל מהווים את היתר. אין גרסה מכומתת, אין checkpoint קטן יותר, ואין המרת GGUF שפורסמה על ידי הספק, כך שנתון ה-bf16 הוא הרצפה אלא אם תכמתו אותו בעצמכם.

• טעינה — AutoProcessor.from_pretrained(..., trust_remote_code=True, use_fast=False) ו־AutoModelForCausalLM.from_pretrained(..., dtype=torch.bfloat16, device_map="auto", trust_remote_code=True). קטע הקוד של הכרטיס עצמו ממיר לאחר מכן את audio_feats ל-dtype של המודל באופן ידני, וזה רמז קטן לכך שמסלול המעבד לא היה בעדיפות.

• חוזה ה-ASR — ההנחיה המאומתת מבקשת מהמודל לנקוב בשם השפה המדוברת ולהכניס טאב בין תווית השפה לתעתיק. אם אתם בונים רתמת הערכה, הטאב הזה הוא המנתח שלכם. הוראה גנרית כמו "תעתיק את זה" אינה התצורה ש-inclusionAI מדדה.

• קולות — ברירת המחדל של vLLM-Omni היא קול מובנה בשם 灵小柔, וספריית המודל מגיעה עם שני פריסטים של קול ייחוס, 灵楷 ו-US_James, עם תמלולים. שכפול קול דורש קובץ WAV ייחוס בתוספת התמלול המדויק שלו; הכרטיס מזהיר שלא ניתן לשלב בחירה של קול מובנה עם קליפ ייחוס בבקשה אחת.

• רישיון — MIT במטא-דאטה של הכרטיס ובמאגר GitHub, בקובץ LICENSE, שמתוארך לשנת 2025. שימו לב למה שחסר: מאגר Hugging Face אינו מכיל LICENSE כקובץ משל עצמו. טקסט הרישיון היחיד שנמצא פיזית בתוכו שייך למודל לזיהוי שפה הכלול תחת talker/data/. הצהרת ה-MIT אמיתית, אך היא נמצאת במרחק לחיצה אחת, במאגר שנקרא על שם המודל האחר.

• משיכה — שלוש הורדות וחמישה לייקים, נכון לשבוע זה. למודל הפלאש יש 22 הורדות ושמונה לייקים. אף אחד מהמספרים אינו ראיה לגבי איכות; שניהם עדות לכך שהעלאה מספטמבר ללא כרטיס וללא הכרזה לא זכתה לתפוצה.

תמונת הבנצ'מרק, והעמודה החסרה

שלושה קובצי PNG בתיקיית assets/ מכילים את ההערכה, ושלושתם הם הרצה של inclusionAI עצמה. הספק מסמן רשומות שהוערכו על ידו בכוכבית ומציין שמודלי ההשוואה שוחזרו לפי הפרומפטים והגדרות הפענוח שלו עצמו, ולכן ייתכן שהמספרים שלהם שונים מאלה שבדוחות הרשמיים שלהם. לא מצאתי הערכה בלתי תלויה שפורסמה לצ'קפוינט הזה — אין רשומה בארנה, אין ציון מצד שלישי — כלומר כל נתון בהמשך הוא ספק המתאר את המודל של עצמו. זו לא סיבה להתעלם מהם; זו סיבה לקרוא אותם כבריף עיצוב ולא כפסק דין.

ההשוואה המועילה היא זעומה לעומת אחיה, משום ששניהם הריצו את אותה תשתית בדיקה. בזיהוי הדגם הקטן יותר מפסיד מעט, ובחשיבה על אודיו ארוך הוא מפסיד הרבה מאוד.

• ממוצע ASR בסינית — שיעור שגיאות תווים 3.79 עבור Ming-3.0-audio-tiny לעומת 3.45 עבור Ming-3.0-audio-flash. ככל שהערך נמוך יותר, כך טוב יותר, ולכן tiny מפגר ב-0.34 נקודות.

• ממוצע ASR באנגלית — 4.36 לעומת 3.69. ממוצע דיאלקט — 10.29 לעומת 9.40.

• BigBenchAudio — 99.20 לעומת 99.40. למעשה תיקו, והשורה היחידה שבה הבדל הגודל אינו בא לידי ביטוי.

• MMAU — 75.90 לעומת 82.00. MMAR — 67.70 לעומת 74.40. MMSU — 73.06 לעומת 78.82. MMAU-Pro — 56.42 לעומת 66.41.

• דיוק אודיו ארוך — 56.39 לעומת 66.30. LongAudioSpan — 35.45 לעומת 41.12. ציון Long-audio Chain — 10.56 לעומת 12.31.

• אינטראקציה קולית — URO-Bench-Pro 54.15 לעומת 81.92, קריסה של 27.8 נקודות. VoiceBench 74.29 לעומת 86.74. SpeechFCEval 69.80 לעומת 82.60.

• קריאה לכלים — BFCL-v3 Audio ‏79.80 לעומת 81.40. מוזיקה — MuchoMusic ‏58.07 לעומת 65.65.

שורות הניבים הן היוצא מן הכלל המעניין, משום ש-tiny אינו מפסיד באופן אחיד. הוא גובר על אחיו הגדול באנחווי (5.42 לעומת 5.76), במנדרינית צפון-מזרחית (4.21 לעומת 4.28), בג'יאנגסו (11.44 לעומת 12.15), בשאאנשי (5.81 לעומת 6.00), בשאנדונג (10.17 לעומת 10.69) וביונאן (11.28 לעומת 11.53), ומפסיד בפער גדול בהאקה (24.08 לעומת 16.51), בהוקיין (14.15 לעומת 12.84) ובשאנגהינזית (12.49 לעומת 11.15). מודל עם 2.7B פרמטרים פעילים שמחזיק שש מתוך חמש-עשרה שורות ניבים מול מודל עם 6.5B פרמטרים פעילים הוא הדבר החיובי ביותר בכל ההערכה, והוא קבור באמצע טבלה שבה הממוצע מסתיר אותו.

שני פערים ראוי להצביע עליהם משום שאפשר לבדוק אותם והכרטיס אינו מצביע עליהם. ראשית, חמש שורות בתמונת הזיהוי אינן נושאות ולו ערך זעיר אחד — שורות הדיאריזציה של הדובר והתמורה המינימלית המשורשרת עבור AISHELL-4, AliMeeting ו-AMI מודפסות כמקף. מה שהמודל הזעיר עושה ב"מי דיבר מתי" אינו מפורסם. שנית, בתמונת התובנות הטקסטואליות יש ארבעה עמודות ואף אחת מהן אינה המודל הזעיר: העמודות שלה הן Ming-3.0-audio-flash, Qwen3.8-Omni Flash, Qwen3.5-Omni Plus ו-Qwen3.5-Omni Flash. סעיף ההערכה בכרטיס אומר שהנתונים שלהלן כוללים תוצאות עבור שתי גרסאות Ming, וזה נכון לגבי שתי תמונות האודיו ולא נכון לגבי זו הטקסטואלית. אם אתם צריכים לדעת אם עמוד השדרה הזעיר יכול לקיים שיחת הסקה, inclusionAI לא סיפרה לכם.

מה שהשבוע הזה בעצם קנה לך

לפני 16 באוקטובר, קורא שרצה לבדוק את נקודת הבדיקה הזו עמד בפני הורדה של 17.7 GB, קונפיגורציה שמתארת מודל וידאו-שפה עם חלון של 8K, וכרטיס שהורה לו לטעון קוד מותאם אישית מבלי להפעיל קוד מותאם אישית. אחרי 19 באוקטובר יש ברשותו קונפיגורציה שמתאימה לקבצי המודל של עצמה, טענת 128K שאפשר לבדוק כנגד משקלים ללא שינוי, שלושה פרופילי פריסה בעלי שמות, כולל אחד עם GPU יחיד, חבילת קול עם תמלולים, וכרטיס שאומר למה נועד המודל. שום דבר מזה אינו מודל חדש. כל זה הוא ההבדל בין נקודת בדיקה על דיסק לבין נקודת בדיקה שאפשר להעריך במהלך אחר צהריים אחד.

העלות היא החלק שהתאמת הגודל מסתירה. בטבלאות של הספק עצמו, מעבר מהמודל עם 6.5B פרמטרים פעילים לזה עם 2.7B פעילים קונה לך שמינית מכמות ה-GPU וגובה ממך 27.8 נקודות ב-URO-Bench-Pro, עשר נקודות ב-VoiceBench, וכחמישית מציון ה-Chain לאודיו ארוך. זו עסקה סבירה לשירות תמלול, עסקה גרועה לכל דבר שצריך להסיק לאורך שעה של אודיו, והספק הדפיס את שתי העמודות זו לצד זו כדי שתוכל להחליט מה אתה בונה.

היכן נתב מצדיק את מקומו, והיכן הוא אינו מצדיק אותו

OrcaRouter אינה מספקת את Ming-3.0-audio-tiny. הוא אינו בקטלוג שלנו, איננו יכולים לתת לך נקודת קצה עבורו, ואין לקרוא דבר כאן כהצעה לכך. מה שראוטר טוב בו בפייפליין שנבנה סביב צ'קפוינט כמו זה הוא החצי שאינו הצ'קפוינט. מערכות דיבור הן בעיקר עבודת טקסט: הפרומפט שמחליט מה לשאול את האודיו, המנתח שהופך תווית שפה מופרדת בטאבים לפלט מובנה, הסיכום שנכתב מהתמלול, הסיווג שמחליט אם קובץ אודיו הולך למודל 2.7B או לזה של 126B. אלה קריאות טקסט רגילות, ו-API אחד עבור יותר מ-200 מודלים ללא תוספת מחיר — מחיר המחירון של הספק מועבר הלאה, כך שהורדת מחיר של ספק באה לידי ביטוי אצלנו באותו יום — הוא דבר פשוט יותר לחבר מאשר ערימה של חוזי ספקים. מעבר אוטומטי לגיבוי הוא מה שמאפשר לך לשים מודל שתועד לאחרונה מאחורי חלק מפייפליין בלי להמר את כל הנתיב עליו.

הגבול ראוי להיאמר בבירור. נקודת ביקורת של 17.7 GB שאתם מריצים על ה-GPU שלכם היא תשתית, לא קריאת API. נתב מנתב קריאות. הוא לא הופך מודל אודיו עם משקולות פתוחות למודל מתארח, והוא לא הופך שלוש הורדות להוכחות לייצור.

מה לצפות

שלושה דברים ישנו את התמונה הזו, ושלושתם ניתנים לבדיקה. ראשית, ציון עצמאי: ברגע שזירה או מעריך צד שלישי ירשמו את הצ'קפוינט הזה, הפער של 27.8 נקודות באינטראקציה דיבורית מפסיק להיות דיווח עצמי של ספק והופך לנקודת נתונים; עד אז, שימו לב שאותו ספק גם פרסם שש שורות דיאלקט שבהן המודל הקטן מנצח. שנית, קובץ LICENSE בתוך מאגר Hugging Face, מה שיעביר את MIT מקישור בכרטיס לעובדה בארטיפקט שתהליך רכש באמת קורא. שלישית, מאגר GitHub קטן וספציפי: כיום פרופילי הפריסה שהופכים את הטענה ל-GPU יחיד לאמיתית נמצאים במאגר הנקרא על שם המודל הגדול יותר, וזה בסדר עד שמישהו משנה את שמו.

עד שאחד מאלה יוצא לאור, התיאור המדויק אינו זוהר. אותם משקלים כמו ב-3 בספטמבר, כ-18 GB של Thinker, חלון של 131,072 טוקנים שהגיע בקונפיג ולא בצ'קפוינט, שלושה פרופילי שירות שנכנסים לכרטיס אחד לטקסט ולשני כרטיסים לדיבור, MIT על הנייר, חמש שורות ייחוס שסירב לפרסם, וכרטיס מודל שצעיר בשלושה ימים מהקונפיג שהוא מתאר. השבוע לא שיפר את המודל. הוא הפך אותו לקריא, ועבור צ'קפוינט במשקלים פתוחים שאיש לא הכריז עליו, הקריאות היא כל המוצר.