התמיכה של Ming-3.0 ב-vLLM-Omni מסוג "יום-אפס" היא בקשת משיכה, והיא מגישה את נקודת הבידוק הלא נכונה
- OrcaחדשOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 לכל 1M טוקנים · 9 tok/s
- deepseekחדשDeepSeek: DeepSeek V4.1 Flash 10172026-10-17$0.15 / $0.60 לכל 1M טוקנים · 233 tok/s
- DeepSeekחדשDeepSeek: DeepSeek V4.1 Flash2026-10-1740אינטליגנציה
- OrcaחדשOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 לכל 1M טוקנים · 94 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2952אינטליגנציה
- anthropicAnthropic: Claude Sonnet 5.52026-09-2856אינטליגנציה
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 לכל 1M טוקנים · 787 tok/s
- OpenAIOpenAI: GPT-6 Luna2026-09-2238אינטליגנציה
- OpenAIOpenAI: GPT-6 Sol2026-09-2248אינטליגנציה
- AnthropicAnthropic: Claude Opus 5.52026-09-2258אינטליגנציה
- xAIGrok 4.72026-09-2146אינטליגנציה
- OrcaOrca: OrcaCyber Zero 1.02026-09-17$3.00 / $7.50 לכל 1M טוקנים · 40 tok/s
- OrcaOrca: OrcaVerify Text 1.02026-09-16$2.00 / $0.00 לכל 1M טוקנים · 832 tok/s
- OpenAIOpenAI: GPT-6 Astra2026-09-0453אינטליגנציה77כתיבת קוד
- GoogleGoogle: Gemini 3.8 Flash2026-09-0241אינטליגנציה76כתיבת קוד
- AlibabaQwen: Qwen3.8 Max (0902)2026-09-0245אינטליגנציה76כתיבת קוד
- AnthropicAnthropic: Claude Fable 5.12026-09-0153אינטליגנציה82כתיבת קוד
- TencentTencent: Hy4 preview2026-08-28$0.83 / $2.50 לכל 1M טוקנים · 51 tok/s
- AlibabaQwen: Qwen3.8 Flash2026-08-26$0.15 / $0.47 לכל 1M טוקנים · 120 tok/s
- z-aiZ.ai: GLM 5.3 Flash2026-08-2642אינטליגנציה72כתיבת קוד
הפוסט פורסם ב-19 באוקטובר 2026 והוא נקרא כמו הכרזת השקה: חמישה מודלי דיבור מ-0.5B עד 126B, "הגישו אותם היום עם vLLM-Omni". מה שהמאגר מציג ברגע כתיבת הדברים הוא בקשת מיזוג פתוחה אחת, ארבעים קבצים, ללא מיזוג, וכותרת שמציינת Ming-3.0-audio-tiny בעוד שכל שורה בטלאי מכוונת אל Ming-3.0-tts-tiny. שניהם צ'קפוינטים אמיתיים במשפחת Ming-3.0 ש-inclusionAI מעלה ל-Hugging Face מאז 3 בספטמבר 2026, והם ממלאים תפקידים שונים: האחד מקשיב, והאחר מדבר. אף אחד מהם אינו מודל הדגל 126B שאליו מצביע הביטוי "126B פרמטרים בסך הכול, 6.5B פעילים" באותו פוסט. לכן הגרסה הכנה של סיפור יום-האפס צרה ושימושית יותר מהכותרת: ל-Ming-3.0 יש נתיב הגשה אמין שנמצא בבדיקה, עבור אחד מחמשת המודלים שלו, וארבעת האחרים עדיין נטענים דרך Transformers או שלא נטענים כלל. הכשלים המתועדים של בינה מלאכותית ותקריות מחסנית ההגשה שמאחורי פוסטים כמו זה נאספים בOrcaRouter AI Incident Archive שבו כל רשומה נושאת מקורות משלה, חומרה, דירוג ביטחון וסימון שנוי במחלוקת.
שום דבר מזה אינו תלונה על העבודה. Pull request 9119 יסודי באופן יוצא דופן עבור אינטגרציה ראשונה, והבדיקות הן הסיבה להאמין שהוא ימוזג. אבל הפער בין "הוציאו חמישה מודלים בקוד פתוח" לבין "להפעיל אותם היום" הוא כל נושא המאמר הזה, משום שהפער הזה הוא המקום שבו מתקבלות החלטות פריסה. כל מה שלהלן נקרא מתוך ה-Pull request, מרשם vLLM-Omni וחמשת המאגרים ב-Hugging Face. היכן שמספר הוא של ספק עצמו, המשפט שנושא אותו אומר זאת.
מה שבעצם מכיל pull request 9119
נפתח ב-16:32 UTC ב-19 באוקטובר 2026 מול vllm-project/vllm-omni, עדיין פתוח, 40 קבצים, 4,578 תוספות ו-211 מחיקות. מרכז הכובד הוא מחלקת מודל חדשה, Ming3TTSForConditionalGeneration, יחד עם רשומת רישום של פייפליין, קובץ YAML לפריסה בשני שלבים, ומתאם תואם OpenAI שחושף סינתזה בכתובת /v1/audio/speech. המתכון נכתב עבור H100 או H200 אחד, vLLM 0.32.0, Python 3.12, CUDA 13.0 ו-Transformers 5.19, מוצמד לקומיט 9eb1adcc0 של vLLM-Omni.
שני פרטים הופכים אותו ליותר מאשר דמו. ראשית, קיים מבחן חוזה בן 1,271 שורות עבור המחלקה החדשה, מערך בדיקות תעבורה נפרד, וקובץ "חוזה שחרור" קטן. מערך בגודל כזה נכתב על ידי מי שמצפה שהמודל ישרוד את הריפקטור הבא, לא על ידי מי שמפרסם מחברת. שנית, הטלאי כולל גם 219 שורות של בדיקות מודול משותף מול מימוש ming_tts הישן יותר, כלומר המחבר וידא שהנתיב החדש לא שבר בשקט את הדור הקודם.
מה שאין בו הוא תמיכה כלשהי במודלים להבנת אודיו במשפחה. אין מקודד לקלט אודיו, אין מתאם תמלול, אין נתיב ASR. הטלאי הוא סינתזת דיבור מקצה לקצה.
• בקשת משיכה — 9119, פתוח, נוצר ב-19 באוקטובר 2026, 40 קבצים, +4,578/−211.
• נוספה מחלקה — Ming3TTSForConditionalGeneration, הרשומה לצד MingTTSForConditionalGeneration הוותיקה יותר.
• נקודת קצה — /v1/audio/speech בצורת OpenAI דרך מתאם חדש.
• יעד המתכון — H100 או H200 אחד, vLLM 0.32.0, vLLM-Omni commit 9eb1adcc0.
• צ'קפוינט הוגש — inclusionAI/Ming-3.0-tts-tiny, 7.9B בסך הכול, כ-1.3B פעילים.
![A screenshot of GitHub pull request 9119 in vllm-project/vllm-omni, titled '[New Model] Ming-3-TTS (inclusionAI/Ming-3.0-audio-tiny) Support'. It shows 'yuanheng-zhao wants to merge 24 commits into vllm-project:main from yuanheng-zhao:model/ming3-tts-vllm2', 40 files changed, +4,578 and -211, and the contributor-intent block whose first answer reads 'Support deploying inclusionAI/Ming-3.0-tts-tiny with vLLM 0.32.0'. The purpose note names Ming-3.0-TTS Tiny and the test plan names vLLM 0.32.0.](https://cms.orcarouter.ai/api/media/file/2-2355.png)
חמשת נקודות הביקורת, ומה המשמעות של "נתמך" בכל אחת מהן
המשפחה אכן משתרעת מ־0.5B עד 126B, והפריסה אינה סולם גדלים. אלו שלוש משימות שעוטות סכמת שמות אחת, שהועלו במשך שישה שבועות בלי שום הכרזה.
• Ming-3.0-tts-0.5B — סינתיסייזר צפוף על בסיס Qwen2.5-0.5B עם ראש DiT, פלט ב-44.1 kHz, שבע שפות ועוד סצ'ואנית וקנטונזית, יותר מ-100 קולות סיניים מובנים. המאגר נוצר ב-22 בספטמבר 2026 בשעה 12:46 UTC. MIT. שש הורדות.
• Ming-3.0-tts-tiny — סך הכול 7.9B, כ-1.3B פעילים, תערובת מומחים Ling V3 עם שיבוט zero-shot, עיצוב קול, 14 תגיות פרלינגוויסטיות מוטבעות ויצירת פודקאסט עם מספר דוברים. אותה דקה ב-22 בספטמבר כמו גרסת ה-0.5B. MIT. עשרים הורדות. זהו ה-checkpoint שבקשת ה-pull מגישה.
• Ming-3.0-audio-tiny — סך הכול 9.3B, 2.7B פעילים, קלט אודיו וטקסט, פלט טקסט עם דיבור אופציונלי דרך Talker. נוצר ב-3 בספטמבר 2026 בשעה 11:45 UTC. MIT. שלוש הורדות. זהו ה-checkpoint שכותרת ה-pull request מציינת.
• Ming-3.0-audio-flash — 126B בסך הכול, 6.5B פעילים, קורא הדגל: מבטאים, ניבים, אודיו ארוך, מוזיקה וסצנות אקוסטיות כקלט, טקסט או דיבור מסונתז כפלט. נוצר ב-3 בספטמבר בשעה 11:49 UTC. MIT. עשרים ושתיים הורדות.
• Ming-3.0-asr-tiny — 9B, מקודד אודיו מעל שלד Ling-tiny-v3, תעתיק של סינית ואנגלית עם מילות מפתח ו-15 מערכי בדיקה של ניבים אזוריים. החדש מבין החמישה: המאגר נוצר ב-14 באוקטובר 2026 בשעה 09:27 UTC. MIT. שלושים וחמישה הורדות.
אז הטווח בפוסט מדויק. הטענת התמיכה היא המקום שבו זה מתכווץ: לאחד מחמשת אלה יש מסלול הגשה שממתין למיזוג, ולשניים שרוב האנשים מתכוונים אליהם ב־"Ming-3.0" — audio-flash ו־audio-tiny — אין כלל אינטגרציה בעץ.
מה בעצם נמצא בענף הראשי של vLLM-Omni היום
הרישום ב-main קטן וקל לבדיקה. הוא מפרט את MingTTSForConditionalGeneration עבור inclusionAI/Ming-omni-tts-0.5B וזוג רשומות MingFlashOmni עבור Ming-flash-omni-2.0. אף אחד מהם אינו checkpoint של Ming-3.0. הם מהדור הקודם, ושניהם נושאים את סימון המודל הנתמך במסמכים.
ההבחנה הזו היא זו שתוכנית פריסה עלולה להיכשל בגללה. "vLLM-Omni תומך ב-Ming" נכון לגבי Ming-flash-omni-2.0 ו-Ming-omni-tts-0.5B, נכון כבר כמה גרסאות, ויש לו מתכונים ב-recipes/inclusionAI/. הוא עדיין לא נכון לגבי שום דבר בשם Ming-3.0. צוות שקורא את הפוסט, בוחר את מודל האודיו 126B ומקצה צומת בציפייה לנקודת קצה תואמת OpenAI ימצא צ'קפוינט, קובץ קונפיגורציה ודגל trust_remote_code.
השמות האלה מקלים לפספס זאת אפילו עבור מי שקורא את ה-diff. מפתח הרישום החדש Ming3TTSForConditionalGeneration נמצא כמה שורות מהמפתח הישן MingTTSForConditionalGeneration, ו-Ming-3.0-audio-tiny בכותרת ה-PR מרוחק במילה אחת מ-Ming-3.0-tts-tiny בגוף. אם קוראים ברפרוף, שניהם נראים כמו אותו מודל.
למה הפרט על נקודת הביקורת השגויה אינו קפדנות יתר
שני המודלים הזעירים אינם ניתנים להחלפה זה בזה. Ming-3.0-audio-tiny הוא מודל אודיו-שפה: הוא קולט אודיו ומפיק טקסט, ולעיתים גם דיבור. Ming-3.0-tts-tiny הוא סינתיסייזר: הוא קולט טקסט וקטע ייחוס ומפיק אודיו. אינטגרציית הגשה שנכתבה עבור האחד אינה מלמדת דבר על פריסת הזיכרון של האחר, על התנהגות הבאצ'ינג שלו או על צורת נקודת הקצה שלו.
עבור קורא שמתכנן עבודה, זה משנה איזו משתי שאלות הוא יכול לענות עליה השבוע.
• אם אתם רוצים ליצור דיבור — שיבוט קול, TTS בדיאלקט, הרכבת פודקאסט מתסריט — בקשת המשיכה הזו מיועדת לכם, והמתכון שלה הוא H100 או H200 בודד.
• אם ברצונך לתמלל אודיו או לבצע הסקה על אודיו — פגישות, שיחות, ראיונות עתירי דיאלקט — דבר בתיקון הזה אינו חל, והנתיב הוא Transformers עם קובצי המודל המותאמים אישית, או מתאם SGLang שמתעד כרטיס ה-ASR.
דגל ה-126B נמצא בקטגוריה שלישית: הוא זקוק לשמונה כרטיסי H800 בנפח 80 GB בפריסת tensor parallel עבור פרופיל ה-128K של הספק, או לארבעה מעבדים גרפיים עבור פרופיל ה-SGLang המאומת לטקסט בלבד, וכ-259 GB של משקולות לפני כל מטמון KV. מתכון של מעבד גרפי בודד לא יועיל לו, ולכן היעדרו מהטלאי הזה אינו מחדל.
במה הפוסט צדק
שתי טענות עומדות בבדיקה, והן אלה שחשובות לאמינות של המשפחה. ספירת חמשת המודלים נכונה, והטווח 0.5B עד 126B נכון, כולל ה-6.5B הפעיל שבסוגריים — זהו מספר ההפעלות של מודל ה-flash והוא מודפס על כרטיס המודל שלו.
הטענה השלישית, "לשרת אותם היום", היא זו שיש לקרוא בתשומת לב. היא נכונה למסלול TTS-tiny רק לאחר המיזוג, וגם אז כמתכון ולא כארטיפקט שחרור. ההבחנה בין בקשת משיכה פתוחה לבין מהדורה מתויגת היא בדיוק ההבחנה שצוות פרודקשן צריך, והפוסט אינו עושה את ההבחנה הזו.
יש גם תאריך שכדאי לשים לב אליו. ה-patch של vLLM-Omni נפתח שתים-עשרה דקות אחרי ה-push האחרון של inclusionAI למאגר ה-GitHub בשם audio-flash, אשר עצמו נוצר ב-15 באוקטובר — שישה שבועות אחרי שהמשקלים עלו ל-Hugging Face. האינטגרציה לא מאחרת. היא מגיעה באותה מהירות כמו כל דבר אחר במשפחה הזו, כלומר בלי לוח זמנים שמישהו פרסם.
מריצים את Ming-3.0 השבוע בלי לחכות למיזוג
כל checkpoint במשפחה נטען היום דרך Transformers, והכרטיסים מתעדים זאת. התבנית של כרטיס ה-flash היא AutoProcessor עם use_fast=False, AutoModelForCausalLM ב-bfloat16 עם device_map="auto", ו-trust_remote_code=True — מה שהכרטיס עצמו אומר לך לקרוא את קוד המודל לפני הפעלה. המאגר כולל את הקבצים המותאמים אישית, את המעבד, את ה-Talker, את ה-VAE ושתי קולות ייחוס עם תמלולים.
לסינתזה, לצ'קפוינטים של TTS יש נקודות כניסה משלהן להסקה וסקריפט preflight שמאמת את הצ'קפוינט לפני שאתם טוענים אותו. לתמלול, כרטיס ה-ASR מתעד נקודת קצה /v1/audio/transcriptions בתצורת OpenAI דרך מתאם SGLang, ומזהיר שהפרומפט המאומת מצפה לטאב בין תווית השפה לתמלול — הטאב הזה הוא הפרסר שלכם, ופרומפט גנרי מסוג "transcribe this" אינו התצורה שהספק מדד.
מה שלא מקבלים בנתיב הזה הוא שכבת הביניים: באצ'ינג רציף, בקרת קבלה, נקודת קצה יציבה, תהליך ששורד בקשה שגויה. השכבה הזו היא מה שבקשת המשיכה מהווה, עבור נקודת ביקורת אחת. זו הסיבה שיש לעקוב אחרי סטטוס המיזוג ולא אחרי כרטיס המודל.
היכן נתב משתלב, והמשפט האחד שהוא אינו יכול לומר
OrcaRouter אינו מגיש את Ming-3.0. אף אחד מחמשת הצ'קפוינטים אינו בקטלוג שלנו, ואף קריאה ל-API שלנו לא תגיע לאחד מהם. מודל 126B שאתה מריץ על שמונת ה-GPUs שלך הוא תשתית, וניתוב אינו הופך תשתית לנקודת קצה מתארחת.
מה שהראוטר אכן מכסה הוא החצי הטקסטואלי של מוצר דיבור, והוא גדול מכפי שזה נשמע: הפרומפט שמחליט מה לשאול את האודיו, הניקוי שהופך תמלול עם דיאריזציה להערות מובנות, מנגנון ההגנה שבודק תסריט לפני שמנוע הסינתזה מקריא אותו, והמסווג ששולח קובץ לצומת ה-ASR או לצומת ה-TTS. אלה קריאות טקסט רגילות, והצבתן מאחורי API אחד ליותר מ-200 מודלים עם 0% תוספת מחיר — מחיר המחירון של הספק מועבר הלאה כפי שהוא, כך שהורדת מחיר של ספק נכנסת לתוקף אצלנו באותו יום — מסירה שלושה חוזי ספקים מפרויקט שהחלק הקשה בו הוא ממילא צומת ה-GPU. מעבר אוטומטי לגיבוי הוא החלק האחר שכדאי לציין: כך מציבים צ'קפוינט שלא מוזג מאחורי פרוסת תעבורה בלי להמר עליו את נתיב הייצור.
מה יהפוך את הפוסט לנכון
שלושה אירועים ניתנים לבדיקה, לפי סדר מידת השינוי שהם יחוללו.
• המיזוג. אם 9119 ייכנס למהדורת vLLM-Omni מתויגת עם המתכון והבדיקות מצורפים, לנקודת ביקורת אחת של Ming-3.0 יש סיפור שירות אמיתי, ו"יום אפס" הופך למוצדק עבור TTS-tiny.
• טלאי שני. נתיב הבנת האודיו זקוק לאינטגרציה משל עצמו. עד שלדגמי flash ו-audio-tiny יהיו מתאמים, המשפט "vLLM-Omni תומך ב-Ming-3.0" משמעו סינתזה בלבד.
• נתון עצמאי אחד. כל נתון בכרטיסים הוא הרצה של inclusionAI עצמה, ואף צד שלישי לא פרסם ציון לאף אחד מהחמישה. ממוצע ה-ASR הסיני של 3.45 וממוצע הניבים של 9.40 הם הספק המתאר את עצמו בפומבי, וזה שווה משהו, אבל זה אינו זהה לשחזור.
עד אז, התיאור המדויק הוא זה שהמאגר תומך בו: משפחת דיבור בת חמישה מודלים שהועלתה בשקט לאורך שישה שבועות, תועדה ביום אחד באוקטובר, עם טלאי הגשה שנבדק היטב הנמצא בבדיקה עבור הסינתיסייזר 7.9B שלה וארבעה צ'ק פוינטים שאתה טוען בעצמך. ה-pull request הוא עבודה טובה. זה לא שחרור, והספק לא אמר שזה כן.
