כרטיס כותרת שעליו כתוב 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live' עם כתובית '12.8% ו-4.00% אינם אותו מספר'. מתחתיו שני פסים אופקיים עם התוויות 'PriMock57 ייעוצי דמה קליניים' ב-12.8% ו'Artificial Analysis דיבור כללי' ב-4.00%, כאשר כל פס מתויג לפי הבנצ'מרק שאליו הוא שייך, וביניהם מפריד קו אנכי מקווקו.
Guides & Insights

Scribe v3 Live Medical לעומת Gemini 3.5 Transcribe Live: 12.8% ו-4.00% אינם אותו מספר

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

הציבו את 12.8% של Scribe v3 Live Medical לצד 4.00% של Gemini 3.5 Transcribe Live, ושאלת התמלול בזרימה נראית מוכרעת לטובת Google פי שלושה. זה לא כך, והסיבה היא הדבר השימושי ביותר בעמוד הזה: שני המספרים האלה נמדדו על אודיו שונה, בידי ארגונים שונים, למטרות שונות. ה-12.8% הוא שיעור שגיאת המילים של ElevenLabs ב-PriMock57 — 57 ייעוצי רפואה ראשונית מדומים מוקלטים, מלאים בשמות תרופות, מינונים ומשפטים חצויים. ה-4.00% הוא שיעור שגיאת המילים בתמלול בזרימה של Artificial Analysis עבור Gemini 3.5 Transcribe Live במערך הבדיקה הכללי שלו לדיבור, בזמן של 0.40 שניות עד לתמלול סופי. האחד הוא ייעוץ קליני; האחר הוא מערך מבחנים. להשוות ביניהם זו אותה טעות כמו להשוות צריכת דלק של מכונית במסלול לצריכת הדלק שלה בתנועה עירונית ולסיק שהמנוע השתנה.

אם מסירים את ההשוואה המלאכותית ראש בראש, נותרת בחירה אמיתית, והיא עוסקת בפריסה ולא בדיוק. Gemini 3.5 Transcribe Live הוא מודל שאתם קוראים לו: gemini-3.5-transcribe-live, נקודת קצה של WebSocket עם מחיר מפורסם לדקה, שכבת שימוש חינמית ותקרת סשן של עשר דקות. Scribe v3 Live Medical הוא מודל שאינכם יכולים לקרוא לו כלל — הוא קיים רק כאפשרות ASR בתוך ElevenAgents, בגישה מוקדמת, ללא מזהה מודל וללא תעריף משלו. האחד הוא תשתית. האחר הוא תכונה של פלטפורמת סוכנים. מה שתבחרו תלוי בשאלה אם אתם בונים מתמלל או קונים סוכן טלפוני.

מה כל צד למעשה מפרסם

השוואת המפרטים, ממד אחר ממד, כפי שכל ספק מציג אותה:

• גישה — Gemini 3.5 Transcribe Live מציע נקודת קצה WebSocket של Live API (gemini-3.5-transcribe-live) עם מסלול חינמי; ניתן לבחור ב-Scribe v3 Live Medical רק בהגדרות Automatic Speech Recognition של סוכן ElevenAgents, ולא דרך Speech to Text API.

• מחיר — Gemini 3.5 Transcribe Live עולה $3.50 למיליון טוקני קלט אודיו ו-$21.00 למיליון טוקני פלט טקסט, אשר Google מעריכה ב-$0.005 ו-$0.004 לדקה בהתאמה, כ-$0.009 לדקה במשוקלל; ל-Scribe v3 Live Medical אין מחיר נפרד והוא כלול בתמחור של ElevenAgents.

• דיוק — Gemini: 4.00% WER בזרימה עם 0.40 שניות עד לתוצאה סופית, לפי Artificial Analysis; Scribe: 12.8% WER ב-PriMock57, בהרצת הספק, לעומת 15.5%–17.2% עבור ארבעה מודלים מתחרים בזמן אמת.

• התאמת תחום — Gemini: הטיית אוצר מילים מותאם אישית בגרסת האצווה האחות, עם דיאריזציה וחותמות זמן ברמת מילה המתוארות בכרטיס Gemini 3.5 Transcribe; Scribe: כיוונון עדין קליני בתוספת עד 10,000 מונחים מותאמים אישית ללא עלות נוספת.

• שפות — Gemini: יותר מ-85 שפות עם החלפה באמצע הזרם; Scribe: יותר מ-90 שפות, כאשר השיפורים הרפואיים נמדדו באנגלית, בצרפתית ובגרמנית.

• מבנה הסשן — Gemini: סשן WebSocket המוגבל לעשר דקות; Scribe: נמשך לאורך כל שיחת הסוכן.

• עמידה ברגולציה — Gemini: לא מצאנו מיצוב רפואי או מיצוב בנוגע ל-HIPAA בתיעוד המודל; Scribe: כשירה ל-HIPAA עם BAA ומצב אפס שימור, עם אזהרה מפורשת שלא לשלוח PHI למודל בזמן אמת בגישה מוקדמת עד לאישור הזכאות של המודל עצמו.

שתיים מהשורות האלה מכריעות את רוב ההחלטות האמיתיות, ואף אחת מהן אינה דיוק. מגבלת עשר הדקות היא ארכיטקטונית: צריך לתפור סשן לכל דבר ארוך יותר מסקר מוקד טלפוני, והתפר הוא הבעיה שלך. היעדר מחיר לדגם ElevenLabs הוא השני: אי אפשר להכניס אותו לכרטיס תעריפים, כי הוא נמצא בתוך מנוי שגם מחייב את ה-LLM, את הטלפוניה ואת הקול.

A two-column scoreboard titled 'Scribe v3 Live Medical vs Gemini 3.5 Transcribe Live — the scoreboard', with the rows Access (ElevenAgents only vs Live API WebSocket), Price (bundled, no ASR rate vs about $0.009 per minute), Accuracy (12.8% PriMock57 vs 4.00% AA streaming WER), Adaptation (clinical fine-tune, 10,000 terms vs custom vocabulary biasing), Languages (90+ vs 85+) and Session (length of the agent call vs 10-minute cap), and a footer reading 'ElevenLabs figures vendor-run on PriMock57; Gemini figures per Artificial Analysis.'

להפוך את שורת הדיוק למשהו שאפשר להשתמש בו

יש דרך לגיטימית להשוות בין השניים, והיא מחייבת להריץ אותם — וזה בדיוק מה שהתרשימים השיווקיים נועדו לחסוך ממך. מה שאפשר לומר על סמך הראיות שפורסמו הוא צר יותר:

בשיחות קליניות ספציפיות, ל-ElevenLabs יש מספר מדוד ול-Google אין. זו אינה טענה ש-Gemini 3.5 Transcribe Live גרוע בשמות תרופות — זו טענה שאיש לא פרסם עבורו נתון שקול ל-PriMock57. מנגנון אוצר המילים המותאם של Google הוא הכלי שהיא מציעה בדיוק לבעיה הזו, וההטיה לפי אוצר מילים במודל ה-batch מתועדת; בנקודת הקצה Live התיעוד דק יותר מאשר באחותה ה-batch, ותכונות הדיאריזציה וחותמות הזמן ברמת המילה המתוארות בכרטיס המשותף של Gemini 3.5 Transcribe אינן מאושרות במפורש לכל נקודת קצה בנפרד.

באודיו שיחתי כללי, ל-Google יש נתון שפורסם באופן עצמאי ול-ElevenLabs יש נתון שמנוהל על ידי הספק. ה-4.00% מגיעים מכלי מעקב עם מערך בדיקה קבוע ועשרות מודלים; ה-12.8% מגיעים מסט בודד של 57 ייעוצים ש-ElevenLabs בחרה והריצה. שניהם שימושיים. אף אחד מהם לא שורד חיסור מהשני.

הגרסה המעשית: אם עומס העבודה שלכם הוא שיחות קליניות, שאלו מדגם בסגנון PriMock57 מההקלטות שלכם — שני דוברים, ספר תרופות אמיתי בחדר, ולפחות מתקשר אחד שמקריא מזהה חבר — והריצו את שניהם. אם מדובר בתעתוק זרימה כללי עם מעט ז'רגון, המספר שפרסמה Google הוא נקודת המוצא הניתנת לביקורת יותר, וההטיה של אוצר המילים שלה תישא את רוב העומס התחומי.

The Artificial Analysis Speech to Text leaderboard, showing the heading 'Speech to Text AI Model & Provider Leaderboard' with the subtitle 'Compare word error rate, speed, and pricing across Speech to Text models and providers', the chart label 'AA-WER Index (Non-streaming)', and a grid of model bars with percentage labels.

ההבדל הקליני טמון בהפסקות, לא במילים

התכונה ש-ElevenLabs בנתה ושאינה מתוארת במסמכי Google היא חיזוי תורות. מודל התורות של Scribe v3 Live Medical משתמש בהקשר השיחה ולא רק בשקט כדי להחליט שמתקשר סיים, וזה ההבדל בין סוכן שעונה אחרי "מזהה החבר שלי הוא 4-4-2" לבין אחד שממתין לספרה האחרונה. הדוגמאות של ElevenLabs עצמה הן בדיוק המחרוזות ששוברות זיהוי נקודת סיום מבוסס שקט: מזהי חבר, תאריכי לידה, מספרי טלפון, מינונים באיות.

Gemini 3.5 Transcribe Live דוחף את אותה הבעיה שכבה אחת למעלה בערימה. התיעוד שלו מתאר אותו כמודל תמלול בהזרמה דו-כיוונית; היכן שהתור מסתיים נקבע על ידי מסגרת הסוכנים שיושבת מעליו, כל שהיא, וסיפור סוכני הקול של Google עובר דרך הטיפול בתורים של Live API עצמו ולא דרך מודל תורים ייעודי לתמלול. זו ארכיטקטורה טובה בהחלט, והיא שונה: אתה הבעלים של לוגיקת ה-endpointing, ואתה תכייל אותה. בשיחה קלינית שבה מטופל עוצר באמצע תיאור תסמין כדי לחשוב, הכיול הזה אינו קוסמטי.

השוואת העלויות, ביושר

המונה של גוגל שקוף מספיק כדי לבסס עליו חישוב. קחו מרפאה שמנהלת 40 שעות של שיחות חיות ביום, 22 ימים בחודש: 52,800 דקות. בתעריף המשוקלל המוערך של $0.009 לדקה, מדובר בכ-$475 בחודש עבור חלק התמלול, וזה סעיף שאפשר לתחזית, להגביל ולדון בו בחידוש.

הצד של ElevenLabs אינו מפיק נתון בר-השוואה, וכל מי שמצטט נתון כזה מנחש. העוגן המפורסם הקרוב ביותר הוא מחירון ה-API — Scribe v3 Live ב-$0.22 לשעה, keyterm prompting ב-$0.08 לשעה — אבל Scribe v3 Live Medical אינו נמכר בדרך הזו. הוא נמצא בתוך ElevenAgents, מתומחר לפי דקת שיחה, והשיחה כוללת את טוקני ה-LLM, את סינתזת הדיבור ואת הטלפוניה. החבילה הזו היא או הנחה או נעילה, בהתאם למה שהייתם מרכיבים אחרת, ואי אפשר להכריע בכך מדף תמחור.

דבר אחד שכן עובר הלאה: אם בסופו של דבר תפעיל את שניהם — Google לתמלול, ו-LLM לבחירתך לצורך ההסקה — הרגל השנייה היא המקום שבו יושבות החלטות הניתוב. OrcaRouter מספק 215 מודלים מאחורי API יחיד תואם OpenAI בתוספת מחיר של 0%, כאשר מחירי המחירון של הספקים מועברים ללא שינוי, כך שניתן להחליף את המודל שקורא את התמלול של Gemini או להעבירו למודל גיבוי בלי לגעת בקוד ה-ASR. איננו מספקים אף אחד משני מודלי התמלול בעמוד זה, ושום דבר מהאמור לעיל אינו המחיר שלנו.

A section of the OrcaRouter site headed 'Zero markup. Zero black boxes.', with the line 'You pay each provider their exact list price. We add $0 per token' and further text explaining that cached and repeated prompt tokens bill at the provider's own cache rate and that cached_tokens appears on every receipt.

איזה אחד לבחור

בחרו ב-Gemini 3.5 Transcribe Live אם אתם בונים את המוצר ולא קונים אחד. זהו היחיד מבין השניים שהוא מודל שניתן לפנות אליו עם מחיר מפורסם, שכבה חינמית להערכה, ונקודת קצה שתוכלו להציב מאחורי לולאת הסוכן שלכם. מגבלת הסשן של עשר דקות היא האילוץ שצריך לתכנן סביבו, והיעדר בנצ'מרק קליני הוא הפער שצריך לסגור עם האודיו שלכם ורשימת אוצר מילים מותאמת.

בחר ב-Scribe v3 Live Medical אם כבר החלטת שהסוכן הוא הבעיה של ElevenLabs — ואם עמדת הציות שלך מאפשרת מודל בגישה מוקדמת, מה שהתיעוד כרגע אומר שאינו מאפשר עבור PHI, עד לאישור הזכאות. הכוונון העדין הקליני ומודל התורות הם יתרונות אמיתיים בשיחת מטופל בזמן אמת, והפער של PriMock57 למודלים המתחרים בזמן אמת הוא הראיה החזקה ביותר שפורסמה לכך שהתאמה קלינית מועילה בכלל. זה פשוט אינו ראיה לגבי Gemini, ו-Gemini אינו ראיה לגביו.

המספר שכדאי לשים לב אליו אינו WER כזה או אחר. השאלה היא אם Scribe v3 Live Medical יקבל אי פעם מזהה מודל משל עצמו. ביום שזה יקרה, ההשוואה הזו תהפוך לרגילה — שתי נקודות קצה ניתנות לקריאה, שני מונים, בנצ'מרק אחד שאפשר להריץ — וה-12.8% יהפוך למשהו שקונה יכול למעשה לבדוק.

השוואות במאמר הזה1

זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית