כרטיס כותרת דו-טורי שנוצר עבור Ultramarine 1 Flash לעומת Claude Haiku 4.5, עם כותרת משנה 'שני מספרי עלות-למשימה שלא מודדים את אותו הדבר'. העמודה של Ultramarine 1 Flash מציגה עלות למשימה $0.13, קלט $0.15 ל-1M, פלט $0.50 ל-1M, משקולות 'בקרוב' וציון עצמאי 'אין'. העמודה של Claude Haiku 4.5 מציגה עלות למשימה $0.28, קלט $1.00 ל-1M, פלט $5.00 ל-1M, משקולות 'סגור' וציון עצמאי Index 17. סרט: 'אחד מאלה נמדד על ידי מישהו אחר'.
Guides & Insights

Ultramarine 1 Flash לעומת Claude Haiku 4.5: שני מספרי עלות-למשימה שאינם מודדים את אותו הדבר

מחבר

Alistair Wren

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

שני המודלים בהשוואה הזו מפרסמים שניהם עלות לכל משימה, והפיתוי הוא להעמיד את המספרים זה לצד זה ולחסר. Paper Instruments אומרת Ultramarine 1 Flash מסיים עבודה תמורת $0.13. Artificial Analysis מודדת Claude Haiku 4.5, בתצורת החשיבה שלה, ב-$0.28 לכל משימת Intelligence Index שהושלמה. האחד פחות ממחצית האחר, ואם זה היה כל התמונה ההחלטה הייתה נמשכת עשר שניות. זה לא כל התמונה, כי שני הנתונים האלה מגיעים מחבילות שונות שמבקשות מהמודל לעשות דברים שונים, וההבנה איזו חבילה דומה לעבודה שלך היא כל ההשוואה. התעריפים עצמם רחוקים זה מזה אף יותר: $0.15 למיליון קלט ו-$0.50 פלט עבור המודל של Paper Instruments לעומת $1.00 ו-$5.00 עבור זה של Anthropic — פער של פי 6.7 בקלט ופי 10 בפלט.

יש א-סימטריה שנייה. ל-Claude Haiku 4.5 יש ציון מפורסם ממעבדה שאינה היצרנית שלו. ל-Ultramarine 1 Flash יש ציון מפורסם מהחברה שאימנה אותו, על סוויטה שאותה החברה בנתה. שתי העובדות חשובות כאן יותר מכל מספר בנצ'מרק בודד, ואף אחת מהן לא מופיעה בהשוואה זה לצד זה.

שני כרטיסי התעריפים, והשורה שאינה זהה בשניהם

הנתונים של Ultramarine הם תמחור ה-API המפורסם של Paper Instruments וההערכות המפורסמות שלה עצמה. התמחור של Claude Haiku 4.5 הוא המחירון של Anthropic; נתוני ההערכה שלו הם מדידות של Artificial Analysis, המסומנים ככאלה.

• קלט — Ultramarine 1 Flash $0.15 למיליון טוקנים לעומת Claude Haiku 4.5 $1.00. המודל של Anthropic עולה פי 6.7 יותר בכניסה.

• קלט במטמון — $0.03 לעומת $0.10 למיליון, הנחה של 90% בצד של Anthropic לעומת הנחה של 80% בצד של Paper Instruments. הפער המוחלט נשאר רחב, והיחסי מצטמצם.

• פלט — $0.50 לעומת $5.00 למיליון. פי 10, וזה הפריט שבו ההבדל באמת מורגש, כי עבודה עם מסמכים מייצרת כמות עצומה של פלט.

• הקשר — 131,072 טוקנים בתצורת האימון שהדוח הטכני מפרט לעומת 200,000 במחירון של Haiku. ל-Anthropic יש בערך פי 1.5 יותר.

• פלט מקסימלי — לא פורסם על ידי Paper Instruments לעומת 64,000 טוקנים עבור Claude Haiku 4.5. תא ריק אחד ברשימה.

• קלטים — Claude Haiku 4.5 מקבל טקסט, תמונות והעלאות קבצים. Ultramarine 1 Flash בנוי סביב עבודה עם טקסט ומסמכים; הבסיס שלו, GLM-5.3 Flash, הוא מולטימודלי באופן מובנה, אך Paper Instruments אינה מפרסמת רשימת מודאליות עבור הנגזרת.

• עלות מדודה לכל משימה שהושלמה — $0.13 ב-PI Knowledge Work עבור Ultramarine 1 Flash לעומת $0.28 ב-Intelligence Index עבור Claude Haiku 4.5 (reasoning). המספרים שאנשים יצטטו זה בפני זה. הסעיף הבא הוא הסיבה לכך שהם אינם אותה יחידת מידה.

A generated scoreboard titled 'Ultramarine 1 Flash vs Claude Haiku 4.5 - the scoreboard', with six shared rows. Ultramarine 1 Flash: input price $0.15 per 1M, output price $0.50 per 1M, context 131,072, cost per task $0.13, inputs 'text and documents', independent score 'none'. Claude Haiku 4.5: input price $1.00 per 1M, output price $5.00 per 1M, context 200,000, cost per task $0.28, inputs 'text, image, file', independent score Index 17. Footnoted that Ultramarine figures are vendor-reported and Claude Haiku 4.5 figures are per Artificial Analysis.

מה כל ציון בעצם מכסה

הנתונים המפורסמים של Claude Haiku 4.5 מגיעים בשתי תצורות, וכדאי להפריד ביניהן, מכיוון שתוצאת חיפוש תציג לך בדרך כלל את הלא נכונה. Artificial Analysis מפרטת את תצורת אי-ההסקה במדד Intelligence Index של 15 עם 87.3 אסימוני פלט לשנייה. תצורת ההסקה — זו שאליה מצורף נתון עלות-למשימה, וזו שהכתבה הזו משתמשת בה לאורך כולה — נמדדת במדד Intelligence Index של 17, 90.0 אסימוני פלט לשנייה, $1.00 לקלט ו-$5.00 לפלט למיליון, הנחת מטמון של 90%, $0.28 לכל משימת Index שהושלמה ו-78 מיליון אסימוני פלט של מילוליות. חלון ההקשר שלה הוא 200,000 אסימונים עם חתך ידע של יולי 2025, והיא מקבלת טקסט ותמונה.

מדד האינטליגנציה מורכב מהערכות במתמטיקה, קידוד, חשיבה ויכולות סוכניות. אף אחד מהמבחנים המרכיבים אותו לא מבקש ממודל לייצר מצגת לדירקטוריון, מזכר בדיקת נאותות או מודל אקסל עם תחזית חיה בתוכו, כי לתוצרים האלה אין תשובה נכונה אחת, ובנצ'מרק שדירג אותם היה זקוק למחוון לכל משימה.

וזה בדיוק מה ש-Paper Instruments בנתה, ובדיוק מדוע ההשוואה לא יכולה להיות חיסור. PI Knowledge Work היא חבילה של תוצרי מסירה מוכנים ללקוח בתחומי הפיננסים, המשפטים, הייעוץ והתפעול, הנמדדים משימה אחר משימה כנגד מחוונים שנכתבו, בידי מודל לדירוג מחוונים. Ultramarine 1 Flash משיג שם 59.3 בעלות של 0.13 דולר למשימה. ציון של 59.3 במחוון לתוצרי מסירה של מסמכים וציון של 17 במדד למתמטיקה ולתכנות אינם כמויות ברות השוואה. גם נתון העלות אינו בר-השוואה, מפני שמשימה בחבילה אחת יכולה להיות ארוכה פי סדר גודל ממשימה בחבילה האחרת.

מה שהשילוב הזה כן תומך בו הוא צר יותר, ועדיין שימושי. Claude Haiku 4.5 נמדד בידי מישהו שאין לו אינטרס בכך, במבחנים שאיש ב-A​nthropic לא עיצב. Ultramarine 1 Flash לא. אין זו ביקורת על המספרים של Paper Instruments — החברה חושפת את השיטה שלה בפירוט יוצא דופן — אלא הבדל בסוג הראיות המוצעות, ורוכש שיציג את הבחירה בפני ועדת סיכונים ייתקל בכך מיד.

A screenshot of the Artificial Analysis model page for Claude 4.5 Haiku (Reasoning), showing Intelligence Index 17, 90.0 output tokens per second, $1.00 input and $5.00 output per 1M tokens with a 90% cache discount, a measured $0.28 per completed Intelligence Index task, 78M output tokens of verbosity, a 200k context window and a July 2025 knowledge cutoff, with a banner noting the release of Claude Haiku 5.5.

היכן ש-Claude Haiku 4.5 מנצח ללא עוררין

שלושה מקומות, ואף אחד מהם לא עוסק בלהיות חכם יותר.

קלט מולטימודלי הוא הברור ביותר. חוזה סרוק, צילום מסך של גיליון אלקטרוני שבור, תצלום של לוח מחיק — כל אלה נכנסים אל Claude Haiku 4.5 דרך ממשק שתמך בכך, ללא שינוי, במשך שנה. Ultramarine 1 Flash נשען על מודל בסיס שקורא תמונות וווידאו, אבל הספק אינו מפרסם רשימת מודאליות עבור הנגזרת שלו, ואף דוגמה בדוח הטכני אינה נשענת על תמונה שהמודל צריך להביט בה. אם המסמכים שלך מגיעים סרוקים, זה לבדו מכריע את השאלה.

הבגרות התפעולית היא השנייה. מודל שיש מאחוריו שנה של תעבורת ייצור — אופני הכשל שלו כבר נמצאו ותועדו בידי אנשים שלא שולמו כדי למצוא אותם. מודל שפורסם ב-14 באוקטובר 2026 לא זכה לכך, והשבוע הראשון של כל נקודת קצה חדשה הוא הזמן שבו לומדים מה הוא עושה תחת עומס.

אימות בלתי תלוי הוא השלישי, והוא זה שמצטבר. כל חודש נוסף בחייו של Haiku 4.5 הוא עוד חודש שבו מישהו הריץ אותו על העבודה שלו ורשם מה קרה.

כאשר הפער נסגר לכמעט כלום — ולמה האריתמטיקה מטעה

הכותרת של פי 10 בפלט היא אמיתית, ובמשימת מסמך ארוך היא מניבה בדיוק את החשבון שהייתם חוזים. מה שהכותרת מסתירה הוא שהכלכלה לפי משימה של שני המודלים יכולה להתכנס, כי משימה ב-PI Knowledge Work אינה אותה כמות עבודה כמו משימה ב-Intelligence Index — וכי המודל של Anthropic הוא מודל שמסתמך רבות על מטמון בפועל.

יש מספר מנוגד לאינטואיציה בצד של Paper Instruments ששווה לקרוא אותו כראוי. לאורך ששת המדדים שלה, Ultramarine 1 Flash מייצר 6.5% פחות טוקני פלט מאשר מודל GLM-5.3 Flash שממנו הוא עבר אימון-המשך — 30.5 מיליון לעומת 32.7 מיליון, כולל חשיבה — בעוד שהוא משיג ציונים טובים יותר בכל השישה. יעילות טוקנים שמשתפרת אינה המגמה הרגילה של ריצת אימון-המשך, ובמחירון לפי מיליון טוקנים זהו הנחה שנייה שנערמת על גבי הראשונה. זוהי ההשוואה היחידה בעמוד Paper Instruments שבה שני הצדדים נמדדים באותה שיטה על אותה חבילת מבחנים, מה שהופך אותו למספר המהימן ביותר בשחרור.

לעומת זאת, Claude Haiku 4.5 הוא המודל הזול יותר בהשוואה אחת שאיש לא מפרסם: במחיר של $0.28 למשימת Index שהושלמה, הוא מתומחר עבור חבילה שמשימותיה קצרות יותר ופחות אג'נטיות מתזכיר בדיקת נאותות. הציבו תוצר משפטי או פיננסי אמיתי לפני כל אחד מהם, והנתון של $0.13 מעולם לא מדד את אותה יחידת עבודה כמו הנתון של $0.28.

שני המודלים נמצאים על מפתח אחד דרך OrcaRouter אם ברצונך להכריע את זה אמפירית ולא על ידי קריאה. Claude Haiku 4.5 מוצע בתעריף של $1.00 ו-$5.00 למיליון טוקנים עם בלי שום תוספת לכל טוקן — מחיר המחירון של הספק עובר ישירות, כך ששינוי בתעריף של ספק נכנס לתוקף אצלנו באותו יום, וזו תכונה לא טריוויאלית במיוחד עבור מודל שמחירו כבר השתנה בעבר. הרצת אותם עשרים מסמכים דרך שניהם וקריאת החשבוניות עולה פחות מהישיבה על איזו מהן לבחור, והיא מניבה מספר במקום ויכוח.

A screenshot of OrcaRouter's own model page for anthropic/claude-haiku-4.5, headed 'Claude Haiku 4.5', showing the model identifier, a 200K-token context, up to 64k output tokens, text + image + file input, and the served rate of $1.00 input and $5.00 output per 1M tokens.

ההחלטה, מנוסחת כמזלג

אם הקלט הוא מסמך שמישהו סרק או צילום מסך, התשובה היא Claude Haiku 4.5 ואין עוד מה לדון בכך.

אם הקלט הוא טקסט והפלט הוא תוצר מוגמר — מודל, מצגת, תזכיר — והנפח גבוה מספיק כך ש-$0.15 לעומת $1.00 בקלט משנה את צורת הפרויקט, Ultramarine 1 Flash שווה פיילוט על העבודה שלך. הוא בן יום. ה-$0.13 מדווח על ידי הספק על סוויטה שנבנתה על ידי הספק, ועדיין אין הערכה בלתי תלויה. אבל המחירון הוא אמיתי, השוואת יעילות הטוקנים נמדדת בדרך היחידה שאפשר למדוד אותה ביושר, והשיפורים לעומת מודל הבסיס של עצמו בארבעת הבנצ'מרקים שבהם הוא מוביל הם עקביים ולא נבחרו באופן סלקטיבי.

אם עומס העבודה שלך כולל את שניהם, המהלך המועיל אינו לבחור. כלל ניתוב יכול להחזיק את נתיב המסמכים הסרוקים על מודל ה-Anthropic ולשלוח את הנתיב מטקסט לתוצר למי משני אלה שעומד ברף האיכות שלך על מדגם — ואם החדש יותר קורס, הבקשה עוברת לישן יותר בלי שינוי בקוד ובלי חוזה נוסף לחתום עליו.

מה שיפתור את השאלה הפתוחה הוא הערכה בלתי תלויה אחת של Ultramarine 1 Flash על סוללת מבחנים שהיצרן שלה לא כתב. עד שזה יהיה קיים, העמדה הכנה היא ש-Claude Haiku 4.5 הוא המודל שאת התנהגותו אפשר לחזות, ו-Ultramarine 1 Flash הוא המודל שהייתם רוצים להיות מסוגלים להרשות לעצמכם את מחירו. שום דבר שפורסם היום לא אומר שאי אפשר. שום דבר שפורסם היום, מלבד הדף של הספק עצמו, לא אומר שאפשר.

גם בהשוואות כמו זו מתגלים מצבי הכשל: התקריות המתועדות ב-AI וכשלי סוכנים מאחורי מודלים בקטגוריה הזו נאספים ב-OrcaRouter AI Incident Archive, שם כל רשומה נושאת את מקורותיה, החומרה, דרגת הוודאות ודגל המחלוקת שלה.