המודל הרב-מודאלי לתצוגה מקדימה של גוגל לרובוטיקה, התומך בקלט טקסט, תמונה, וידאו ושמע עם עד 65,536 אסימוני פלט.
google/gemini-robotics-er-1.6-preview הוא מודל תצוגה מקדימה ממשפחת Gemini של Google, המותאם לרובוטיקה והסקה מוטמעת. זהו מודל רב-מודאלי שיכול לעבד טקסט, תמונות, וידאו וקלטי אודיו. ככל הנראה, 'er' בשמו…
המודל מתוכנן עבור חשיבה רב-ממדית הקשורה לרובוטיקה. הוא יכול לפרש תמונות ווידאו כדי לזהות עצמים, סביבות ופעולות אנושיות. הוא יכול לעבד פקודות קוליות ולחלץ מידע משפה מדוברת. בשילוב ממדים אלו, הוא יכול ליצור הוראות לתפעול רובוטי, ניווט או אינטראקציה. לדוגמה, בהינתן וידאו של מטבח ובקשה מדוברת 'תביא את התפוח מהשיש', המודל יכול להפיק רצף של פעולות. הקשר הפלט הגדול מאפשר לו לייצר תוכניות מפורטות או קוד עבור בקרי רובוט. שימו לב שביצועי המודל במשימות אלו עדיין לא בוחנים בפומבי עבור גרסת התצוגה המקדימה הזו.
אם היישום שלך אינו דורש קלטים מולטימודליים (למשל, אתה משתמש רק בטקסט), מודל קטן יותר שמתבסס רק על טקסט יהיה חסכוני יותר. המודל robotics-er מתומחר גבוה יחסית עבור אסימוני קלט ($1.00 למיליון) בהשוואה למודלים רבים לשימוש כללי. למענה פשוט על שאלות או יצירת טקסט ללא הקשר חזותי או שמע, שקול להשתמש במודל קל יותר הזמין דרך OrcaRouter, כגון Gemini 1.5 Flash או מודל קוד פתוח קטן יותר. כמו כן, אם הפלט המקסימלי של 65,536 אסימונים אינו הכרחי, מודל עם הקשר פלט קטן יותר עשוי להציע חביון ועלות נמוכים יותר. הערך האם היכולות המולטימודליות מצדיקות את המחיר עבור מקרה השימוש שלך.
מגבלת הפלט של 65,536 אסימונים שימושית במיוחד ליצירת תוכן ארוך כגון רצפי תנועה רובוטיים (למשל קוד פייתון המשתמש ב-ROS או בספריות שליטה), תיאורים מפורטים של סביבות לשחזור תלת-ממדי, או תוכניות משימה רב-שלביות הדורשות חשיבה מעמיקה. ניתן להשתמש בה גם ללמידה בהקשר, שבה המודל מקבל דוגמאות רבות בתוך פרומפט יחיד ומצופה להפיק פלט מקיף. עבור מחקר רובוטיקה, הדבר מאפשר יצירת תוכניות לטווח ארוך המכסות תרחישים אפשריים רבים. עם זאת, יש לשים לב שפלטים ארוכים יותר מגדילים עלות וזמן השהיה, ולכן כדאי לשקול האם תשובה קצרה יותר תספיק.
קלטי אודיו ווידאו מעובדים כחלק מהפרומפט הרב-מודאלי. כאשר אתה שולח וידאו, המודל ככל הנראה מתייחס אליו כרצף של פריימים או משתמש במקודד הבנת וידאו (שיטות מדויקות הן פנימיות של גוגל). ניתן לכלול אודיו כ-URL לקובץ אודיו. המודל יכול לתמלל או להבין פקודות דבורות וליצור תגובות טקסט בהתאם. איכות עיבוד האודיו והוידאו תלויה בדגימה ובפורמט הנתמכים על ידי Google Gemini API; יש לעיין בתיעוד הספק לגבי סוגי קבצים נתמכים ומשך זמן מקסימלי. OrcaRouter פשוט מעביר את הקלט בפורמט התואם ל-OpenAI.
כגרסת תצוגה מקדימה, גוגל לא פרסמה ציוני מדד ביצועים ספציפיים עבור המודל gemini-robotics-er-1.6-preview. מודלים כלליים של Gemini 1.6 הראו ביצועים חזקים במשימות מולטי-מודליות, אך גרסה ייעודית לרובוטיקה זו עשויה להיות בעלת חוזקות שונות. על המשתמשים להעריך את ביצועי המודל במשימות ספציפיות לתחום שלהם לפני הסתמכות עליו. OrcaRouter אינה מספקת מספרי מדד ביצועים מעבר למה שהספק מפרסם. לצורך אמינות בעולם האמיתי, בצעו בדיקות A/B עם הנתונים שלכם והשוו בין השהיה, דיוק ועלות מול מודלים אחרים.
השהייה עבור google/gemini-robotics-er-1.6-preview אינה מצוינת על-ידי הספק. באופן כללי, מודלים רב-מודאליים המעבדים וידאו ואודיו נוטים להשהיה גבוהה יותר מאשר מודלים מבוססי-טקסט בלבד בשל תקורת הקידוד. בנוסף, הקשר פלט גדול יכול להגדיל את זמן התגובה, במיוחד עבור הפקות ארוכות. השהייה בפועל תלויה בגודל הבקשה, במורכבותה ובעומס השרת הן על תשתית Google והן על פרוקסי OrcaRouter. לקבלת ביצועים מיטביים, צמצם למינימום נתוני קלט מיותרים והגדר max_tokens מתאים. ממשק ה-API של OrcaRouter מחזיר כותרות תזמון סטנדרטיות; ניטור שלהן ייתן לך נתונים אמפיריים עבור מקרה השימוש שלך.
החוזק העיקרי של המודל הוא התמיכה שלו במספר מודאליויות קלט (טקסט, תמונה, וידאו, אודיו) בשילוב עם הקשר פלט גדול במיוחד של עד 65,536 טוקנים. זה הופך אותו למתאים במיוחד למשימות רובוטיקה מורכבות הדורשות הבנה של מידע חזותי ושמיעתי כאחד, ויצירת תוכניות מפורטות ועשירות בפרטים. האופי המקדים מרמז שזהו בין מודלי Gemini הראשונים שעברו כיוונון עדין לחשיבה מגולמת. חוזק נוסף הוא הגישה הפשוטה דרך ממשק ה-API התואם ל-OpenAI של OrcaRouter, המורידה את חסם האינטגרציה עבור צוותים המכירים את הממשק של OpenAI.
כמודל תצוגה מקדימה, היציבות והביצועים שלו עשויים שלא להתאים למודלים מוכנים לייצור. היעדר אמות מידה מפורסמות אומר שהדיוק שלו במשימות רובוטיקה סטנדרטיות אינו ידוע. ייתכן שיש לו שיעורי כשל גבוהים יותר או התנהגויות בלתי צפויות בהשוואה למודלים מבוססים. המודל אינו מייצר תמונות או פלטי שמע, אלא רק טקסט. התמחור לכל אסימון פלט הוא יחסית גבוה ($5.00 למיליון) בהשוואה למודלים רבים. בנוסף, הקשר הפלט הגדול עשוי לעודד תגובות מלליות שאינן תמיד נחוצות. על המשתמשים לבצע אבות טיפוס נרחבים לפני שהם מתחייבים למודל זה עבור כל יישום רציני.
החיוב עבור google/gemini-robotics-er-1.6-preview ב-OrcaRouter הוא פשוט: $1.00 לכל מיליון טוקנים בקלט ו-$5.00 לכל מיליון טוקנים בפלט. גם טוקני הקלט וגם טוקני הפלט נספרים לפי שיטת הטוקניזציה של Google, שעשויה להיות שונה מדגמים אחרים. OrcaRouter גובה את התעריף המדויק של הספק ללא תוספת מחיר. אין עמלות נוספות עבור שירות ה-API proxy. העלות מבוססת על מספר הטוקנים הכולל שעובד בבקשה ובתגובה, כולל טוקני קלט מולטימודליים (לדוגמה, חלקי תמונה עשויים להיספר כטוקנים). תמיד בדקו את השימוש שמוחזר בתגובת ה-API כדי לעקוב אחר העלויות.
עלות אסימוני הפלט ($5.00 למיליון) גבוהה משמעותית מעלות הקלט ($1.00 למיליון). משמעות הדבר היא שגרימת המודל לייצר תגובות ארוכות מגדילה את העלות הרבה יותר מאשר מתן קלט ארוך יותר. במקרי שימוש שבהם ניתן לשמור על אורך פלט קצר (למשל, פקודה בת משפט אחד), העלות עשויה להיות מקובלת. עם זאת, אם אתה מנצל את מלוא הקונטקסט של 65,536 אסימוני פלט, בקשה בודדת עשויה לעלות עד $0.33 רק עבור הפלט (65k אסימונים במחיר של $5/מיליון). השווה זאת למודלים עם תמחור פלט נמוך יותר או חלונות קונטקסט קטנים יותר. כמו כן, קלטים מולטימודליים יכולים להיות יקרים אם הם דורשים אסימונים רבים (למשל, תמונות ברזולוציה גבוהה או סרטונים ארוכים). שקול דחיסת אסימונים או שימוש ברזולוציה נמוכה יותר כאשר אפשרי.
OrcaRouter מיישם כרגע את תעריף הספק ללא כל תוספת מחיר. אין מנגנון שמירה במטמון מובנה שמפחית עלות עבור קידומות הנחיה חוזרות, כיוון שהוא פרוקסי מעביר. עם זאת, ניתן ליישם שמירה במטמון ברמת האפליקציה: אם אתה עושה שימוש חוזר בהקשרי קלט זהים (למשל, הנחיות מערכת סטטיות או תמונות ייחוס), שמור את תגובת המודל והשתמש בה שוב, ובכך תימנע מקריאות API חוזרות. ייתכן שהנחות או תמחור נפח זמינים דרך תוכניות הארגוניות של OrcaRouter; צור קשר עם צוות OrcaRouter לפרטים. תמחור סטנדרטי חל על כל השימוש אלא אם קיים הסכם מיוחד.
השתמש בנקודת הקצה הסטנדרטית של OpenAI chat completions. הגדר את הפרמטר 'model' ל-'google/gemini-robotics-er-1.6-preview'. כתובת ה-URL הבסיסית היא https://api.orcarouter.ai/v1. כלול את מפתח ה-API של OrcaRouter שלך בכותרת Authorization. עבור הודעות טקסט בלבד, גוף הבקשה זהה לבקשת OpenAI ChatCompletion: { "model": "google/gemini-robotics-er-1.6-preview", "messages": [{"role": "user", "content": "Your message"}], "max_tokens": 2000 }. עבור קלטים מולטי-מודליים, בנה את התוכן כמערך עם שדות type ו-data לפי סכמה של הספק. OrcaRouter מתרגם את הבקשה לפורמט של Google באופן פנימי.
ה-API תומך באותם פרמטרים כמו נקודת הקצה /v1/chat/completions של OpenAI: model, messages, max_tokens (עד 65536), temperature (0 עד 2, ברירת מחדל 1), top_p (0 עד 1, ברירת מחדל 1), frequency_penalty, presence_penalty, stop sequences, stream (בוליאני), logprobs ו-user. ייתכן שלא כל הפרמטרים יהיו אפקטיביים בצד השרת של Google; לדוגמה, frequency_penalty ו-presence_penalty עשויים להיות בעלי השפעה מוגבלת. לסטרימינג, הגדר 'stream: true' כדי לקבל תגובות טוקן אחר טוקן. פורמט התגובה משקף את זה של OpenAI, כולל choices, usage (prompt_tokens, completion_tokens, total_tokens) ו-id. בדוק בתיעוד של OrcaRouter לגבי כל החרגות פרמטרים ספציפיות למודל.
מכיוון ש-OrcaRouter מספק API תואם OpenAI, ההעברה היא בדרך כלל עניין של שינוי כתובת ה-URL הבסיסית ומפתח ה-API. החלף את 'https://api.openai.com/v1' ב-'https://api.orcarouter.ai/v1' וקבע את המודל ל-'google/gemini-robotics-er-1.6-preview'. אם האפליקציה שלך משתמשת בלקוח ה-Python של OpenAI, עדכן את base_url ו-api_key. עבור קלטים מולטי-מודליים, שים לב שפורמט ה-OpenAI לתמונות משתמש ב-'image_url', אך פורמט של Google עשוי לדרוש שמות שדות שונים (כמו 'video_url'). ה-API של OrcaRouter מקבל קבוצת-על של הסכימה המולטי-מודלית של OpenAI; עיין בתיעוד שלהם למבנה המדויק. בצע בדיקה עם בקשה פשוטה לפני העברת לוגיקה מורכבת.
Gemini 1.5 Pro הוא מודל מולטי-מודאלי לשימוש כללי עם איזון חזק בין ביצועים לעלות. מודל ה-robotics-er preview model מתמחה ברובוטיקה והסקה מגולמת, כפי שמרמז שמו. בעוד ש-Gemini 1.5 Pro תומך בדרך כלל בעד 8,192 טוקני פלט, מודל זה מציע עד 65,536 טוקני פלט. התמחור שונה: Gemini 1.5 Pro עולה כ-1.25 דולר למיליון טוקני קלט ו-5.00 דולר למיליון טוקני פלט (בערך), כך שמודל זה זול מעט יותר בקלט אבל זהה בפלט. עם זאת, ייתכן שלמודל התצוגה המקדימה יש פחות ידע כללי ויותר התמקדות בהבנת העולם הפיזי. השוואות בנצ'מרק אינן זמינות; על המשתמשים לבדוק על המשימות שלהם.
GPT-4o הוא מודל רב-מודאלי של OpenAI התומך בטקסט, תמונות ואודיו (לא וידאו) עם מגבלת פלט של 16,384 טוקנים. למודל הרובוטיקה יש הקשר פלט גדול בהרבה (65,536) והוא תומך במפורש בקלט וידאו, דבר ש-GPT-4o אינו תומך בו באופן טבעי. הבדלי תמחור: GPT-4o גובה $2.50 למיליון טוקני קלט ו-$10.00 למיליון טוקני פלט עבור שימוש רגיל, מה שהופך את מודל הרובוטיקה לזול יותר לטוקן. עם זאת, GPT-4o הוא מודל ייצור בוגר עם אמות מידה נרחבות, בעוד שמודל זה הוא תצוגה מקדימה. עבור משימות ספציפיות לרובוטיקה, ייתכן שמודל Google מתוכנן לביצועים טובים יותר, אך ללא אמות מידה ציבוריות, הדבר ספקולטיבי.
מודלי Llama 3 הם מודלים טקסטואליים בלבד (או בקרוב מולטי-מודליים), אך זמינים לאירוח עצמי, דבר שיכול להיות זול יותר בקנה מידה. המודל הרובוטי ("robotics-er") מציע תמיכה מולטי-מודלית טבעית (כולל וידאו ואודיו) ללא צורך בתוספות, דבר שאלטרנטיבות קוד-פתוח עשויות שלא לספק ללא רכיבים נוספים. תמחור לפי טוקן של מודל התצוגה המקדימה עלול להיות יקר לשימוש בהיקף גבוה, בעוד שמודל קוד-פתוח המופעל על חומרה עצמאית מציע עלויות תשתית צפויות. עם זאת, המודל של גוגל נהנה מתשתית בענן ומעדכונים שוטפים. לצורך אב-טיפוס, קלות השימוש של מודל התצוגה המקדימה (באמצעות API) עשויה לגבור על העלות. הערך את עלות הבעלות הכוללת שלך, כולל זמן פיתוח.
תואם OpenAI — המשיכו להשתמש ב-SDK שכבר יש לכם
https://api.orcarouter.ai/v1https://api.orcarouter.aiimport os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="google/gemini-robotics-er-1.6-preview",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)max_tokensresponse_formatseedstopstructured_outputstemperaturetool_choicetoolstop_pinclude_reasoningreasoning| קלט / 1M טוקנים | $1.00 |
| פלט / 1M tokens | $5.00 |
| מטבע | USD |
הערכה מבוססת מחיר מחירון
הערכה בלבד — ספירת הטוקנים בפועל תלויה בטוקנייזר של הספק.
על מה מפתחים מדברים השבוע
GET /api/public/models/google/gemini-robotics-er-1.6-previewפתיחה @misc{orcarouter_gemini_robotics_er_1_6_preview,
title = {google/gemini-robotics-er-1.6-preview API},
author = {google},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/google/gemini-robotics-er-1.6-preview}
}google. (n.d.). google/gemini-robotics-er-1.6-preview API. OrcaRouter. https://www.orcarouter.ai/models/google/gemini-robotics-er-1.6-preview