נקודת קצה אחת לרמה החינמית — מנותבת לפי רמת קושי בין המודלים החינמיים של סביבת העבודה שלך.
נקודת קצה אחת לדרג החינמי. במקום לבחור בעצמכם כינוי -free מסוים, קראו ל-orcarouter/free והיא תנתב כל בקשה לפי רמת קושי בין המודלים החינמיים של סביבת העבודה שלכם — בלי לגעת אף פעם בארנק שלכם, כשהשימוש החינמי מוגבל לפי קצב הבקשות ולא לפי מספר קבוע של קריאות.
כל בקשה מדורגת לפי אורך הפרומפט, צפיפות קוד, כלים ורמזי היגיון — אותו אות שהראוטר האדפטיבי שלנו משתמש בו.
פרומפטים שגרתיים הולכים לדרג החינמי הקל; קשים לדרג החינמי החזק יותר — מתוך המודלים החינמיים של סביבת העבודה שלכם.
השימוש במודל אינו עולה דבר — שתי השכבות מתומחרות ב-$0, ולכן אין הבדל מי מהן משרתת את הבקשה.
מה שמגביל את השימוש החינמי הוא קצב הבקשות, לא היתרה — השימוש במודל עצמו אינו עולה דבר, והמכסה אינה נגמרת.
לכל סביבת עבודה יש מכסת קצב בקשות. היא גדלה יחד עם הסכום ששילמת לאורך חיי החשבון, כך שטעינת יתרה מעלה גם את המגבלות החינמיות.
לכל מודל חינמי יכולה להיות מגבלה משלו, מחמירה יותר, כך שמודל עמוס נחנק בלי לפגוע בשאר.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="orcarouter/free",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)