Jeden endpoint dla darmowego poziomu — kierowany według trudności między darmowymi modelami twojego obszaru roboczego.
Jeden endpoint dla darmowego poziomu. Zamiast samodzielnie wybierać konkretny alias -free, wywołaj orcarouter/free — skieruje każde żądanie według trudności do darmowych modeli w Twoim obszarze roboczym, nigdy nie naruszając Twojego salda, a darmowe użycie jest ograniczane szybkością żądań, a nie stałą liczbą wywołań.
Każde żądanie jest oceniane na podstawie długości promptu, gęstości kodu, narzędzi i wskazówek rozumowania — tego samego sygnału, którego używa nasz adaptacyjny router.
Zwykłe prompty trafiają na lekki darmowy poziom, a trudne na mocniejszy darmowy poziom — wybierane spośród darmowych modeli w Twoim obszarze roboczym.
Zużycie modelu nic nie kosztuje — oba poziomy kosztują 0 $, więc nie ma znaczenia, który obsłuży zapytanie.
Dostęp darmowy ogranicza częstotliwość zapytań, a nie saldo — samo zużycie modelu nic nie kosztuje, a przydział nigdy się nie kończy.
Każda przestrzeń robocza ma przydział częstotliwości zapytań. Rośnie on wraz z sumą wpłat w całej historii konta, więc doładowanie podnosi też limity darmowe.
Poszczególne darmowe modele mogą mieć własny, ostrzejszy limit, więc mocno obciążony model jest dławiony bez wpływu na pozostałe.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
response = client.chat.completions.create(
model="orcarouter/free",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)