Demo routera na żywo
Wypróbuj router
Wklej prompt. Pokażemy, do którego modelu byśmy go wysłali i dlaczego — wraz z kosztem, oceną jakości i medianą opóźnienia w naszej sieci.
Twój prompt208/8000
Router wybrał
Kliknij Rozwiąż, aby zobaczyć decyzję trasowania.
Szczegóły trasowania
Co jeszcze rozważyliśmy
Każdy kandydat, którego router ocenił przed podjęciem decyzji. Wybrany wiersz jest wyróżniony.
Rozwiąż prompt, aby zobaczyć szczegóły kandydatów.
Gotowe do użycia
Użyj go w swoim kodzie
Ta sama API kompatybilna z OpenAI. Wymień base URL i przekaż orcarouter/auto.
from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key=os.environ["ORCAROUTER_API_KEY"],
)
resp = client.chat.completions.create(
model="orcarouter/auto",
messages=[{"role": "user", "content": "Summarize this in 3 bullet points: large language model APIs vary in cost and latency, and routing requests to the cheapest acceptable model can save 80%+ on inference spend without changing application code."}],
)
print(resp.choices[0].message.content)Odbierz 5 $ darmowego kredytu
Zarejestruj się, aby uzyskać klucz API i routować prawdziwy ruch. Bez karty.
