Czym jest router LLM? Warstwa wyboru modelu, prawdziwa matematyka i kiedy z niego zrezygnować

Router LLM to warstwa oprogramowania, która znajduje się między Twoją aplikacją a dostawcami modeli i dla każdego żądania decyduje, który model powinien na nie odpowiedzieć — tani, szybki model, taki jak DeepSeek V4 Flash gdy zadanie jest łatwe, model z czołówki, taki jak Claude Opus 5 gdy jest naprawdę trudne. Rzecz w pieniądzach: DeepSeek V4 Flash kosztuje $0.09 za milion tokenów wejściowych, a Claude Opus 5 kosztuje $5.00, stawki bezpośrednio od dostawców z katalogu modeli OrcaRouter odczytane 2026-08-10 — 55-krotna różnica na tym samym wywołaniu. Skieruj łatwe 80% swojego ruchu w dół, a trudne 20% pozostaw w górze, a pociągniesz za największą dźwignię kosztów, której większość zespołów nigdy nie dotyka.

Czym tak naprawdę jest router LLM

Gdy odrzucimy marketing, router modeli ma trzy zadania — wszystkie nudne i wszystkie wartościowe. Jest pojedynczym punktem końcowym: twój kod wywołuje jeden adres URL zgodny z OpenAI zamiast jednego SDK na dostawcę. Ocenia żądanie, szacując jego trudność, i kieruje je: łatwe zadania do taniego modelu, naprawdę trudne rozumowanie do modelu granicznego. Zapewnia też przełączanie awaryjne: jeśli wybrany dostawca ograniczy liczbę żądań albo zwróci błąd 5xx, router ponawia próbę na sprawnym modelu, a twoja aplikacja nigdy nie zobaczy tego błędu.

Krok decyzyjny to miejsce, w którym routery się różnią, a spektrum jest dobrze znane. Routery oparte na regułach dopasowują słowa kluczowe lub długość promptu do modelu — w mniej niż milisekundę, przewidywalnie, ale krucho, gdy zmieniają się ceny lub modele. Routery semantyczne osadzają prompt i kierują na podstawie znaczenia, więc „what's my balance?" i „how much money do I have" trafiają na tę samą ścieżkę. Routery uczące się obserwują rzeczywisty ruch i przechylają się w stronę modelu, który wygrywa pod względem jakości za dolara. Mechanika każdego z nich — w tym pasma dokładności różnych typów klasyfikatorów oraz tryb automatyczny oceniający każdy prompt — jest w pełni omówiona w naszym przewodniku Auto Router for LLMs; tutaj chodzi o to, że inteligencja routingu istnieje na spektrum, a wybór punktu, którego potrzebujesz, to decyzja produktowa, a nie lista funkcji.

Jeśli widziałeś również „AI router" używane w odniesieniu do sprzętu Wi-Fi z NPU — to jest inny produkt, który przypadkiem dzieli nazwę, i rozwikłujemy tę kolizję w naszym przewodniku po routerach AI. Wszystko w tym artykule dotyczy kategorii oprogramowania.

To rozpiętość cen sprawia, że to się opłaca.

Router ma sens tylko wtedy, gdy modele znacznie różnią się ceną, a teraz różnią się ogromnie. Wszystkie poniższe stawki to ceny bezpośrednio od dostawcy za 1M tokenów z katalogu modeli OrcaRouter, odczytane 2026-08-10:

Spójrz na spread, a argument sam się napisze. DeepSeek V4 Flash za $0.09 wobec Claude Opus 5 za $5.00 to różnica około 55× na samych tokenach wejściowych, a przepaść między tanią a czołową warstwą jest teraz trwałą cechą rynku, a nie jednorazowym rabatem. Jeśli Twój ruch to typowa mieszanka — większość krótkich, dobrze określonych zapytań i mniejszość naprawdę trudnych zadań wymagających rozumowania — uruchamianie wszystkiego na czołowej warstwie oznacza płacenie najwyższej ceny za łatwe 80%.

Tutaj właśnie obecne wyniki na pierwszej stronie dla „llm router” zawodzą. Na przykład hasło w glosariuszu Decagona cytuje „GPT-4o, Claude 3.5 Sonnet i Gemini 1.5 Pro” w cenie „$5–15 za milion tokenów wejściowych” — modele, które były aktualne dwa lata temu i kosztowały mniej więcej dwukrotnie więcej niż obecnie. Rynek się zmienił; definicja nie. To jest najważniejszy powód, aby nie ufać wyjaśnieniu o routerze LLM bez dat.

Co tak naprawdę mówią badania na temat oszczędności

Powyższa arytmetyka jest prawdziwa, podobnie jak badania — ale uczciwy obraz to zakres, a nie pojedyncza liczba.

Oto obliczenia, z podanymi założeniami, abyś mógł je dostosować. Bot obsługujący 100 000 rozmów miesięcznie, z których każda wysyła 1 000 tokenów wejściowych i generuje 200 tokenów wyjściowych: uruchomienie wszystkiego na Claude Sonnet 5 kosztuje około 400 dolarów miesięcznie. Jeśli skierujesz łatwe 80% do DeepSeek V4 Flash, a trudne 20% zostawisz na Claude Sonnet 5, ten sam ruch będzie kosztował około 90 dolarów — czyli o około 78% mniej, przed uwzględnieniem buforowania promptów, które jeszcze bardziej zwiększyłoby różnicę.

Najważniejszy wniosek: agresywne routowanie oszczędza 60–85%, gdy Twój ruch jest w większości łatwy, zbalansowane routowanie oszczędza 35–45%, a nawet konserwatywne routowanie oszczędza 10–15%. Dokładna wartość dla Ciebie jest właściwością Twojego ruchu, mierzoną na Twoich własnych promptach — a nie stałą, którą można skopiować z wpisu na blogu.

Trzy koszty, które ukrywa routing

Dwa koszty, których nikt nie uwzględnia w haśle słownikowym, to opóźnienie i dokładność, a jest jeszcze trzeci, bardziej subtelny.

Opóźnienie. Każde kierowane żądanie płaci podatek klasyfikacyjny, zanim model w ogóle zacznie działać. Klasyfikator oparty na regułach działa poniżej milisekundy; mały model osadzania lub klasyfikator dodaje około 50–200 ms; a wytrenowany klasyfikator domenowy jeszcze więcej. Dobry router ukrywa większość tego, klasyfikując w trakcie przygotowywania żądania nadrzędnego, a jeden produkcyjny punkt końcowy routingu zmierzył narzut end-to-end o medianie około 55 ms — poniżej 1% normalnego czasu odpowiedzi. Ale jeśli Twój ruch jest czasu rzeczywistego — agent głosowy, interfejs, który musi odpowiedzieć w ciągu 300 ms — skok routingu rzędu setek milisekund może decydować o tym, czy rozwiązanie jest użyteczne, czy nie. To pojedyncze ograniczenie to najczęstszy powód, dla którego zespół z uzasadnionym przypadkiem użycia routingu decyduje się nie routować.

Dokładność. Router jest tak dobry, jak trafność osądu, na którym się opiera. Klasyfikator wytrenowany na ogólnych benchmarkach może z pewnością siebie mylić się w Twojej domenie: Twoje „łatwe” zadanie streszczania może być łatwe dla modeli z najwyższej półki, a niemożliwe dla taniego modelu. Tryb awarii jest cichy — użytkownik po prostu otrzymuje gorsze wyniki i nikt tego nie loguje — dlatego każdy wiarygodny router oferuje minimalny próg jakości lub tryb zrównoważony.

Unieważnianie cache. Zarówno OpenAI, jak i Anthropic oferują zniżki na powtarzające się prefiksy promptów, zazwyczaj około 90% na tokeny wejściowe przy odczytach z cache. Jeśli Twoja warstwa routingu przepisuje, zmienia kolejność lub wstrzykuje do promptu rotujący znacznik czasu, unieważnia prefiks i odrzuca tę zniżkę. Dobry router przekazuje prompt bajt po bajcie i pozwala działać własnemu cache’owi dostawcy.

Zalecenie: router zarządzany z minimalnym progiem jakości.

Jeśli w produkcji używasz więcej niż jednego modelu, Twój ruch to mieszanka łatwych i trudnych zapytań, a wolumen jest na tyle duży, że procent to realne pieniądze, rekomendacją jest zarządzany router, który utrzymuje minimalny poziom jakości i nie pobiera marży od tokenów. Naszym własnym produktem jest OrcaRouter i to o nim możemy opowiedzieć szczegółowo; poniższa lista kontrolna dotyczy każdego routera, który oceniasz.

Tryb automatyczny OrcaRouter — podaj nazwę modelu orcarouter/auto na standardowym punkcie końcowym zgodnym z OpenAI — ocenia każdy prompt i kieruje go do ponad 200 modeli. Dostępne są cztery polityki routingu, z domyślną polityką Balanced: Cheapest kieruje zapytania do najtańszego modelu, który potrafi odpowiedzieć; Balanced do najtańszego modelu spełniającego próg jakości; Quality do modelu z najwyższą oceną niezależnie od ceny; Adaptive uczy się na podstawie ruchu na żywo i na bieżąco zmienia routing. Ocena jest mierzona w czasie poniżej milisekundy, całkowite dodane opóźnienie nie przekracza 50 ms, a jeśli wybrany dostawca ograniczy przepustowość lub zwróci błąd, router w czasie poniżej 50 ms przełącza się w trakcie działania na działający model. Na żadnym poziomie nie ma narzutu: płacisz każdemu dostawcy dokładnie jego opublikowaną cenę — powyższe wartości $0.09 lub $5.00 to dokładnie tyle, ile płacisz — a sam routing jest bezpłatny.

Jeśli chodzi o dokładność, w rankingu RouterArena z czerwca 2026 r. OrcaRouter osiąga 75,5%, w porównaniu z najbliższym notowanym konkurentem, który uzyskuje 74,0% (według orcarouter.ai). Jeden ranking nie stanowi dowodu na nic — potraktuj go jako pojedynczy punkt danych i przeprowadź własną ewaluację na własnych promptach, zanim zaufasz jakiemukolwiek routerowi w ruchu produkcyjnym, w tym naszemu. A jeśli zastanawiasz się, czy w ogóle potrzebujesz funkcji routera czy bramki, rozróżnienie między routerem a bramką omawiamy w naszym przewodniku AI API Gateway in 2026.

Gdy to zalecenie jest błędne

Uczciwa lista z pominięciami, wyrażona wprost:

Krótka wersja

Router LLM to warstwa, która wybiera, który model odpowiada na każde żądanie — tani i szybki dla łatwej większości, flagowy dla trudnej mniejszości, z przełączaniem awaryjnym, gdy dostawca zawiedzie. Opłaca się, gdy Twoje modele znacznie różnią się ceną (DeepSeek V4 Flash za 0,09 USD w porównaniu z Claude Opus 5 za 5,00 USD za 1 mln tokenów wejściowych to 55-krotna różnica), a ruch jest mieszanką zadań łatwych i trudnych. Badania wskazują, że górny pułap oszczędności wynosi około 85% przy zachowaniu progu jakości, a dolny pułap to tyle, ile pokazuje Twoja ewaluacja. Kosztuje Cię to opóźnienie i pewną kontrolę nad dokładnością, a także jest złym rozwiązaniem dla firm korzystających z jednego modelu, budżetów opóźnień poniżej 300 ms, małych wydatków oraz zespołów, które nie potrafią mierzyć jakości wyników. Gdy jest właściwe, uruchom je za progiem jakości bez narzutu na tokeny, najpierw skieruj część ruchu i przeczytaj logi routingu, zanim uwierzysz w oszczędności.