Vad är en LLM-router? Modellväljarlagret, den verkliga matematiken och när du ska hoppa över den

En LLM-router är ett programvarulager som sitter mellan din applikation och modellleverantörerna och för varje begäran avgör vilken modell som ska svara – en billig, snabb modell som DeepSeek V4 Flash när uppgiften är enkel, en frontmodell som Claude Opus 5 när den verkligen är svår. Poängen är pengar: DeepSeek V4 Flash kostar 0,09 USD per miljon inmatningstoken och Claude Opus 5 kostar 5,00 USD, priser direkt från leverantören enligt OrcaRouter-modellkatalogen avläst 2026-08-10 – en 55× skillnad på samma anrop. Skicka de enkla 80 % av din trafik neråt och håll de svåra 20 % uppåt, så drar du i den enskilt största kostnadsspaken som de flesta team aldrig rör.

Vad en LLM-router faktiskt är

Tar man bort marknadsföringen har en modellrouter tre uppgifter, alla tråkiga och alla värdefulla. Den är en enda slutpunkt: din kod anropar en OpenAI-kompatibel URL i stället för ett SDK per leverantör. Den bedömer begäran, uppskattar hur svår den är, och dirigerar den: enkla uppgifter till en billig modell, verkligt svårt resonerande till en frontiermodell. Och den gör failover: om den valda leverantören rate-begränsar dig eller returnerar en 5xx, gör routern ett nytt försök mot en frisk modell utan att din applikation någonsin ser felet.

Beslutssteget är där routrar skiljer sig åt, och spektrumet är ett välbekant sådant. Regelbaserade routrar matchar nyckelord eller promptlängd mot en modell — under en millisekund, förutsägbara, sköra när priser eller modeller ändras. Semantiska routrar bäddar in prompten och dirigerar efter innebörd, så att "vad är mitt saldo?" och "hur mycket pengar har jag" hamnar på samma väg. Inlärda routrar bevakar verklig trafik och skiftar mot den modell som vinner på kvalitet per dollar. Mekaniken för varje — inklusive noggrannhetsbanden för de olika klassificerartyperna och autoläget som betygsätter varje prompt — behandlas utförligt i vår guide, Auto Router for LLMs; här är poängen att routingintelligens finns på ett spektrum, och vilken punkt du behöver är ett produktbeslut, inte en funktionschecklista.

Om du också har sett "AI router" användas för Wi-Fi-hårdvara med en NPU — det är en annan produkt som råkar dela namnet, och vi reder ut den förväxlingen i vår guide om AI-routrar. Allt i den här artikeln handlar om mjukvarukategorin.

Prisspreaden är det som gör att det lönar sig.

En router förtjänar sin plats endast när modeller skiljer sig mycket i pris, och just nu skiljer de sig enormt. Alla priser nedan är leverantörspriser per 1M tokens från OrcaRouter-modellkatalogen, avläst 2026-08-10:

Läs prisskillnaden och argumentet skriver sig självt. DeepSeek V4 Flash till $0,09 mot Claude Opus 5 till $5,00 är en skillnad på ungefär 55× enbart på input-tokens, och gapet mellan den billiga nivån och den ledande nivån är nu en permanent egenskap hos marknaden snarare än en engångsrabatt. Om din trafik är en typisk blandning — en majoritet av korta, väldefinierade förfrågningar och en minoritet av genuint svåra resonemang — innebär att köra allt på den ledande nivån att betala topppris för de enkla 80 procenten.

Det är här som de aktuella förstasidesresultaten för "llm router" sviker dig. Decagons ordlisteinträg, till exempel, citerar "GPT-4o, Claude 3.5 Sonnet och Gemini 1.5 Pro" till "$5–15 per miljon inmatningstokens" — modeller som var aktuella för två år sedan till priser ungefär dubbelt så höga som dagens. Marknaden förändrades; definitionen gjorde det inte. Det är den enskilt största anledningen att misstro en LLM-routerförklaring utan datum.

Vad sparforskningen faktiskt säger

Aritmetiken ovan är verklig, och det är forskningen också — men den ärliga bilden är ett intervall, inte ett enskilt tal.

Här är den genomarbetade aritmetiken, med antaganden angivna så att du kan justera dem. En supportbot som hanterar 100 000 konversationer i månaden, där varje skickar 1 000 inmatningstokens och genererar 200 utdatatokens: att köra allt på Claude Sonnet 5 kostar cirka 400 dollar i månaden. Dirigera de lätta 80 % till DeepSeek V4 Flash och behåll de svåra 20 % på Claude Sonnet 5, så kostar samma trafik cirka 90 dollar — ungefär 78 % billigare, innan någon promptcachning, vilket skulle vidga gapet ytterligare.

Slutsatsen att ta med sig: aggressiv routing sparar 60–85% när din trafik mestadels är enkel, balanserad routing sparar 35–45%, och till och med konservativ routing sparar 10–15%. Den exakta siffran för dig är en egenskap hos din trafik, mätt på dina egna prompts — inte en konstant du kan kopiera från ett blogginlägg.

De tre kostnaderna routing döljer

De två kostnaderna som ingen tar med i ordlisteposten är latens och noggrannhet, och det finns en tredje som är subtilare.

Latens. Varje dirigerad förfrågan betalar en klassificeringsavgift innan modellen ens startar. En regelbaserad klassificerare ligger under en millisekund; en liten inbäddnings- eller klassificeringsmodell lägger till ungefär 50–200 ms; en tränad domänklassificerare mer. En bra router döljer det mesta av detta genom att klassificera medan den förbereder uppströmsförfrågan, och en produktionsroutningsändpunkt mätte end-to-end-omkostnaden till cirka 55 ms i median — under 1% av en normal svarstid. Men om din trafik är realtid — en röstagent, ett gränssnitt som måste svara inom 300 ms — kan ett routningshopp på hundratals millisekunder vara skillnaden mellan användbart och inte. Den enda begränsningen är den vanligaste orsaken till att ett team med ett legitimt användningsfall för routning beslutar att inte dirigera.

Noggrannhet. En router är bara så bra som det omdöme den dirigerar utifrån. En klassificerare som tränats på generella benchmarks kan vara självsäkert fel om din domän: din "enkla" sammanfattningsuppgift kan vara enkel för frontier-modellen och omöjlig för den billiga modellen. Felmoden är tyst — användaren får bara sämre utdata och ingen loggar det — vilket är anledningen till att varje trovärdig router levererar ett kvalitetsgolv eller ett balanserat läge.

Cache-invalidering. Både OpenAI och Anthropic ger rabatt på upprepade promptprefix, vanligtvis cirka 90 % rabatt på inmatningstokens vid cacheläsningar. Om ditt routerlager skriver om, ändrar ordning eller injicerar en roterande tidsstämpel i prompten invaliderar det prefixet och kastar bort den rabatten. En bra router skickar prompten byte-för-byte och låter leverantörens egen cachning fungera.

Rekommendationen: en hanterad router med ett kvalitetsgolv.

Om du kör mer än en modell i produktion, din trafik är en blandning av lätta och svåra fall, och din volym är tillräckligt stor för att en procentandel ska vara riktiga pengar, så är rekommendationen en hanterad router som upprätthåller en kvalitetsnivå och inte tar ut något påslag för tokens. Vår egen produkt är OrcaRouter, och det är den vi kan beskriva i detalj; checklistan som följer gäller för alla routrar du utvärderar.

OrcaRouters auto-läge — ange modellnamnet orcarouter/auto på den vanliga OpenAI-kompatibla slutpunkten — bedömer varje prompt och dirigerar den till en av 200+ modeller. Den levereras med fyra routingprinciper med Balanced som standard: Cheapest skickar till den modell med lägst kostnad som kan svara; Balanced skickar till den billigaste modellen som klarar kvalitetsribban; Quality skickar till den modell med högst poäng oavsett pris; Adaptive lär sig av din live-trafik och ändrar dirigeringen löpande. Bedömningen tar under en millisekund, den totala extra latensen håller sig under 50 ms, och om den valda leverantören rate-limitar eller felar, växlar routern mitt i flödet över till en välfungerande modell på under 50 ms. Det finns inga påslag i något led: du betalar varje leverantör dess exakta publicerade pris — siffrorna $0.09 eller $5.00 ovan är vad du betalar — och själva routingen är gratis.

När det gäller noggrannhet ger RouterArenas topplista från juni 2026 OrcaRouter 75,5 % jämfört med det närmaste spårade alternativet på 74,0 % (enligt orcarouter.ai). En enda topplista är inte bevis för någonting – behandla den som en enskild datapunkt och kör din egen utvärdering på dina egna prompts innan du litar på en router med produktionstrafik, inklusive vår. Och om du försöker avgöra om du överhuvudtaget behöver routerfunktioner eller gatewayfunktioner, så behandlas skillnaden mellan router och gateway i vår guide AI API Gateway in 2026.

När denna rekommendation är fel

Den ärliga hopplistan, uttryckt i klartext:

Den korta versionen

En LLM-router är det lager som väljer vilken modell som svarar på varje begäran – billig och snabb för den enkla majoriteten, frontier-modeller för den svåra minoriteten, med failover när en leverantör faller bort. Det lönar sig när dina modeller skiljer sig mycket i pris (DeepSeek V4 Flash för 0,09 USD mot Claude Opus 5 för 5,00 USD per 1M indatatokens är en 55× skillnad) och din trafik är en blandning av enkelt och svårt. Forskningen sätter taket till cirka 85 % besparingar med ett kvalitetsgolv, och golvet till vad din utvärdering än säger. Det kostar dig latens och en del kontroll över träffsäkerheten, och det är fel svar för företag med en enda modell, budgetar med under 300 ms latens, mycket små utgifter och team som inte kan mäta utdatans kvalitet. När det är rätt, kör det bakom ett kvalitetsgolv utan tokenpåslag, dirigera en del av trafiken först och läs routingloggarna innan du tror på besparingarna.