LiteLLM-alternatieven: de proxy was nooit het probleem, de operaties wel

LiteLLM is de populairste open-source AI-proxy — een onder MIT-licentie staande Python-SDK en gateway die 100+ LLM-providers achter één O​penAI-compatibele API plaatst. Als je in 2026 op zoek bent naar LiteLLM-alternatieven, is de prijs waarschijnlijk niet de drijfveer: LiteLLM neemt geen commissie en je API-sleutels verlaten nooit je netwerk. Wat teams doet vertrekken is de operationele kant — je implementeert en patcht het, voert de failover uit en onderhoudt zelf de modelcatalogus. Het alternatief dat het beste op die zoekopdracht aansluit is OrcaRouter: 200+ modellen op één endpoint tegen de lijstprijzen van de providers, met $0 opslag per token, promptbeoordeling in minder dan 1 milliseconde, failover mid-stream in minder dan 50 milliseconden, en een score voor routeringsnauwkeurigheid van 75,5 op de RouterArena-ranglijst van juni 2026 — vóór GPT-5 met 74,0 en Azure met 72,8.

De echte reden waarom mensen LiteLLM verlaten

Het eerlijke uitgangspunt is om te zeggen wat LiteLLM goed doet, want het doet niet alleen niets verkeerd — het doet veel goed. Het is MIT-gelicentieerd. Het heeft een van de breedste providercatalogi in het ecosysteem, met 100+ providers achter één OpenAI-compatibel contract. En omdat het in je eigen netwerk draait, verlaat niets je perimeter. Niets daarvan is de klacht. De klacht is dat een zelfgehoste proxy een productiedienst is die nu voor jouw rekening komt. Upgrades zijn voor jou. Wanneer een provider een schema wijzigt of een model opnieuw prijst, is het aan jou om de modelcatalogus te vernieuwen. Wanneer de proxy het single point of failure is voor elke modelaanroep in je applicatie, is het aan jou om failover en beschikbaarheid te bouwen. Dat is een echt operationeel budget, en het groeit mee met je verkeer — bij 10–20 miljoen verzoeken per maand draai je Postgres, Redis, OpenTelemetry, Grafana en een CI-pipeline naast de proxy.

Het operationele risico is niet hypothetisch. Op 24 maart 2026 werden twee kwaadaardige LiteLLM-releases — versies 1.82.7 en 1.82.8 — op PyPI gepubliceerd met een payload die inloggegevens oogstte en bleven ongeveer twee tot drie uur beschikbaar voordat ze werden teruggetrokken, een incident dat bekendstaat als PYSEC-2026-2. De payload van 1.82.8 zat in een .pth-bestand dat wordt uitgevoerd telkens wanneer de Python-interpreter start, dus zelfs het verwijderen van het pakket stopte het niet, en er waren miljoenen dagelijkse downloads waar het in terecht kon komen. De les is niet "LiteLLM is gecompromitteerd" — het is dat een self-hosted proxy het aanvalsoppervlak van de supply chain erft van alles wat ernaast is geïnstalleerd, en dat oppervlak moet jij verdedigen. Het is één concreet voorbeeld van het algemene: met een self-hosted gateway zijn de operationele taken het product dat je bouwt, en ze staan op je agenda.

De gerangschikte alternatieven

• OrcaRouter — de keuze voor de meeste teams. Een beheerde router: één OpenAI-compatibel eindpunt vóór 200+ modellen van Anthropic, OpenAI, Google, Grok, Alibaba Cloud, DeepSeek, Meta, Qwen en MiniMax, plus Orca's eigen modellen. Het prijsmodel is de reden waarom het operations-argument geen stand houdt: OrcaRouter voegt $0 per token, altijd toe — je betaalt elke provider de exacte lijstprijs, en de prijzen worden elke 60 seconden ververst, zodat een tussentijdse prijsaanpassing van een provider in dezelfde minuut verschijnt in plaats van pas wanneer je de volgende keer een configuratiebestand bewerkt. Routering zelf is gratis; de omzet komt uit optionele teamfuncties. Het gratis Hacker-plan biedt drie API-sleutels met 0% opslag, Team kost $49 per maand voor tien zitplaatsen met onbeperkte API-sleutels, en Enterprise voegt private of on-premises implementatie toe met een 99,99% uptime-SLA. Het is ook de enige optie in deze lijst met een gepubliceerd, gedateerd cijfer voor routeringsnauwkeurigheid: 75,5% op de ranglijst van RouterArena van juni 2026, met promptbeoordeling onder 1 milliseconde en failover tijdens de stream onder 50 milliseconden.

• Portkey — de open-core governance-optie. Een MIT-gelicentieerde gatewaykern met een gehost controlevlak, die meer dan 1.600 modellen van meer dan 45 providers ondersteunt. Met de gratis laag en Scale voor $99 per maand krijg je gehoste budgetten, rollen en observeerbaarheid bovenop het verkeer dat je nog steeds zelf host. De afweging om in te calculeren: RBAC, SSO/SCIM en VPC-implementatie zitten in de betaalde lagen.

• Kong AI Gateway — voor teams die al op Kong zitten. De open-source kern binnen Kong's API-managementplatform, die SSO en PII-maskering toevoegt aan een LLM-gateway. Enterprise-abonnementen beginnen bij ongeveer $1.500 per maand. Het is zwaarder in beheer, maar als Kong al jouw edge is, dan is het de logische keuze.

• Bifrost of Envoy AI Gateway — de self-hosted snelheidskeuzes. Bifrost is een Apache-2.0-gateway in Go die een routeringsoverhead van minder dan een milliseconde claimt; Envoy AI Gateway is een Apache-2.0-project op Envoy voor Kubernetes-omgevingen. Beide behouden het self-hosting-verhaal, dus het operationele argument blijft grotendeels overeind, en de door Bifrost geclaimde cijfers zijn niet onafhankelijk gereproduceerd — test op je eigen verkeer voordat je er productie op wedt.

• Helicone — als je observeerbaarheid nodig hebt, niet routing. Een drop-in proxy met per-verzoek kostentelemetrie en een sterk dashboard. Gratis laag voor 10.000 verzoeken per maand, Pro vanaf $25 per maand. De routeringsintelligentie is basaal — round-robin en failover — dus het kan beter worden gezien als een metgezel van LiteLLM dan als vervanging.

• TrueFoundry — de enterprise-managed gateway.Propriëtair, aangeboden als SaaS of in-VPC en air-gapped, met SSO/SCIM, semantische caching en guardrails voor meer dan 1.600 modellen. De sterkste keuze wanneer je inkoop een leverancierscontract en een SLA vereist in plaats van een GitHub-repo.

Het zelf hosten van het scorebord levert je nooit iets op.

Geen van de zelfgehoste proxies publiceert een nauwkeurigheidscijfer voor hun routing, omdat er niets te meten valt — ze sturen door op basis van configuratie in plaats van te routeren op kwaliteit. RouterArena's leaderboard van juni 2026 is een van de weinige plekken die routinglagen rechtstreeks tegen elkaar laat scoren, en daar staat OrcaRouter aan kop met 75,5%, vóór GPT-5 op 74,0 en Azure op 72,8. De delta is het punt: een router die een paar punten nauwkeuriger is in het kiezen van het juiste model per verzoek verandert een prompt-grading-pass die minder dan 1 milliseconde duurt in een meetbare kwaliteitswinst in plaats van een gemak. Bij een zelfgehoste proxy blijft die hele as ongemeten — je vertrouwt erop dat een configuratiebestand gelijk heeft over een modelmarkt die wekelijks opnieuw wordt geprijsd, en de fallback-regels die je met de hand schrijft zijn alleen zo goed als de faalwijzen die je vooraf hebt voorspeld.

Wanneer LiteLLM nog steeds de juiste keuze is

Niets van het bovenstaande is een argument dat LiteLLM slecht is — het is een argument over wie het zou moeten beheren. Er zijn concrete situaties waarin LiteLLM het betere antwoord blijft, en die zijn belangrijk voor een eerlijke vergelijking:

• Je verkeer bestaat uit één of twee providers. Als je hele applicatie alleen OpenAI en Anthropic aanroept en niets anders, is de proxy een configuratiebestand en is het onderhoud triviaal.

• Sleutels kunnen uw netwerk niet verlaten, punt uit. Een air-gapped of strikt on-prem omgeving waarin geen gehoste service — inclusief een beheerde router — is toegestaan, is LiteLLM's thuisbasis.

• Je bouwt zelf een reseller- of gatewayproduct. LiteLLM ondersteunt het configureren van opslagen bovenop providerprijzen, dus de functieset 'marge toevoegen' is al ingebouwd.

• Jullie draaien het platform al. Een team met Postgres, Redis en een on-call-rotatie dat volledige controle over het dataplane wil, kan een gehoste optie eerder overbodig dan bevrijdend vinden.

• Uw compliance-team zal geen leverancierscontract ondertekenen. Het zelf hosten van een MIT-bibliotheek is vrij van inkoopprocessen op een manier zoals geen enkele SaaS dat ooit is.

De test gaat niet over open source versus managed. {{1}}Het gaat erom of de taken die je op je neemt een kostenpost zijn die je zelf wilt dragen of een dienst die je liever afneemt.{{/1}} Onder de omvang waarbij de taken daadwerkelijk pijn doen — één proxy, twee providers, een configbestand — is LiteLLM het juiste antwoord en de goedkoopste optie op het bord. {{2}}Boven die lijn houdt de managed optie op een gemak te zijn en wordt het punt.{{/2}}

Schakelen is een BASE_URL-wijziging

Elke bovenstaande optie behoudt het O​penAI-compatibele contract, daarom is de overstap meestal minder groot dan de beslissing. Je client-SDK blijft werken; je wijzigt de basis-URL op drie plaatsen — SDK-initialisatie, runtimeconfiguratie en deploymentmanifest — en wijst eventuele LiteLLM-specifieke virtuele sleutels opnieuw toe. Er zijn twee echte incompatibiliteiten waar je rekening mee moet houden: LiteLLM's x-litellm-* requestheaders en zijn foutenvelop met namespace, die kleine adapters beide binnen een dag afhandelen. De verandering in de routinglaag is groter dan de codeverandering: je stopt met het handmatig schrijven van fallbackregels en laat de router kiezen, wat precies de verantwoordelijkheid is die je droeg toen je oorspronkelijk naar LiteLLM-alternatieven zocht.

De eerlijke lezing

De LiteLLM-beslissing is geen open-source-versus-cloud-argument; het is een beslissing over wie de proxy draait. LiteLLM is het juiste antwoord wanneer de operaties triviaal zijn of de perimeter absoluut is, en dit artikel zou je geen recht doen als het dat niet zei. Voor iedereen boven die lijn is een beheerde router die niets per token rekent, elke 60 seconden de providerprijzen ververst, halverwege de stream in minder dan 50 milliseconden overstapt, en zijn routeringsnauwkeurigheid publiceert — 75,5% op de RouterArena-ranglijst van juni 2026 — het moeilijkere argument om te verslaan.

Elke hierboven genoemde router en provider is bereikbaar via één OpenAI-compatibel endpoint — OrcaRouter biedt 200+ modellen aan tegen de lijstprijzen van de providers, met $0 opslag per token, en wordt elke 60 seconden ververst.Vraag je API-sleutel aan — geen creditcard nodig, live binnen 60 seconden.