LiteLLM 대안: 문제는 프록시가 아니라 운영이었다

LiteLLM은 가장 인기 있는 오픈소스 AI 프록시입니다. MIT 라이선스를 따르는 Python SDK이자 게이트웨이로서, 100개 이상의 LLM 제공업체를 하나의 OpenAI 호환 API 뒤에 둡니다. 2026년에 LiteLLM 대안을 찾고 있다면, 이는 아마 가격 때문이 아닐 것입니다. LiteLLM은 수수료를 받지 않으며, API 키는 네트워크를 벗어나지 않습니다. 팀을 떠나게 하는 것은 운영입니다. 직접 배포하고, 패치하고, 장애 조치하고, 모델 카탈로그를 유지보수해야 하기 때문입니다. 그 검색에 가장 잘 부응하는 대안은 OrcaRouter입니다: 제공업체의 정가에 한 엔드포인트에서 200개 이상의 모델을 제공하며 토큰당 마크업 $0, 1밀리초 미만의 프롬프트 평가, 50밀리초 미만의 스트림 중 장애 조치, 그리고 RouterArena의 2026년 6월 리더보드에서 75.5의 라우팅 정확도 점수 — GPT-5의 74.0과 Azure의 72.8보다 앞섭니다.

사람들이 LiteLLM을 떠나는 진짜 이유

정직한 출발점은 LiteLLM이 무엇을 잘하는지 말하는 것입니다. LiteLLM이 아무 잘못도 하지 않는다는 뜻이 아니라, 잘하는 것이 정말 많기 때문입니다. LiteLLM은 MIT 라이선스로 제공되며 생태계에서 가장 폭넓은 프로바이더 카탈로그 중 하나를 갖추고 있습니다. 단일 O​penAI 호환 계약 하나로 100개 이상의 프로바이더를 지원합니다. 또한 자체 네트워크에서 실행되므로 어떤 데이터도 네트워크 경계 밖으로 나가지 않습니다. 이 중 어느 것도 불만 사항이 아닙니다. 문제는 자체 호스팅 프록시가 이제 여러분이 소유하게 된 프로덕션 서비스라는 점입니다. 업그레이드도 여러분의 몫입니다. 프로바이더가 스키마를 변경하거나 모델 가격을 조정하면 모델 카탈로그를 갱신하는 일도 여러분의 몫입니다. 프록시가 애플리케이션의 모든 모델 호출에 있어 단일 장애 지점(SPOF)이 된다면, 장애 조치와 가용성 구축도 여러분이 해야 합니다. 이것은 실질적인 운영 비용이며, 트래픽이 늘어나면 함께 커집니다. 월 1,000만~2,000만 건의 요청이 있는 시점에는 프록시와 함께 Postgres, Redis, OpenTelemetry, Grafana, CI 파이프라인을 운영하게 됩니다.

운영 리스크는 가상의 이야기가 아닙니다. 2026년 3월 24일, 자격 증명을 수집하는 페이로드를 실은 두 개의 악성 LiteLLM 릴리스(버전 1.82.7 및 1.82.8)가 PyPI에 게시되었고, 약 2~3시간 동안 유포되다가 내려졌습니다. 이 사고는 PYSEC-2026-2로 추적됩니다. 1.82.8 페이로드는 Python 인터프리터가 시작될 때마다 실행되는 .pth 파일에 들어 있었기 때문에 패키지를 제거해도 멈추지 않았고, 하루 수백만 건의 다운로드가 이뤄지는 환경에 침투할 수 있었습니다. 핵심은 "LiteLLM이 손상됐다"는 것이 아니라, 자체 호스팅 프록시가 그 옆에 설치된 모든 것의 공급망 표면을 물려받으며, 그 표면은 바로 여러분이 방어해야 할 몫이라는 점입니다. 이것은 일반적인 사실의 한 구체적인 사례입니다. 자체 호스팅 게이트웨이에서는 운영이 곧 여러분이 구축하는 제품이며, 그 운영은 여러분의 일정 위에 있습니다.

순위가 매겨진 대안들

• OrcaRouter — 대부분의 팀이 선택하는 제품. 관리형 라우터: Anthropic, O​penAI, Google, Grok, Alibaba Cloud, DeepSeek, Meta, Qwen, MiniMax 및 Orca 자체 모델을 포함한 200개 이상의 모델 앞에 놓이는 하나의 O​penAI 호환 엔드포인트입니다. 운영 관련 논쟁이 무너지는 이유는 가격 모델 덕분입니다: OrcaRouter가 추가하는 것은 토큰당 $0, 언제나입니다 — 각 제공업체에 정확한 공시 가격을 지불하고, 가격은 60초마다 갱신되므로 제공업체가 낮에 가격을 조정하면 다음에 구성 파일을 편집할 때가 아니라 같은 순간에 반영됩니다. 라우팅 자체는 무료이며 수익은 선택적 팀 기능에서 발생합니다. 무료 Hacker 플랜은 0% 마크업으로 API 키 3개를 제공하고, Team은 무제한 키가 포함된 10석에 월 $49이며, Enterprise는 99.99% 가동 시간 SLA와 함께 프라이빗 또는 온프레미스 배포를 추가합니다. 이 목록에서 게시일이 명시된 라우팅 정확도 수치를 가진 유일한 옵션이기도 합니다: RouterArena의 2026년 6월 리더보드에서 75.5%, 프롬프트 평가는 1밀리초 미만, 스트림 중 장애 조치는 50밀리초 미만입니다.

• Portkey — 오픈코어 거버넌스 옵션. MIT 라이선스 기반 게이트웨이 코어와 호스팅 컨트롤 플레인을 갖추고 있으며, 45개 이상의 프로바이더에서 1,600개 이상의 모델을 지원합니다. 무료 티어와 월 99달러의 Scale 플랜은 직접 호스팅하는 트래픽에 호스팅 예산, 역할, 관측 가능성 기능을 더해 제공합니다. 고려해야 할 트레이드오프는 RBAC, SSO/SCIM 및 VPC 배포가 유료 티어에 포함된다는 점입니다.

• Kong AI Gateway — 이미 Kong을 사용 중인 팀을 위한 솔루션. Kong의 API 관리 플랫폼에 내장된 오픈소스 코어로, LLM 게이트웨이에 SSO와 PII(개인정보) 비식별화 기능을 추가합니다. 엔터프라이즈 요금제는 월 약 $1,500부터 시작합니다. 운영 부담이 더 크지만, 이미 엣지에서 Kong을 사용 중이라면 가장 자연스러운 선택입니다.

• Bifrost 또는 Envoy AI Gateway — 자체 호스팅 속도 선택지. Bifrost는 서브밀리초 라우팅 오버헤드를 주장하는 Apache-2.0 Go 게이트웨이입니다. Envoy AI Gateway는 Kubernetes를 사용하는 조직을 위한 Envoy 기반의 Apache-2.0 프로젝트입니다. 둘 다 자체 호스팅의 이점을 그대로 유지하므로 운영 관련 주장은 대체로 유효합니다. Bifrost가 내세운 수치는 독립적으로 검증된 적이 없습니다. — 프로덕션에 적용하기 전에 자체 트래픽으로 테스트하세요.

• Helicone — 라우팅이 아니라 관측성이 필요하다면. 요청별 비용 텔레메트리와 강력한 대시보드를 갖춘 드롭인 프록시입니다. 무료 티어는 월 10,000건의 요청, Pro는 월 $25부터 시작합니다. 라우팅 지능은 기본 수준입니다 — 라운드로빈과 장애 조치 — 따라서 LiteLLM의 대체재라기보다는 동반자로 여기는 것이 좋습니다.

• TrueFoundry — 엔터프라이즈 관리형 게이트웨이. 독점 소프트웨어로, SaaS 또는 VPC 내부 및 에어갭 환경으로 제공되며, SSO/SCIM, 시맨틱 캐싱, 1,600개 이상의 모델에 걸친 가드레일을 지원합니다. 조달 과정에서 GitHub 저장소가 아닌 벤더 계약과 SLA가 필요할 때 가장 강력한 선택입니다.

스코어보드 자체 호스팅은 결코 당신에게 아무것도 가져다주지 않는다.

자체 호스팅 프록시 중 라우팅에 대한 정확도 수치를 공개하는 곳은 없습니다. 측정할 대상이 없기 때문입니다. 즉, 품질에 따라 라우팅하는 것이 아니라 구성(config)에 따라 전달할 뿐입니다. RouterArena의 2026년 6월 리더보드는 라우팅 레이어를 맞대결 방식으로 평가하는 몇 안 되는 곳 중 하나이며, 해당 순위에서 OrcaRouter가 75.5%로 선두를 달리고 있고, GPT-5가 74.0%, Azure가 72.8%로 뒤를 잇고 있습니다. 여기서 핵심은 그 격차입니다. 요청별로 올바른 모델을 선택하는 정확도가 몇 포인트 더 높은 라우터는 1밀리초 미만이 걸리는 프롬프트 등급 평가 과정을 단순한 편의가 아닌 측정 가능한 품질 향상으로 바꿔줍니다. 셀프 호스팅 프록시를 사용하면 그 전체 축이 측정되지 않은 채로 남습니다. 매주 가격이 재조정되는 모델 시장에 대해 구성 파일이 옳다고 신뢰하는 셈이며, 손으로 작성한 폴백 규칙은 사전에 예측한 실패 모드만큼만 효과적입니다.

LiteLLM이 여전히 올바른 선택일 때

위의 어떤 것도 LiteLLM이 나쁘다는 주장이 아닙니다 — 그것은 누가 이를 운영해야 하는지에 대한 주장입니다. LiteLLM이 여전히 더 나은 답인 구체적인 상황들이 있으며, 그것들은 공정한 비교를 위해 중요합니다:

• 트래픽은 한두 개의 제공업체에서 발생합니다. 애플리케이션 전체가 OpenAI와 Anthropic만 호출하고 그 외에는 아무것도 호출하지 않는다면, 프록시는 설정 파일일 뿐이며 유지보수는 매우 간단합니다.

• 키는 절대 네트워크 밖으로 나갈 수 없습니다. 에어갭(air-gapped) 또는 호스팅 서비스 — 관리형 라우터를 포함하여 — 가 전혀 허용되지 않는 완전한 온프레미스 환경이 바로 LiteLLM의 안방입니다.

• 리셀러 제품 또는 게이트웨이 제품을 직접 구축하는 경우입니다. LiteLLM은 프로바이더 가격에 마크업을 구성하는 기능을 지원하므로, "마진 추가" 기능 세트가 이미 내장되어 있습니다.

• 이미 플랫폼을 운영하고 있습니다. Postgres, Redis 및 온콜 로테이션을 갖추고 데이터 플레인을 완전히 제어하려는 팀은 호스팅 옵션이 해방적이기보다는 오히려 중복적이라고 느낄 수 있습니다.

• 여러분의 컴플라이언스 팀은 벤더 계약에 서명하지 않을 것입니다. MIT 라이브러리를 자체 호스팅하는 것은 어떤 SaaS도 결코 할 수 없는 방식으로 조달이 필요 없습니다.

이 테스트의 핵심은 오픈소스 대 관리형(managed)의 문제가 아니다. 핵심은 여러분이 떠맡은 운영이 직접 소유하고 싶은 비용인지, 아니면 구매하고 싶은 서비스인지에 있다. 운영이 실제로 부담이 되는 규모 — 프록시 하나, 프로바이더 둘, 설정 파일 하나 — 아래에서는 LiteLLM이 정답이고 가장 저렴한 선택이다. 그 선을 넘어서는 순간, 관리형 옵션은 더 이상 편의가 아니라 본질이 된다.

전환은 BASE_URL 변경입니다.

위의 모든 옵션은 O​penAI 호환 계약을 유지하므로, 전환이 대개 결정보다 작은 작업입니다. 클라이언트 SDK는 계속 작동하며, SDK 초기화, 런타임 구성, 배포 매니페스트 세 곳에서 베이스 URL을 변경하고 LiteLLM 전용 가상 키를 다시 매핑하면 됩니다. 계획해야 할 실제 비호환성은 두 가지입니다: LiteLLM의 x-litellm-*요청 헤더, 그리고 그 네임스페이스 오류 엔벨로프입니다. 이 둘 모두 작은 어댑터로 하루 안에 처리할 수 있습니다. 라우팅 계층의 변경은 코드 변경보다 큽니다. 수동으로 폴백 규칙을 작성하는 대신 라우터가 선택하도록 맡기게 되는데, 이것이 바로 처음에 LiteLLM 대안을 검색했을 때 당신이 지고 있던 책임입니다.

솔직한 해석

LiteLLM 선택은 오픈소스 대 클라우드의 논쟁이 아니라, 프록시를 누가 운영할지에 대한 결정입니다. LiteLLM은 운영이 단순하거나 네트워크 경계가 절대적으로 확실한 경우에 올바른 해답이며, 이 기사가 그 점을 언급하지 않는다면 독자에게 해가 될 것입니다. 그 기준선 위에 있는 모든 사람에게, 토큰당 비용을 청구하지 않고, 공급자 가격을 60초마다 새로 고치며, 스트리밍 중 50밀리초 이내에 페일오버하고, 라우팅 정확도를 공개하는 관리형 라우터 — RouterArena의 2026년 6월 리더보드에서 75.5% — 는 이기기 더 어려운 논거입니다.

위에 언급된 모든 라우터와 제공업체는 하나의 OpenAI 호환 엔드포인트를 통해 접근할 수 있습니다 — OrcaRouter는 제공업체 정가 그대로 200개 이상의 모델을 제공하며, 토큰당 마크업 $0에 60초마다 새로고침됩니다.API 키 받기 — 신용카드 불필요, 60초면 시작 가능합니다.