LiteLLM 替代方案：问题从来不在代理，而在运营

LiteLLM 是最受欢迎的开源 AI 代理——一个采用 MIT 许可的 Python SDK 和网关，在单个兼容 OpenAI 的 API 后面整合了 100+ 家 LLM 提供商。如果你在 2026 年寻找 LiteLLM 的替代品，价格很可能不是你的动因：LiteLLM 不抽成，你的 API 密钥永远不会离开你的网络。真正促使团队离开的是运维——你需要自己部署它、修补它、执行故障转移并维护模型目录。最能满足这一搜索需求的替代方案是 OrcaRouter：通过单个端点提供 200+ 个模型，按提供商标价计费，并实现每 token 零加价、不到 1 毫秒的提示评分、不到 50 毫秒的中途故障转移，以及 RouterArena 2026 年 6 月排行榜上 75.5 的路由准确率得分——领先于 GPT-5 的 74.0 和 Azure 的 72.8。

用户离开LiteLLM的真正原因

诚实的起点是先说说 LiteLLM 做得对的地方，因为它并非一无是处——它确实做对了很多。它采用 MIT 许可证。它拥有生态系统中覆盖最广的提供商目录之一，在单一的 OpenAI 兼容接口背后支持 100 多家提供商。而且由于它在你自己的网络中运行，任何数据都不会流出你的边界。这些都不是问题所在。问题在于，自托管代理意味着你现在拥有了一项需要自己运维的生产服务。升级由你负责。当提供商更改架构或对模型重新定价时，模型目录需要你自己去刷新。当代理成为你应用中每一次模型调用的单点故障时，故障转移和高可用性需要你自己去构建。这是一笔实实在在的运营预算，而且会随着你的流量增长——每月达到 1000 万到 2000 万次请求时，你需要与代理一起运行 Postgres、Redis、OpenTelemetry、Grafana 和一条 CI 流水线。

运营风险并非假设。2026年3月24日，两个恶意 LiteLLM 版本——1.82.7 和 1.82.8——被发布到 PyPI，携带窃取凭证的载荷，并在被下架前持续在线了大约两到三个小时，该事件被追踪为 PYSEC-2026-2。1.82.8 的载荷藏身于一个 .pth 文件中，该文件在 Python 解释器每次启动时都会执行，因此即使卸载该包也无法阻止它，而且它拥有数百万的日下载量可供入侵。关键结论不是"LiteLLM 已被攻陷"——而是自托管代理继承了安装在它旁边的所有软件的供应链攻击面，而这个攻击面需要由你来防御。这是普遍问题的一个具体实例：使用自托管网关时，运维工作就是你正在构建的产品，而且它们已经在你的日程表上。

排名后的备选方案

• OrcaRouter——大多数团队的选择。这是一个托管路由器：一个兼容 O​penAI 的端点，统一接入 200 多个模型，这些模型来自 Anthropic、O​penAI、Google、Grok、Alibaba Cloud、DeepSeek、Meta、Qwen 和 MiniMax，以及 Orca 自家的模型。定价模式正是让运维论点不攻自破的原因：OrcaRouter 的加价是每 token 0 美元，永远如此——你按每家提供商的实际标价付费，价格每 60 秒刷新一次，因此某提供商在午间调价后会在一分钟内反映出来，而不是等到你下次编辑配置文件。路由本身免费，收入来自可选的团队功能。免费 Hacker 套餐提供三个 API 密钥，零加价；Team 套餐每月 49 美元，含十个席位和不限量的密钥；Enterprise 套餐增加私有化或本地部署，并提供 99.99% 可用性 SLA。它也是这份列表中唯一公布了带日期路由准确率数字的选项：在 RouterArena 2026 年 6 月排行榜上准确率为 75.5%，提示词评分耗时低于 1 毫秒，流中故障转移低于 50 毫秒。

• Portkey — 开放核心治理选项。 一个基于 MIT 许可的网关核心，带有托管控制平面，覆盖 45+ 提供商中的 1,600+ 模型。免费层和每月 99 美元的 Scale 层可让你在仍然自行托管的流量之上获得托管预算、角色和可观测性。需要权衡的代价是：RBAC、SSO/SCIM 和 VPC 部署属于付费层。

• Kong AI Gateway — 适合已在使用 Kong 的团队。 Kong API 管理平台中的开源核心，为 LLM 网关添加 SSO 和 PII 脱敏功能。企业版计划起价约为每月 1,500 美元。运维负担较重，但如果 Kong 已经是你的边缘层，它就是最自然的选择。

• Bifrost 或 Envoy AI Gateway —— 自托管的速度之选。 Bifrost 是一个 Apache-2.0 的 Go 网关，声称路由开销低于毫秒；Envoy AI Gateway 是 Envoy 上的一个 Apache-2.0 项目，面向 Kubernetes 用户。两者都保持了自托管的特性，因此运维方面的论点基本成立，而 Bifrost 宣传的领先数据尚未被独立复现——在投入生产之前，请先用自己的流量进行测试。

• Helicone —— 如果你需要的是可观测性，而不是路由。一个即插即用的代理，提供每次请求的成本遥测和强大的仪表板。免费层为每月10,000次请求，专业版每月25美元起。路由智能较为基础——轮询和故障转移——因此它更适合被视为LiteLLM的配套工具，而非替代品。

• TrueFoundry — 企业级托管网关。专有软件，以 SaaS 或 VPC 内及气隙方式部署，支持 SSO/SCIM、语义缓存以及覆盖 1,600+ 模型的护栏。当您的采购流程需要供应商合同和 SLA 而非 GitHub 仓库时，这是最稳妥的选择。

自托管记分板永远不会让你有任何收获

None of the self-hosted proxies publish an accuracy number for their routing, because there is nothing to measure — they forward on config rather than route on quality. RouterArena 2026年6月的排行榜是少数几个将路由层进行正面比较打分的平台之一，其中 OrcaRouter 以75.5%领跑，领先于 GPT-5（74.0）和 Azure（72.8）。差距才是关键：一个在每次请求时选择正确模型上准确率高几个百分点的路由器，能把耗时不到1毫秒的提示词评分过程转化为可衡量的质量提升，而不仅仅是一种便利。而对于自托管代理来说，整个维度都未被测量——你是在相信一个配置文件能对每周重新定价的模型市场做出正确判断，而你手工编写的回退规则，其优劣最多只取决于你事先预测到的故障模式。

当LiteLLM仍然是正确的选择时

以上都不是在论证 LiteLLM 不好——而是在论证该由谁来运营它。确实存在一些具体情况，其中 LiteLLM 仍然是更好的答案，而这些情况对公平比较很重要：

• 你的流量只涉及一两个提供商。如果你的整个应用只调用OpenAI和Anthropic，没有其他，那么代理就只是一个配置文件，维护非常简单。

• 密钥绝不能离开你的网络，这是底线。不允许任何托管服务——包括托管路由器——的气隙隔离或严格本地部署环境，正是 LiteLLM 的主场。

• 您正在自行构建转售商或网关产品。 LiteLLM 支持在提供商价格之上配置加价，因此“添加利润率”功能集已经内置。

• 你们已经在运行这个平台。一个使用Postgres、Redis并设有值班轮换机制的团队，如果希望完全掌控数据平面，可能会觉得托管方案是多余的，而非解放。

• 你们的合规团队不会签署供应商合同。自托管 MIT 库无需采购流程，这是任何 SaaS 都无法做到的。

考验不在于开源还是托管，而在于你所承担的运维工作，是你想自己拥有的成本，还是宁可购买的服务。在运维真正带来负担的规模之下——一个代理、两家供应商、一个配置文件——LiteLLM 是正确的答案，也是所有选项中最便宜的。超过那条线，托管选项就不再只是便利，而是变成了核心所在。

切换即是BASE_URL变更

上述所有选项都保留了与 OpenAI 兼容的契约，这就是为什么切换通常比决策更简单。您的客户端 SDK 可以继续正常工作；您只需在三个位置更改基础 URL——SDK 初始化、运行时配置和部署清单——并重新映射任何 LiteLLM 特有的虚拟密钥。有两个真正的不兼容点需要规划：LiteLLM 的x-litellm-*请求头及其带命名空间的错误封装，这两者小型适配器一天之内就能处理。路由层的变更比代码变更更大：您不再手写回退规则，而是让路由器来选择，这正是您当初搜索 LiteLLM 替代方案时所承担的职责。

诚实的解读

LiteLLM 的决策并不是开源与云之争；而是一个由谁来运行代理的决策。当运营微不足道或边界绝对时，LiteLLM 是正确的答案，如果这篇文章没有这样说，那就是在误导你。对于那条线之上的所有人来说，一个每个 token 不收费、每 60 秒刷新供应商价格、在流中 50 毫秒内完成故障转移，并公布其路由准确率——在 RouterArena 2026 年 6 月排行榜上为 75.5%——的托管路由器，是更难以击败的论点。

上述所有路由器和服务提供商均可通过一个兼容 O​penAI 的端点访问——OrcaRouter 以各提供商的标价提供 200 多个模型，每个 token 零加价，每 60 秒刷新一次。获取您的 API 密钥——无需信用卡，60 秒内即可使用。