LiteLLM 替代方案：代理從來不是問題，營運才是

LiteLLM 是最受歡迎的開源 AI 代理 — 一個採用 MIT 授權的 Python SDK 與閘道，可讓 100+ 個 LLM 提供者共用單一 O​penAI 相容 API。如果你在 2026 年搜尋 LiteLLM 的替代方案，價格大概不是促使你這麼做的主因：LiteLLM 不抽成，而且你的 API 金鑰絕不會離開你的網路。讓團隊卻步的是維運 — 你必須自行部署、修補、故障轉移，並維護模型目錄。最能回應這個搜尋需求的替代方案是OrcaRouter：在單一端點上以提供者的目錄價格提供 200+ 個模型，並搭配每個 token 加價 $0，提示評分不到 1 毫秒，串流中途故障轉移不到 50 毫秒，並在 RouterArena 的 2026 年 6 月排行榜上取得 75.5 的路由準確度分數 — 領先 GPT-5 的 74.0 與 Azure 的 72.8。

人們離開 LiteLLM 的真正原因

誠實的起點是先說 LiteLLM 做對了什麼，因為它並非一無是處——它確實做對了很多事。它採用 MIT 授權。它擁有生態系中最廣泛的供應商目錄之一，超過 100 家供應商統一在單一的 OpenAI 相容介面背後。而且因為它運行在你自己的網路內，沒有任何資料會離開你的防護邊界。這些都不是問題所在。真正的問題是，自架代理伺服器是一個你現在必須自行承擔的生產服務。升級是你的事。當供應商變更 schema 或重新調整模型定價時，模型目錄也得由你自行更新。當代理伺服器成為應用程式中所有模型呼叫的單點故障時，容錯移轉和高可用性也必須由你來建置。這是一筆真實的營運成本，而且會隨著你的流量成長——當你每月處理 1,000 萬到 2,000 萬次請求時，你除了代理伺服器之外，還得同時運行 Postgres、Redis、OpenTelemetry、Grafana 和一條 CI 管線。

營運風險並非假設性議題。2026年3月24日，兩個惡意的 LiteLLM 版本——1.82.7 與 1.82.8——被發布至 PyPI，內含竊取憑證的惡意載荷，並在持續約兩到三小時後才被下架，此事件追蹤編號為 PYSEC-2026-2。1.82.8 的惡意載荷位於一個 .pth 檔案中，每當 Python 直譯器啟動時便會執行，因此即使解除安裝該套件也無法阻止，況且該套件每日有數百萬次下載可藉機散布。重點不在於「LiteLLM 已遭入侵」——而在於自架代理會繼承其旁所有已安裝套件的供應鏈攻擊面，而這塊攻擊面須由你親自防禦。這是普遍現象中的一個具體實例：使用自架閘道器時，營運本身就是你正在打造的產品，而且它們已在你的時程表上。

排序後的替代方案

• OrcaRouter——多數團隊的首選。一種受管路由器：以單一 OpenAI 相容端點，代理 200 多個來自 Anthropic、OpenAI、Google、Grok、阿里雲、DeepSeek、Meta、Qwen 和 MiniMax 的模型，外加 Orca 自家模型。維運方面的爭論之所以徹底瓦解，關鍵就在定價模式：OrcaRouter 的加價是每 token 永遠 $0——你向每家供應商支付其精確的牌價，價格每 60 秒刷新一次，因此供應商在當天中午調價時，同一分鐘就會反映出來，而不是等到你下次編輯設定檔。路由本身免費；營收來自可選的團隊功能。免費的 Hacker 方案提供三個 API 金鑰，0% 加價；Team 方案每月 $49，含十個席位與無限金鑰；Enterprise 方案則增加私有或地端部署，並提供 99.99% 可用性的 SLA。此外，它是這份清單中唯一公布過註明日期的路由精確度數字的選項：在 RouterArena 2026 年 6 月的排行榜上達到 75.5%，提示評分低於 1 毫秒，串流中途故障轉移低於 50 毫秒。

• Portkey — 開放核心治理選項。一個採用 MIT 授權的閘道核心，搭配託管控制平面，涵蓋來自 45+ 家供應商的 1,600+ 個模型。免費方案與每月 $99 的 Scale 方案，可讓你在仍自行託管的流量上，獲得託管的預算、角色與可觀測性。需要納入考量的權衡是：RBAC、SSO/SCIM 和 VPC 部署皆位於付費方案中。

• Kong AI Gateway — 給已經在使用 Kong 的團隊。 它是 Kong API 管理平台內部的開源核心，為 LLM 閘道加入 SSO 與 PII 遮蔽功能。企業版方案每月約 $1,500 美元起。操作上較為沉重，但如果 Kong 已經是您的邊緣節點，它就是最自然的位置。

• Bifrost 或 Envoy AI Gateway — 自架時追求速度的選擇。Bifrost 是以 Apache-2.0 授權的 Go 閘道，宣稱路由額外負擔低於一毫秒；Envoy AI Gateway 則是 Apache-2.0 專案，建基於 Envoy，適合 Kubernetes 環境。兩者都維持自架的敘事，因此維運論點大致成立；不過 Bifrost 宣稱的數字尚未經過獨立重現——在押注正式環境前，請先用自己的流量測試。

• Helicone — 如果你需要的是可觀測性，而非路由。一個可直接替換的代理，具備每次請求的成本遙測和強大的儀表板。免費方案為每月 10,000 次請求，Pro 方案每月 25 美元起。路由智慧很基本——輪詢（round-robin）和故障轉移（failover）——因此與其說它是替代品，不如說它是 LiteLLM 的輔助工具。

• TrueFoundry — 企業級受管閘道。專有軟體，提供 SaaS 或 VPC 內部署與氣隙（air-gapped）環境，支援 SSO/SCIM、語意快取，並為 1,600+ 種模型提供安全防護。當您的採購流程需要廠商合約與 SLA，而非 GitHub 儲存庫時，這是最強而有力的選擇。

記分板的自托管永遠不會讓你有所進展。

沒有任何自託管代理會為其路由發布準確度數字，因為沒有可衡量的東西——它們是依賴設定轉發，而非依賴品質路由。RouterArena 的 2026 年 6 月排行榜是少數能讓路由層正面對決評分的地方之一，在榜上 OrcaRouter 以 75.5% 領先群雄，勝過 GPT-5 的 74.0 和 Azure 的 72.8。這個差距就是關鍵：一個在每個請求中選擇正確模型時準確度高出幾個百分點的路由器，能將耗時不到 1 毫秒的提示詞評分過程轉化為可衡量的品質提升，而不只是便利性。對於自託管代理，這整個面向都未被衡量——你是在信任一個設定檔，能對每週重新定價的模型市場做出正確判斷，而你手寫的回退規則，其有效性取決於你事先預測到的失敗模式。

當 LiteLLM 仍然是正確的選擇

以上都不是在說 LiteLLM 不好——而是在討論應該由誰來操作它。在某些具體情境下，LiteLLM 仍然是更好的選擇，而這些情境對於公平比較很重要：

• 你的流量只來自一或兩家供應商。如果你的整個應用程式只呼叫 OpenAI 和 Anthropic，沒有其他供應商，代理就只是個設定檔，維護非常簡單。

• 金鑰絕不能離開您的網路，沒有例外。 不允許任何託管服務（包括代管路由器）存在的氣隙隔離或嚴格地端環境，正是 LiteLLM 的主場。

• 您正自行打造轉售商或閘道產品。LiteLLM 支援在供應商價格之上設定加價，因此「增加利潤」功能集已內建。

• 你已經在運營這個平台。一個擁有 Postgres、Redis 和值班輪調機制的團隊，若想完全掌控資料平面，可能會覺得託管方案多餘而非解放。

• 你們的合規團隊不會簽署供應商合約。自行託管 MIT 函式庫在某種意義上完全免除了採購程序，這是任何 SaaS 都無法比擬的。

測試的重點不在於開源還是託管，而在於你所承擔的營運工作，是一筆你願意自己擁有的成本，還是一項你寧可購買的服務。在營運真正造成負擔的規模之下——一個代理、兩家供應商、一份設定檔——LiteLLM 是正確的答案，也是所有選項中最便宜的一個。超過那條線，託管選項就不再只是便利，而是關鍵本身。

切換就是變更 BASE_URL

上述每個選項皆保留了 OpenAI 相容契約，因此切換的規模通常比決策本身更小。您的客戶端 SDK 仍能持續運作；您只需在三處變更 base URL——SDK 初始化、執行時期設定與部署清單——並重新對應任何 LiteLLM 專屬的虛擬金鑰。有兩個真正的不相容點需要事先規劃：LiteLLM 的 x-litellm-* 請求標頭及其命名空間化的錯誤封套，這兩者小型介接程式一天內即可處理。路由層的變動比程式碼變動更大：您不再手寫備援規則，而是讓路由器自行選擇，而這正是您當初搜尋 LiteLLM 替代方案時所肩負的責任。

誠實的解讀

LiteLLM 的抉擇並非開源與雲端之爭，而是關於由誰來運行代理伺服器的決定。當維運工作微不足道，或邊界防護絕對嚴密時，LiteLLM 是正確的答案；如果本文沒有明說這點，那就是在誤導你。對於位於那條界線之上的所有人而言，一個每 token 零費用、每 60 秒更新供應商價格、在串流進行中於 50 毫秒內完成故障轉移，並公開其路由準確率（RouterArena 2026 年 6 月排行榜上的 75.5%）的受管路由器，是更難被擊敗的論點。

上述每個路由器與供應商都可透過單一 OpenAI 相容端點存取 — OrcaRouter 以供應商列表價格提供 200+ 個模型，每個 token 零加價，每 60 秒更新一次。取得您的 API 金鑰 — 無需信用卡，60 秒內啟用。