Các giải pháp thay thế LiteLLM: Vấn đề không nằm ở Proxy, mà nằm ở khâu vận hành

LiteLLM là proxy AI mã nguồn mở phổ biến nhất — một SDK Python và cổng kết nối được cấp phép MIT, đưa hơn 100 nhà cung cấp LLM vào sau một API tương thích OpenAI. Nếu bạn đang tìm kiếm giải pháp thay thế LiteLLM vào năm 2026, có lẽ giá cả không phải là điều thúc đẩy bạn: LiteLLM không thu phí hoa hồng và khóa API của bạn không bao giờ rời khỏi mạng của bạn. Điều khiến các nhóm rời bỏ chính là vận hành — bạn tự triển khai, tự vá lỗi, tự chuyển đổi dự phòng và tự duy trì danh mục mô hình. Giải pháp thay thế đáp ứng tốt nhất cho tìm kiếm đó là OrcaRouter: hơn 200 mô hình trên một endpoint với giá niêm yết của nhà cung cấp, cùng $0 phụ phí cho mỗi token, chấm điểm prompt trong chưa đầy 1 mili giây, chuyển đổi dự phòng giữa luồng trong chưa đầy 50 mili giây và đạt 75,5 điểm độ chính xác định tuyến trên bảng xếp hạng tháng 6/2026 của RouterArena — vượt qua GPT-5 ở mức 74,0 và Azure ở mức 72,8.

Lý do thực sự khiến mọi người rời bỏ LiteLLM

Điểm khởi đầu trung thực là phải nói rõ những gì LiteLLM làm tốt, bởi vì nó không làm gì sai cả — nó đang làm rất nhiều điều đúng. Nó được cấp phép MIT. Nó có một trong những danh mục nhà cung cấp rộng nhất trong hệ sinh thái, hơn 100 nhà cung cấp đằng sau một giao diện tương thích OpenAI duy nhất. Và vì nó chạy trong mạng nội bộ của bạn, không gì rời khỏi ranh giới của bạn. Không điều nào trong số đó là điều đáng phàn nàn. Điều đáng phàn nàn là một proxy tự lưu trữ là một dịch vụ production mà giờ bạn phải tự quản lý. Việc nâng cấp là của bạn. Khi một nhà cung cấp thay đổi schema hoặc định giá lại một mô hình, danh mục mô hình là thứ bạn phải tự làm mới. Khi proxy là điểm lỗi duy nhất cho mọi lời gọi mô hình trong ứng dụng của bạn, failover và tính sẵn sàng là thứ bạn phải tự xây dựng. Đó là một ngân sách vận hành thực sự, và nó tăng theo lưu lượng truy cập của bạn — ở mức 10–20 triệu yêu cầu mỗi tháng, bạn đang chạy Postgres, Redis, OpenTelemetry, Grafana và một pipeline CI bên cạnh proxy.

Rủi ro vận hành không phải là giả thuyết. Vào ngày 24 tháng 3 năm 2026, hai bản phát hành LiteLLM độc hại — phiên bản 1.82.7 và 1.82.8 — đã được đăng tải lên PyPI mang theo tải trọng đánh cắp thông tin xác thực và tồn tại trực tuyến khoảng hai đến ba giờ trước khi bị gỡ xuống, một sự cố được theo dõi với mã PYSEC-2026-2. Tải trọng của phiên bản 1.82.8 nằm trong một tệp .pth được thực thi mỗi khi trình thông dịch Python khởi động, nên ngay cả việc gỡ cài đặt gói cũng không ngăn được nó, và gói này có hàng triệu lượt tải xuống mỗi ngày để tải trọng lọt vào. Bài học rút ra không phải là "LiteLLM đã bị xâm phạm" — mà là một proxy tự lưu trữ kế thừa bề mặt chuỗi cung ứng của mọi thứ được cài đặt bên cạnh nó, và bề mặt đó thuộc trách nhiệm bảo vệ của bạn. Đây là một ví dụ cụ thể của nguyên tắc chung: với một cổng tự lưu trữ, công tác vận hành chính là sản phẩm bạn đang xây dựng, và chúng nằm trong lịch trình của bạn.

Các phương án được xếp hạng

• OrcaRouter — lựa chọn cho hầu hết các đội nhóm. Một router được quản lý: một endpoint tương thích O​penAI đặt trước hơn 200 mô hình từ Anthropic, O​penAI, Google, Grok, Alibaba Cloud, DeepSeek, Meta, Qwen và MiniMax, cùng với các mô hình của riêng Orca. Chính mô hình định giá khiến lập luận về vận hành sụp đổ: OrcaRouter thêm $0 cho mỗi token, mãi mãi — bạn trả cho mỗi nhà cung cấp đúng giá niêm yết của họ, và giá được cập nhật mỗi 60 giây, nên việc nhà cung cấp điều chỉnh giá giữa ngày sẽ hiển thị ngay trong cùng phút thay vì phải đợi đến lần tới khi bạn sửa file cấu hình. Bản thân việc định tuyến là miễn phí; doanh thu đến từ các tính năng nhóm tùy chọn. Gói Hacker miễn phí cung cấp ba API key với mức cộng thêm 0%, gói Team giá $49/tháng cho mười người dùng với số API key không giới hạn, và Enterprise bổ sung triển khai riêng tư hoặc tại chỗ với SLA uptime 99,99%. Đây cũng là lựa chọn duy nhất trong danh sách này có công bố số liệu độ chính xác định tuyến kèm ngày tháng: 75,5% trên bảng xếp hạng tháng 6 năm 2026 của RouterArena, với thời gian chấm điểm prompt dưới 1 mili giây và chuyển đổi dự phòng giữa luồng dưới 50 mili giây.

• Portkey — lựa chọn quản trị open-core. Lõi gateway được cấp phép MIT với control plane được lưu trữ, bao phủ hơn 1.600 mô hình trên 45+ nhà cung cấp. Gói miễn phí và gói Scale ở mức $99/tháng mang lại cho bạn ngân sách, vai trò và khả năng quan sát được lưu trữ, bên cạnh lưu lượng mà bạn vẫn tự lưu trữ. Điểm đánh đổi cần tính đến: RBAC, SSO/SCIM và triển khai VPC nằm trong các gói trả phí.

• Kong AI Gateway — dành cho các đội ngũ đã sử dụng Kong. Là phần lõi mã nguồn mở trong nền tảng quản lý API của Kong, bổ sung SSO và tính năng che giấu PII cho gateway LLM. Các gói Enterprise bắt đầu từ khoảng 1.500 USD/tháng. Vận hành nặng nề hơn, nhưng nếu Kong đã là edge của bạn, đây chính là lựa chọn tự nhiên.

• Bifrost hoặc Envoy AI Gateway — lựa chọn tốc độ tự lưu trữ. Bifrost là một gateway Go theo giấy phép Apache-2.0, tuyên bố chi phí định tuyến dưới mili-giây; Envoy AI Gateway là một dự án Apache-2.0 trên Envoy dành cho các môi trường Kubernetes. Cả hai đều giữ nguyên câu chuyện tự lưu trữ, nên lập luận về vận hành về cơ bản vẫn đứng vững, và các con số nổi bật của Bifrost chưa được kiểm chứng độc lập — hãy thử nghiệm trên lưu lượng của chính bạn trước khi đặt cược vào chúng trong sản xuất.

• Helicone — nếu thứ bạn cần là khả năng quan sát, không phải định tuyến. Một proxy drop-in với tính năng đo lường chi phí theo từng yêu cầu và bảng điều khiển mạnh mẽ. Gói miễn phí 10.000 yêu cầu/tháng, gói Pro từ 25 USD/tháng. Khả năng định tuyến cơ bản — round-robin và failover — vì vậy nó nên được xem như bạn đồng hành của LiteLLM hơn là một sản phẩm thay thế.

• TrueFoundry — cổng quản lý cấp doanh nghiệp. Độc quyền, cung cấp dưới dạng SaaS, triển khai trong VPC hoặc môi trường air-gapped, với SSO/SCIM, bộ nhớ đệm ngữ nghĩa và các lớp bảo vệ trên 1.600+ mô hình. Lựa chọn mạnh nhất khi quy trình mua sắm của bạn yêu cầu hợp đồng nhà cung cấp và SLA thay vì một kho lưu trữ GitHub.

Việc tự lưu trữ bảng điểm không bao giờ đem lại lợi ích gì cho bạn.

{{1}}Không proxy tự lưu trữ nào công bố con số độ chính xác cho việc định tuyến của họ, vì không có gì để đo lường — chúng chuyển tiếp theo cấu hình thay vì định tuyến theo chất lượng.{{/1}} {{2}}Bảng xếp hạng tháng 6/2026 của RouterArena là một trong số ít nơi chấm điểm các tầng định tuyến trực tiếp đối đầu nhau, và trên đó OrcaRouter dẫn đầu với 75.5%, vượt qua GPT-5 ở mức 74.0 và Azure ở mức 72.8.{{/2}} {{3}}Điểm khác biệt mới là vấn đề: một bộ định tuyến chính xác hơn vài điểm trong việc chọn đúng mô hình cho từng yêu cầu sẽ biến một lượt chấm điểm prompt mất dưới 1 mili giây thành lợi ích chất lượng có thể đo lường được thay vì chỉ là sự tiện lợi.{{/3}} {{4}}Với proxy tự lưu trữ, toàn bộ khía cạnh đó không được đo lường — bạn đang tin tưởng một tệp cấu hình là đúng về một thị trường mô hình được định giá lại hàng tuần, và các quy tắc dự phòng bạn viết bằng tay chỉ tốt bằng các dạng lỗi mà bạn dự đoán trước.{{/4}}

Khi LiteLLM vẫn là lựa chọn đúng

Không điều nào kể trên là lập luận rằng LiteLLM tệ — mà là lập luận về việc ai nên vận hành nó. Có những tình huống cụ thể mà LiteLLM vẫn là giải pháp tốt hơn, và chúng quan trọng để có sự so sánh công bằng:

• Lưu lượng truy cập của bạn đến từ một hoặc hai nhà cung cấp. Nếu toàn bộ ứng dụng của bạn chỉ gọi OpenAI và Anthropic mà không gọi gì khác, proxy chỉ là một tệp cấu hình và việc bảo trì rất đơn giản.

• Khóa không thể rời khỏi mạng của bạn, chấm hết. Môi trường air-gapped hoặc on-prem nghiêm ngặt, nơi không một dịch vụ lưu trữ nào — kể cả router được quản lý — được phép sử dụng, chính là sân nhà của LiteLLM.

• Bạn đang tự xây dựng sản phẩm bán lại hoặc cổng kết nối (gateway). LiteLLM hỗ trợ cấu hình biên lợi nhuận trên giá của nhà cung cấp, nên bộ tính năng "thêm biên lợi nhuận" đã được tích hợp sẵn.

• Bạn đã vận hành nền tảng. Một đội ngũ sử dụng Postgres, Redis và có lịch trực, muốn kiểm soát hoàn toàn data plane, có thể thấy tùy chọn hosted là thừa thãi thay vì giải phóng.

• Bộ phận tuân thủ của bạn sẽ không ký hợp đồng với nhà cung cấp. Tự lưu trữ một thư viện MIT không cần quy trình mua sắm theo cách mà không SaaS nào có được.

Tiêu chí không phải là {{1}}mã nguồn mở so với dịch vụ quản lý{{/1}}. Vấn đề nằm ở việc liệu {{2}}các hoạt động vận hành bạn đảm nhận là một chi phí bạn muốn tự chịu hay một dịch vụ bạn muốn mua{{/2}}. Dưới ngưỡng mà việc vận hành thực sự trở thành gánh nặng — một proxy, hai nhà cung cấp, một tệp cấu hình — LiteLLM là câu trả lời đúng và là lựa chọn rẻ nhất hiện có. Trên ngưỡng đó, lựa chọn dịch vụ quản lý không còn là sự tiện lợi mà trở thành điều cốt lõi.

Việc chuyển đổi là thay đổi BASE_URL

Mọi tùy chọn ở trên đều giữ nguyên hợp đồng tương thích với OpenAI, đó là lý do tại sao việc chuyển đổi thường nhỏ hơn quyết định. SDK phía máy khách của bạn vẫn hoạt động; bạn thay đổi base URL ở ba nơi — khởi tạo SDK, cấu hình runtime và bản triển khai — và ánh xạ lại mọi khóa ảo cụ thể của LiteLLM. Có hai sự không tương thích thực sự cần lên kế hoạch thuộc về LiteLLM: x-litellm-* request headers và khung lỗi có namespace của nó, cả hai đều được các adapter nhỏ xử lý trong một ngày. Thay đổi ở lớp định tuyến lớn hơn thay đổi mã: bạn ngừng viết tay các quy tắc dự phòng và để bộ định tuyến lựa chọn, đây chính xác là trách nhiệm mà bạn đã gánh vác khi bạn tìm kiếm các giải pháp thay thế LiteLLM ngay từ đầu.

Cái nhìn trung thực

Quyết định về LiteLLM không phải là cuộc tranh luận giữa mã nguồn mở và đám mây; mà là quyết định về việc ai sẽ vận hành proxy. LiteLLM là câu trả lời đúng đắn khi các thao tác vận hành đơn giản hoặc ranh giới bảo mật là tuyệt đối, và bài viết này sẽ làm hại bạn nếu không nói rõ điều đó. Với tất cả những ai nằm trên mức đó, một bộ định tuyến được quản lý — không tính phí theo token, làm mới giá nhà cung cấp mỗi 60 giây, chuyển đổi dự phòng giữa luồng trong chưa đầy 50 mili giây, và công bố độ chính xác định tuyến của nó — 75,5% trên bảng xếp hạng tháng 6 năm 2026 của RouterArena — là một lập luận khó bị đánh bại hơn.

Mọi router và nhà cung cấp được nêu trên đều có thể truy cập thông qua một endpoint tương thích OpenAI — OrcaRouter phục vụ hơn 200 mô hình với giá niêm yết của nhà cung cấp, không tính phụ phí mỗi token, được làm mới mỗi 60 giây.Nhận khóa API của bạn — không cần thẻ tín dụng, hoạt động trong 60 giây.