Not Diamond so với Martian: Hai lớp định tuyến, Một cổng kết nối còn thiếu

So sánh Not Diamond và Martian là một cái bẫy, và cái bẫy nằm ở chính câu hỏi: bạn không đang lựa chọn giữa hai cổng kết nối. Cả hai đều là các lớp trí tuệ định tuyến — chúng xem xét yêu cầu của bạn, đề xuất một mô hình, rồi trao quyền quyết định lại cho bạn để thực thi. Nếu bạn muốn lựa chọn mô hình rẻ hơn, thông minh hơn vào năm 2026, giải pháp bao trùm những gì cả hai làm được và loại bỏ những gì cả hai không làm được là OrcaRouter — hơn 200 mô hình trên một điểm cuối tương thích OpenAI, $0 phí cộng thêm trên mỗi token ở mọi gói, với 75.5 điểm chính xác định tuyến trên bảng xếp hạng RouterArena tháng 6 năm 2026 (vượt qua GPT-5 ở mức 74.0 và Azure ở mức 72.8), chấm điểm prompt trong dưới 1 mili giây, và chuyển đổi dự phòng ngay giữa luồng trong dưới 50 mili giây.

Điều bạn thực sự đang lựa chọn giữa

Cả Not Diamond và Martian đều bán dịch vụ lựa chọn mô hình như một sản phẩm. Not Diamond nói thẳng điều đó trong FAQ: “Chúng tôi không phải là gateway... yêu cầu sau đó được thực thi ở phía máy khách thông qua gateway bạn chọn.” Nó nằm trên gateway hoặc bộ khung (harness) bạn đã có, đề xuất mô hình nào nên xử lý từng yêu cầu, và tính thêm phí định tuyến vào chi phí mô hình của bạn. Cơ chế định tuyến của Martian được xây dựng dựa trên lớp diễn giải Model Mapping độc quyền, lớp này chấm điểm các mô hình theo yêu cầu của bạn và trả về một lựa chọn mô hình. Cả hai đều không proxy lưu lượng truy cập, không nắm giữ khóa nhà cung cấp của bạn, và không thực thi cuộc gọi. Đó là sự thật mà cả hai trang chủ đều giấu kín, và cũng là sự thật quyết định sự so sánh này.

Vậy câu hỏi thực sự đằng sau "not diamond vs martian" là vấn đề cấu trúc. Bạn có thêm một lớp định tuyến lên trên stack hiện có — với một khoản phí, độ trễ tăng thêm, và một tích hợp khác phải duy trì — hay bạn dùng một gateway định tuyến và thực thi cùng lúc, trong một lần gọi, với mức chênh lệch $0?

Not Diamond: bộ định tuyến bóng bẩy với vấn đề về độ chính xác

Not Diamond là sản phẩm hoàn thiện hơn trong hai sản phẩm. Nó hỗ trợ nhiều nhà cung cấp, có thể huấn luyện các bộ định tuyến tùy chỉnh trên lưu lượng truy cập của riêng bạn, bán sản phẩm tối ưu hóa lời nhắc và gói doanh nghiệp của nó bổ sung SSO và định tuyến bảo vệ quyền riêng tư. Trang giá hiện tại của nó liệt kê mức phí định tuyến là $0.05 cho mỗi triệu token được định tuyến trên cơ sở chi phí mô hình, với gói doanh nghiệp để giảm giá theo khối lượng và không hiển thị gói miễn phí nào. Câu hỏi thường gặp của chính nó cho biết độ trễ gia tăng của bộ định tuyến là 100-150 mili giây cho mỗi yêu cầu, và tuyên bố tiết kiệm là "ít nhất 20-40%": do nhà cung cấp báo cáo, không được xác minh độc lập.

Vấn đề là điều duy nhất mà một lớp định tuyến phải làm — chọn các mô hình tiết kiệm chi phí mà không làm giảm chất lượng — lại chính là điều mà đo lường độc lập cho thấy nó làm kém nhất. Trên RouterArena, chuẩn đánh giá được bình duyệt cho các bộ định tuyến LLM, Not Diamond xếp hạng 12/12. Chính bài báo cũng thừa nhận: nó "thường xuyên chọn các mô hình đắt tiền." Đây không phải là sai số làm tròn; đây là hành vi đặc trưng của bộ định tuyến. Bạn trả phí định tuyến và vẫn bị chuyển đến các mô hình đắt tiền. Một ảnh chụp bảng xếp hạng RouterArena vào tháng 7 năm 2026 cho thấy chi phí cho các quyết định của Not Diamond là $4.10 cho mỗi 1.000 truy vấn trong chi phí mô hình được định tuyến — cái giá cụ thể của thói quen đó.

Martian: bộ định tuyến đã trở thành một phòng thí nghiệm nghiên cứu

Bài chào hàng của Martian luôn khác biệt: định tuyến dựa trên khả năng diễn giải. Công nghệ Model Mapping của họ tuyên bố có thể dự đoán mô hình nào sẽ hoạt động tốt nhất cho truy vấn chính xác của bạn, chuyển các truy vấn dễ đến các mô hình rẻ và dành mô hình tiên tiến nhất cho những gì thực sự cần nó. Các tuyên bố tiếp thị tiết kiệm chi phí 20-97% — một phạm vi rộng, chưa được kiểm chứng. Giá là $20 cho mỗi 5,000 yêu cầu cộng với chi phí mô hình, với việc sử dụng production bắt đầu từ mức đó; ở mức một triệu yêu cầu mỗi tháng, đó là $4,000 mỗi tháng chỉ riêng phí định tuyến, trước khi một token nào được tính phí.

Hai điều về Martian trong năm 2026. Thứ nhất, công ty đã định vị lại như một phòng thí nghiệm nghiên cứu AI: bề mặt sản phẩm công khai của họ hiện dẫn đầu với ARES, một framework ưu tiên RL để huấn luyện và đánh giá các tác nhân LLM, và K-Steering, một công cụ điều hướng kích hoạt tại thời điểm suy luận — định tuyến là dòng sản phẩm cũ hơn. Thứ hai, logic định tuyến là một hộp đen kín. Không có điểm chuẩn công khai và không có cách nào để kiểm tra tại sao một mô hình cụ thể lại được chọn. Nếu bạn là một nhóm nghiên cứu quan tâm đến khả năng diễn giải, Martian thực sự thú vị. Nếu bạn cần một bộ định tuyến cho sản xuất, bạn đang trả phí theo từng yêu cầu cho một công ty mà trọng tâm của họ đã chuyển sang nơi khác.

Câu trả lời được xếp hạng: OrcaRouter

• OrcaRouter — lựa chọn cho các đội ngũ muốn routing thực sự đi vào hoạt động. Lớp định tuyến và quá trình thực thi là một lời gọi duy nhất: hơn 200 mô hình từ Anthropic, OpenAI, Google, Grok, Alibaba Cloud, DeepSeek, Meta, Qwen và MiniMax thông qua một endpoint tương thích OpenAI. $0 phụ phí trên mỗi token ở mọi gói — bạn trả đúng giá niêm yết của từng nhà cung cấp, không thêm gì cả, và giá được làm mới mỗi 60 giây. Việc chấm điểm prompt chạy trong dưới 1 mili giây; cơ chế chuyển đổi dự phòng giữa luồng chuyển sang một nhà cung cấp đang hoạt động tốt trong dưới 50 mili giây. Đây cũng là dịch vụ duy nhất trong bảng so sánh này công bố độ chính xác định tuyến của mình: 75.5 trên bảng xếp hạng tháng 6 năm 2026 của RouterArena, vượt qua GPT-5 ở mức 74.0 và Azure ở mức 72.8.

Sự khác biệt với Not Diamond và Martian mang tính kiến trúc, không phải là danh sách tính năng. Với Not Diamond, bạn vẫn cần một gateway để thực thi đề xuất; với Martian, bạn vẫn cần một stack để thực thi nó; với OrcaRouter, đề xuất và cuộc gọi là cùng một yêu cầu. Không có hợp đồng thứ hai, không có phần xử lý thực thi phía máy khách, và không có phí định tuyến tăng theo mức độ thành công của bạn.

Bảng điểm: điều mà phép đo độc lập cho thấy

RouterArena là một trong số ít các benchmark công khai đánh giá trực tiếp các lớp định tuyến đối đầu với nhau, và nó được bình duyệt ngang hàng thay vì là tiếp thị của nhà cung cấp. Phát hiện nổi bật của nó là điều không mấy dễ chịu cho ngành định tuyến thương mại: hầu hết các bộ định tuyến thương mại tập trung quanh mốc chuẩn "100% chi phí, 100% độ chính xác" — chúng dựa vào các mô hình đắt nhất và bỏ lỡ các lợi ích từ mô hình giá rẻ mà các bộ định tuyến mã nguồn mở như vLLM-SR và CARROT đạt được (tiết kiệm khoảng 35% chi phí với mức mất độ chính xác dưới 2%). Not Diamond là kẻ vi phạm nghiêm trọng nhất, bị xếp cuối cùng.

Trong vòng đánh giá tháng 6 năm 2026, điểm được công bố xếp hạng như sau: OrcaRouter 75.5, GPT-5 74.0, Azure 72.8 — với hai dịch vụ được bài viết này nhắc đến đang xếp cuối ở mức Martian 61.6 và NotDiamond 60.8.

Một lưu ý trung thực về nguồn dữ liệu, vì các nhãn mác quan trọng: bộ số liệu 75.5 / 74.0 / 72.8 là kết quả được công bố của OrcaRouter cho vòng tháng 6 năm 2026, trong khi phát hiện về vị trí cuối bảng của Not Diamond và chi phí 4,10 đô la cho mỗi 1.000 truy vấn đến từ công trình RouterArena độc lập, được bình duyệt. Bài viết này cho bạn biết cái nào là cái nào thay vì để cả hai được đọc như cùng một loại sự thật.

Khi Not Diamond hoặc Martian vẫn là lựa chọn đúng đắn

Một bài viết về các lựa chọn thay thế công bằng phải nói rõ khi những người đương nhiệm thắng. Có những trường hợp thực tế:

• Bạn đã có sẵn một gateway và không thể di chuyển nó. Toàn bộ thiết kế của Not Diamond giả định rằng bạn giữ gateway hiện tại của mình và xếp lớp các đề xuất lên trên. Nếu stack của bạn đã bị khóa — việc mua sắm đã hoàn tất, tuân thủ đã được xử lý, nhà cung cấp đã được chọn — một lớp đề xuất mà bạn có thể kiểm thử A/B mà không cần di chuyển là một thay đổi thực sự nhẹ nhàng hơn so với việc áp dụng một gateway mới. Đây là luận điểm mạnh nhất cho Not Diamond, và đó là một luận điểm thực sự.

• Bạn muốn một bộ định tuyến được huấn luyện trên chính lưu lượng của mình. Not Diamond không huấn luyện các bộ định tuyến tùy chỉnh cho từng khách hàng. Nếu lưu lượng của bạn đủ khác thường khiến định tuyến chung hoạt động kém hiệu quả, thì định tuyến được huấn luyện tùy chỉnh là tính năng mà không bộ định tuyến mặc định nào sánh được — chỉ cần đánh giá các tuyên bố tiết kiệm của họ theo cùng tiêu chuẩn mà bạn áp dụng cho bất kỳ nhà cung cấp nào.

• Bạn cần định tuyến bảo vệ quyền riêng tư. Chế độ bảo vệ quyền riêng tư của Not Diamond đưa ra quyết định dựa trên siêu dữ liệu yêu cầu và các đặc trưng được tính toán cục bộ, không bao giờ dựa trên payload của bạn. Trong các môi trường có quy định chặt chẽ, nơi phân tích ở cấp độ payload không được phép, thì đó là một đặc tính có ý nghĩa.

• Bạn là một nhóm nghiên cứu mua khả năng diễn giải, không phải hạ tầng sản xuất.Model Mapping của Martian và các sản phẩm nghiên cứu của nó (ARES, K-Steering) thực sự thú vị đối với nghiên cứu ML. Nếu định tuyến là một công cụ nghiên cứu thay vì một phụ thuộc sản xuất, thì đó là lý do duy nhất để chọn Martian.

• Chi tiêu của bạn rất nhỏ và bạn muốn tìm hiểu về danh mục này. Ở khối lượng thấp, cả hai khoản phí đều nhỏ và cả hai dịch vụ đều là cách tốt để thấy cách định tuyến hoạt động. Các hạn chế — không thực thi, tiết kiệm chưa được xác minh — chỉ bắt đầu gây khó khăn khi bạn mở rộng quy mô.

Sự so sánh quyết định

Từng dòng một, ba dịch vụ được xếp như sau. Phí: Not Diamond tính phí định tuyến theo token, cộng thêm vào chi phí mô hình; Martian tính $20 cho mỗi 5.000 yêu cầu; OrcaRouter tính mức cộng thêm $0 mỗi token — chi phí mô hình chính là giá. Độ chính xác: Not Diamond được đánh giá độc lập, xếp cuối cùng trong số các bộ định tuyến thương mại về hiệu quả chi phí; độ chính xác định tuyến của Martian không được công bố; OrcaRouter công bố con số của mình, 75.5 trong vòng tháng 6 năm 2026. Kiến trúc: Not Diamond và Martian đề xuất, còn bạn thực hiện; OrcaRouter định tuyến và thực hiện trong một lần gọi. Xác minh: các tuyên bố về khoản tiết kiệm của cả hai nhà cung cấp hiện tại đều do chính nhà cung cấp báo cáo, trong khi kết luận bất lợi cho Not Diamond đã được bình duyệt.

Bạn đã tìm kiếm bài so sánh này vì bạn muốn lựa chọn mô hình thông minh hơn với chi phí thấp hơn. Con đường ngắn nhất để đạt được điều đó — một điểm cuối, hơn 200 mô hình, một con số độ chính xác được công bố, và không có khoản phí nào chen giữa bạn và các nhà cung cấp — chính là đáp án mà bài viết này đi đến.

OrcaRouter gói gọn khuyến nghị và thực thi trong một chìa khóa — 200+ mô hình theo giá niêm yết của nhà cung cấp, $0 phụ phí mỗi token, và điểm định tuyến 75.5 tại vòng đánh giá tháng 6 năm 2026 của RouterArena.Lấy khóa API của bạn — không cần thẻ tín dụng, hoạt động trong 60 giây.