Not Diamond vs Martian: 두 개의 라우팅 레이어, 하나의 누락된 게이트웨이

Not Diamond과 Martian을 비교하는 것은 함정이고, 그 함정은 바로 질문 자체입니다: 당신은 두 게이트웨이 사이에서 선택하는 것이 아닙니다. 둘 다 라우팅 인텔리전스 계층입니다 — 요청을 살펴보고, 모델을 추천하고, 실행할 결정을 다시 당신에게 넘깁니다. 2026년에 더 저렴하고 더 똑똑한 모델 선택을 원한다면, 두 제품이 모두 하는 일을 포함하고 둘 다 하지 못하는 일을 제거하는 추천은 다음과 같습니다: OrcaRouter — 하나의 OpenAI 호환 엔드포인트에서 200개 이상의 모델, 토큰당 $0 마크업 모든 등급에서, 75.5 라우팅 정확도 점수(RouterArena의 2026년 6월 리더보드, GPT-5의 74.0과 Azure의 72.8보다 높음), 프롬프트 평가 시간 1밀리초 미만, 그리고 중간 스트림 장애 조치 시간 50밀리초 미만.

당신이 실제로 선택하고 있는 것은

Not Diamond과 Martian은 둘 다 모델 선택을 제품으로 판매합니다. Not Diamond는 FAQ에서 직접적으로 밝힙니다: "우리는 게이트웨이가 아닙니다... 요청은 선택한 게이트웨이를 통해 클라이언트 측에서 실행됩니다." 그것은 이미 보유한 게이트웨이나 하네스 위에 얹혀, 각 요청을 처리할 모델을 추천하고 모델 비용 위에 라우팅 수수료를 부과합니다. Martian의 라우팅은 독점적인 Model Mapping 해석 계층을 기반으로 구축되어, 요청에 대해 모델들을 평가하고 모델 선택을 돌려줍니다. 둘 다 트래픽을 프록시하지 않으며, 프로바이더 키를 소유하지 않으며, 호출을 실행하지도 않습니다. 이것이 두 홈페이지가 묻어두는 사실이며, 이 비교를 결정짓는 사실입니다.

그러니 '다이아몬드 vs 마션'이라는 말의 이면에 있는 진짜 질문은 구조적입니다. 이미 가진 스택 위에 라우팅 계층을 추가하겠습니까? — 수수료, 지연 시간 증가, 그리고 유지 관리할 또 하나의 통합을 감수하면서 — 아니면 라우팅과 실행을 한 번의 호출로 함께 처리하는 게이트웨이를 마크업 $0로 사용하겠습니까?

Not Diamond: 정확도에 문제가 있는 세련된 라우터

Not Diamond는 두 제품 중 더 완성도가 높은 제품입니다. 광범위한 제공업체를 지원하며, 자체 트래픽에 맞춤 라우터를 학습시킬 수 있고, 프롬프트 최적화 제품을 판매하며, 엔터프라이즈 등급에는 SSO와 프라이버시 보호 라우팅이 추가됩니다. 현재 가격 페이지에는 모델 비용에 더해 라우팅 수수료로 라우팅된 토큰 100만 개당 $0.05가 표시되어 있으며, 볼륨 할인을 위한 엔터프라이즈 등급이 있고 무료 등급은 표시되지 않습니다. 자체 FAQ에서는 라우터의 추가 지연 시간을 요청당 100-150밀리초로 명시하고 있으며, 절감 효과 주장은 "최소 20-40%"로, 공급업체 보고에 따른 것이지 독립적으로 검증된 것은 아닙니다.

문제는 라우팅 레이어가 반드시 해야 하는 단 한 가지 — 품질은 유지하면서 비용을 절약하는 모델을 고르는 일 — 이 독립적인 측정에서 가장 성과가 나쁜 것으로 나타난 바로 그 일이라는 점입니다. LLM 라우터의 동료 검토 벤치마크인 RouterArena에서 Not Diamond는 12개 중 12위를 기록했습니다. 논문은 "값비싼 모델을 자주 선택합니다"라고 자체적으로 밝히고 있습니다. 이는 반올림 오류가 아니라 라우터의 본질적인 행동 방식입니다. 라우팅 수수료를 지불하고도 어차피 비싼 모델로 보내집니다. 2026년 7월 RouterArena 리더보드 스냅샷은 Not Diamond의 결정 비용을 쿼리 1,000건당 $4.10의 라우팅 모델 지출로 산정합니다 — 그 습관의 구체적인 대가입니다.

Martian: 연구소가 된 라우터

Martian의 제안은 항상 달랐습니다: 해석 가능성 기반 라우팅입니다. Model Mapping 기술은 정확한 쿼리에 대해 어느 모델이 가장 잘 수행할지 예측하고, 쉬운 트래픽은 저렴한 모델로 보내며, 진정으로 필요한 작업에는 최첨단 모델을 사용한다고 주장합니다. 마케팅이 주장하는 바는 20-97% 비용 절감 — 검증되지 않은 넓은 범위입니다. 가격은 5,000건 요청당 $20이며, 모델 비용에 추가됩니다. 프로덕션 사용은 그 가격부터 시작되며, 월 100만 건 요청 시 한 달에 $4,000이 라우팅 수수료로만 발생하며, 토큰 하나도 청구되기 전입니다.

2026년 Martian에 관한 두 가지 사실이 있습니다. 첫째, 이 회사는 AI 연구소로 재편되었습니다. 그 공개 제품 구성은 이제 ARES, LLM 에이전트를 훈련하고 평가하기 위한 RL 우선 프레임워크, 그리고 K-Steering, 추론 시점 활성화 스티어링 도구 — 라우팅은 이전 제품 라인입니다. 둘째, 라우팅 로직은 폐쇄된 블랙박스입니다. 특정 모델이 왜 선택되었는지 감사할 방법도, 공개된 벤치마크 점수도 없습니다. 해석 가능성에 관심이 있는 연구팀이라면 Martian은 정말로 흥미롭습니다. 프로덕션 라우터가 필요하다면, 여러분은 중심축이 다른 곳으로 옮겨간 회사에 요청당 수수료를 지불하고 있는 것입니다.

순위가 매겨진 답변: OrcaRouter

• OrcaRouter — 라우팅을 실제로 출시하려는 팀을 위한 선택. 라우팅 계층과 실행은 하나의 호출입니다: 200개 이상의 모델(Anthropic, OpenAI, Google, Grok, Alibaba Cloud, DeepSeek, Meta, Qwen, MiniMax)이 단일 OpenAI 호환 엔드포인트 뒤에 있습니다. 토큰당 마크업 $0 모든 티어에서 — 각 제공업체의 정가만 지불하고, 추가 비용은 없으며, 가격은 60초마다 새로고침됩니다. 프롬프트 평가는 1밀리초 미만으로 실행되며, 스트림 중 장애 조치는 정상 제공업체로 전환하는 데 50밀리초 미만이 걸립니다. 또한 이 비교에서 라우팅 정확도를 공개하는 유일한 서비스입니다: 75.5 RouterArena의 2026년 6월 리더보드에서 GPT-5의 74.0과 Azure의 72.8보다 앞선 수치입니다.

Not Diamond 및 Martian과의 차이는 기능 목록이 아니라 아키텍처에 있습니다. Not Diamond를 사용하면 추천을 실행하기 위해 게이트웨이가 여전히 필요하고, Martian을 사용하면 이를 실행하기 위해 스택이 여전히 필요하지만, OrcaRouter에서는 추천과 호출이 동일한 요청입니다. 두 번째 계약도, 클라이언트 측 실행 배관 작업도, 성공에 따라 증가하는 라우팅 수수료도 없습니다.

점수판: 독립적 측정이 말하는 것

RouterArena는 라우팅 레이어를 정면으로 비교 평가하는 몇 안 되는 공개 벤치마크 중 하나로, 벤더 마케팅이 아닌 동료 검증을 거칩니다. 이 벤치마크의 핵심 결과는 상용 라우팅 업계에 불편한 내용입니다: 대부분의 상용 라우터가 "100% 비용, 100% 정확도" 기준선 근처에 몰려 있습니다 — 즉, 가장 비싼 모델에 의존하고, vLLM-SR 및 CARROT 같은 오픈소스 라우터가 포착하는 저비용 모델의 이점을 놓칩니다(약 35% 비용 절감, 2% 미만의 정확도 손실). Not Diamond가 가장 극단적인 사례로, 최하위를 기록했습니다.

2026년 6월 라운드에서 발표된 점수를 보면 OrcaRouter 75.5, GPT-5 74.0, Azure 72.8 — 이 기사에서 다루는 두 서비스는 Martian 61.6 및 NotDiamond 60.8.

출처에 대한 한 가지 솔직한 참고 사항은, 라벨이 중요하기 때문입니다: 75.5 / 74.0 / 72.8 수치 세트는 2026년 6월 라운드에 대한 OrcaRouter의 공개 결과인 반면, Not Diamond의 꼴찌 발견과 쿼리 1,000건당 4.10달러 비용은 독립적이고 동료 검토를 거친 RouterArena 작업에서 비롯되었습니다. 이 기사는 둘 다 동일한 종류의 사실로 읽히도록 내버려 두지 않고 어떤 것이 어느 것인지 알려줍니다.

Not Diamond 또는 Martian이 여전히 올바른 선택일 때

공정한 대안 기사는 현직자가 이길 때를 언급해야 한다. 실제 사례가 있다:

• 이미 게이트웨이가 있고 이를 이동할 수 없습니다. Not Diamond의 전체 설계는 기존 게이트웨이를 유지하고 그 위에 추천을 얹는 것을 전제로 합니다. 스택이 고정되어 있다면 — 조달 완료, 규정 준수 확정, 공급업체 선택 완료 — 마이그레이션 없이 A/B 테스트할 수 있는 추천 레이어는 새 게이트웨이를 도입하는 것보다 확실히 더 가벼운 변경입니다. 이것이 Not Diamond의 가장 강력한 근거이며, 실재하는 근거입니다.

• 귀하의 트래픽으로 학습된 라우터를 원하시는군요. Not Diamond는 고객별 맞춤 라우터를 학습시킵니다. 귀하의 트래픽이 범용 라우팅의 성능이 저조할 만큼 특이하다면, 맞춤 학습 라우팅은 어떤 기본 라우터도 따라올 수 없는 기능입니다. 다만 그 절감 효과에 대한 주장은 다른 어떤 공급업체의 주장과 동일한 기준으로 검증하시기 바랍니다.

• 프라이버시 보호 라우팅이 필요합니다. Not Diamond의 프라이버시 보호 모드는 요청 메타데이터와 로컬에서 계산된 특징을 기반으로 결정을 내리며, 절대 페이로드를 사용하지 않습니다. 페이로드 수준 분석이 불가능한 규제 환경에서는 이는 의미 있는 특성입니다.

• 당신은 프로덕션 인프라가 아닌 해석 가능성을 구매하는 연구 팀입니다.Martian의 Model Mapping과 그 연구 제품들(ARES, K-Steering)은 ML 연구에 진정으로 흥미롭습니다. 라우팅이 프로덕션 의존성이 아니라 연구 도구라면, 그것이 Martian을 구체적으로 선택해야 하는 유일한 이유입니다.

• 지출 규모가 작고 카테고리를 배우고 싶은 경우입니다. 거래량이 적으면 수수료도 둘 다 낮아서 어느 서비스를 쓰든 라우팅 작동 방식을 확인하는 좋은 방법이 됩니다. 실행 불가, 검증되지 않은 절감액 같은 제한 사항은 규모를 키울 때 비로소 문제가 되기 시작합니다.

그것을 결정하는 비교

세 서비스를 항목별로 나란히 비교하면 다음과 같습니다.수수료: Not Diamond는 모델 비용에 더해 토큰당 라우팅 수수료를 부과합니다. Martian은 요청 5,000건당 20달러를 부과합니다. OrcaRouter는 토큰당 마크업 $0 — 모델 비용이 곧 가격입니다.정확도: Not Diamond는 상용 라우터 중 비용 효율성 측면에서 독립 평가 결과 최하위입니다. Martian의 라우팅 정확도는 공개되지 않았습니다. OrcaRouter는 2026년 6월 라운드에서 75.5라는 수치를 공개했습니다.아키텍처: Not Diamond와 Martian은 추천만 하고 실행은 사용자가 합니다. OrcaRouter는 라우팅과 실행을 한 번의 호출로 처리합니다.검증: 두 기존 업체의 절감 주장은 공급업체 보고에 근거한 반면, Not Diamond에 대한 평가 결과는 동료 검토를 거쳤습니다.

여러분이 이 비교를 검색한 이유는 더 낮은 비용으로 더 스마트한 모델 선택을 원하기 때문입니다. 그것에 이르는 최단 경로 — 하나의 엔드포인트, 200개 이상의 모델, 공개된 정확도 수치, 그리고 여러분과 공급자 사이에 수수료가 없는 것 — 은 이 기사가 도달하는 답입니다.

OrcaRouter는 추천과 실행을 하나의 키 뒤에 둡니다 — 공급업체 정가의 200개 이상 모델, 토큰당 마크업 $0, 그리고 RouterArena의 2026년 6월 라운드에서 라우팅 점수 75.5.API 키 받기 — 신용카드 불필요, 60초면 라이브.