Not Diamond vs. Martian: Zwei Routing-Ebenen, ein fehlendes Gateway

Not Diamond und Martian zu vergleichen ist eine Falle, und die Falle ist die Frage selbst: Du wählst nicht zwischen zwei Gateways. Beide sind Routing-Intelligence-Ebenen – sie betrachten deine Anfrage, empfehlen ein Modell und geben die Entscheidung zur Ausführung an dich zurück. Wenn du 2026 eine günstigere, intelligentere Modellauswahl möchtest, ist die Empfehlung, die abdeckt, was beide tun, und entfernt, was keines tut, OrcaRouter – 200+ Modelle auf einem OpenAI-kompatiblen Endpunkt, $0 Aufschlag pro Token auf jeder Tarifstufe, eine 75.5-Routing-Genauigkeitspunktzahl auf dem RouterArena-Leaderboard vom Juni 2026 (vor GPT-5 mit 74.0 und Azure mit 72.8), Prompt-Bewertung in unter 1 Millisekunde, und Mid-Stream-Failover in unter 50 Millisekunden.

Wovon du eigentlich die Wahl hast

Sowohl Not Diamond als auch Martian verkaufen Modellauswahl als Produkt. Not Diamond sagt es deutlich in seinen FAQ: „Wir sind kein Gateway... die Anfrage wird dann clientseitig über das Gateway Ihrer Wahl ausgeführt." Es sitzt auf dem Gateway oder Harness, das Sie bereits haben, empfiehlt, welches Modell jede Anfrage bearbeiten soll, und berechnet eine Routing-Gebühr zusätzlich zu Ihren Modellkosten. Das Routing von Martian basiert auf seiner proprietären Model-Mapping-Interpretierbarkeitsschicht, die Modelle anhand Ihrer Anfrage bewertet und eine Modellauswahl zurückgibt. Keines der beiden leitet Ihren Datenverkehr als Proxy weiter, keines besitzt Ihre Provider-Schlüssel und keines führt den Aufruf aus. Das ist die Tatsache, die beide Homepages verschweigen, und es ist die Tatsache, die diesen Vergleich entscheidet.

Die eigentliche Frage hinter „nicht Diamant gegen Marsmensch“ ist struktureller Natur. Fügen Sie eine Routing-Schicht auf dem Stack hinzu, den Sie bereits haben – mit einer Gebühr, einem Latenzanstieg und einer weiteren Integration, die es zu warten gilt – oder verwenden Sie ein Gateway, das Routing und Ausführung in einem einzigen Aufruf zusammen durchführt, zu einem Aufschlag von $0?

Nicht Diamond: der ausgefeilte Router mit einem Genauigkeitsproblem

Not Diamond ist das ausgereiftere Produkt der beiden. Es unterstützt eine breite Palette von Anbietern, kann benutzerdefinierte Router auf dem eigenen Datenverkehr trainieren, verkauft ein Produkt zur Prompt-Optimierung, und seine Enterprise-Stufe fügt SSO und datenschutzschonendes Routing hinzu. Die aktuelle Preisseite listet eine Routing-Gebühr von $0,05 pro Million gerouteter Tokens zusätzlich zu den Modellkosten, mit einer Enterprise-Stufe für Mengenrabatte und ohne angezeigte kostenlose Stufe. Im eigenen FAQ wird die zusätzliche Latenz des Routers mit 100-150 Millisekunden pro Anfrage angegeben, und die Ersparnisbehauptung lautet „mindestens 20-40 %“: vom Anbieter gemeldet, nicht unabhängig verifiziert.

Das Problem ist, dass genau die eine Sache, die eine Routing-Ebene tun muss — Modelle auszuwählen, die Geld sparen, ohne Qualität einzubüßen — laut unabhängiger Messungen genau die ist, bei der sie am schlechtesten abschneidet. Auf RouterArena, dem Peer-Review-Benchmark für LLM-Router, belegt Not Diamond Platz 12 von 12. Das Paper sagt es selbst: Der Router „wählt häufig teure Modelle aus“. Das ist kein Rundungsfehler; es ist das Verhalten, das den Router ausmacht. Man zahlt die Routing-Gebühr und wird trotzdem zu den teuren Modellen geschickt. Ein Schnappschuss der RouterArena-Rangliste vom Juli 2026 beziffert die Kosten der Entscheidungen von Not Diamond auf 4,10 $ pro 1.000 Abfragen an Ausgaben für geroutete Modelle — der konkrete Preis dieser Gewohnheit.

Martian: der Router, der zu einem Forschungslabor wurde

Martian's Pitch war schon immer anders: interpretierbarkeitsgesteuertes Routing. Seine Model-Mapping-Technologie behauptet, vorherzusagen, welches Modell bei Ihrer genauen Anfrage am besten abschneidet, indem es einfachen Traffic an günstige Modelle weiterleitet und die Spitzenmodelle für Anfragen reserviert, die sie wirklich brauchen. Das Marketing verspricht 20-97 % Kosteneinsparung — eine breite, unbestätigte Spanne. Die Preisgestaltung liegt bei $20 pro 5.000 Anfragen zusätzlich zu den Modellkosten, wobei der Produktionseinsatz dort beginnt; bei einer Million Anfragen pro Monat sind das $4.000 pro Monat allein an Routing-Gebühren, bevor auch nur ein einziges Token abgerechnet wird.

Zwei Dinge über Martian im Jahr 2026. Erstens: Das Unternehmen hat sich als KI-Forschungslabor neu positioniert; sein öffentliches Produktangebot führt nun mit ARES, einem RL-first-Framework für das Training und die Bewertung von LLM-Agenten, und K-Steering, einem Aktivierungssteuerungs-Tool zur Inferenzzeit — Routing ist die ältere Produktlinie. Zweitens: Die Routing-Logik ist eine geschlossene Blackbox. Es gibt keinen öffentlichen Benchmark-Score und keine Möglichkeit, nachzuvollziehen, warum ein bestimmtes Modell gewählt wurde. Wenn Sie ein Forschungsteam sind, das sich für Interpretierbarkeit interessiert, ist Martian wirklich interessant. Wenn Sie einen Produktions-Router benötigen, zahlen Sie eine Gebühr pro Anfrage an ein Unternehmen, dessen Schwerpunkt sich woandershin verlagert hat.

Die höchstbewertete Antwort: OrcaRouter

• OrcaRouter — die Wahl für Teams, die Routing wirklich zum Laufen bringen wollen. Die Routing-Schicht und die Ausführung sind ein einziger Aufruf: 200+ Modelle von Anthropic, OpenAI, Google, Grok, Alibaba Cloud, DeepSeek, Meta, Qwen und MiniMax hinter einem einzigen OpenAI-kompatiblen Endpunkt. $0 Aufschlag pro Token auf jeder Stufe — Sie zahlen den Listenpreis jedes Anbieters, ohne Aufschlag, und die Preise aktualisieren sich alle 60 Sekunden. Prompt-Grading läuft in unter 1 Millisekunde; der Wechsel auf einen gesunden Anbieter erfolgt bei einem Ausfall mitten im Stream in unter 50 Millisekunden. Es ist außerdem der einzige Dienst in diesem Vergleich, der seine Routing-Genauigkeit veröffentlicht: 75.5 auf dem Leaderboard von RouterArena vom Juni 2026, vor GPT-5 mit 74.0 und Azure mit 72.8.

Der Unterschied zu Not Diamond und Martian ist architektonischer Natur, keine Feature-Liste. Bei Not Diamond benötigen Sie weiterhin ein Gateway, um die Empfehlung auszuführen; bei Martian benötigen Sie weiterhin einen Stack, um sie auszuführen; bei OrcaRouter sind die Empfehlung und der Aufruf dieselbe Anfrage. Kein zweiter Vertrag, keine clientseitige Ausführungsinfrastruktur und keine Routing-Gebühr, die mit Ihrem Erfolg skaliert.

Die Anzeigetafel: Was die unabhängige Messung sagt.

RouterArena ist eine der wenigen öffentlichen Benchmarks, die Routing-Ebenen direkt miteinander vergleicht, und sie ist peer-reviewed statt Vendor-Marketing. Ihr wichtigstes Ergebnis ist unbequem für die kommerzielle Routing-Branche: Die meisten kommerziellen Router gruppieren sich nahe der Basislinie „100 % Kosten, 100 % Genauigkeit“ – sie setzen auf die teuersten Modelle und verpassen die Erfolge mit günstigen Modellen, die Open-Source-Router wie vLLM-SR und CARROT erzielen (etwa 35 % Kosteneinsparung bei weniger als 2 % Genauigkeitsverlust). Not Diamond ist der extremste Ausreißer und belegt den letzten Platz.

Im Juni-2026-Durchgang lauten die veröffentlichten Ergebnisse: OrcaRouter 75.5, GPT-5 74.0, Azure 72.8 — wobei die beiden Dienste, um die es in diesem Artikel geht, mit Martian 61.6 und NotDiamond 60.8.

Eine ehrliche Anmerkung zur Quellenlage, denn die Bezeichnungen sind wichtig: Die Zahlenreihe 75,5 / 74,0 / 72,8 ist OrcaRouters veröffentlichtes Ergebnis für die Runde im Juni 2026, während die Feststellung, dass Not Diamond den letzten Platz belegt, und die Kosten von 4,10 $ pro 1.000 Abfragen aus der unabhängigen, begutachteten RouterArena-Studie stammen. Dieser Artikel zeigt, was was ist, anstatt beide als dieselbe Art von Tatsache erscheinen zu lassen.

Wenn Not Diamond oder Martian immer noch die richtige Wahl ist

Ein fairer Alternativen-Artikel muss benennen, wann die etablierten Anbieter gewinnen. Es gibt reale Fälle:

• Sie haben bereits ein Gateway und können es nicht wechseln. Das gesamte Design von Not Diamond geht davon aus, dass Sie Ihr bestehendes Gateway behalten und Empfehlungen obendrauf legen. Wenn Ihr Stack festgelegt ist — Beschaffung abgeschlossen, Compliance geregelt, Anbieter ausgewählt — ist eine Empfehlungsebene, die Sie ohne Migration A/B-testen können, eine wirklich leichtere Änderung als die Einführung eines neuen Gateways. Das ist das stärkste Argument für Not Diamond, und es ist ein echtes.

• Sie möchten einen Router, der auf Ihrem eigenen Datenverkehr trainiert ist. Not Diamond trainiert individuelle Router pro Kunde. Wenn Ihr Datenverkehr ungewöhnlich genug ist, dass generisches Routing schlechter abschneidet, ist kundenspezifisch trainiertes Routing eine Funktion, die kein Standard-Router erreicht – halten Sie seine Einsparungsversprechen nur an denselben Maßstab, den Sie bei jedem Anbieter anlegen würden.

• Sie benötigen datenschutzschonendes Routing. Der datenschutzschonende Modus von Not Diamond trifft Entscheidungen auf der Grundlage von Anfragemetadaten und lokal berechneten Merkmalen, niemals auf der Grundlage Ihrer Nutzlast. In regulierten Umgebungen, in denen eine Analyse auf Nutzlastebene nicht in Frage kommt, ist das eine bedeutsame Eigenschaft.

• Sie sind ein Forschungsteam, das Interpretierbarkeit kauft, nicht Produktionsinfrastruktur.Martians Model Mapping und seine Forschungsprodukte (ARES, K-Steering) sind für die ML-Forschung wirklich interessant. Wenn Routing eher ein Forschungsinstrument als eine Produktionsabhängigkeit ist, ist das der einzige Grund, sich speziell für Martian zu entscheiden.

• Deine Ausgaben sind winzig und du möchtest die Kategorie kennenlernen. Bei geringem Volumen sind beide Gebühren klein, und jeder der beiden Dienste ist eine gute Möglichkeit, Routing in Aktion zu sehen. Die Einschränkungen – keine Ausführung, nicht verifizierte Einsparungen – machen sich erst bemerkbar, wenn du skalierst.

Der Vergleich, der es entscheidet

Punkt für Punkt sehen die drei Dienste wie folgt aus. Gebühr: Not Diamond verlangt eine Routing-Gebühr pro Token zusätzlich zu den Modellkosten; Martian verlangt 20 $ pro 5.000 Anfragen; OrcaRouter verlangt einen Aufschlag von 0 $ pro Token — die Modellkosten sind der Preis. Genauigkeit: Not Diamond wird unabhängig als letzter unter den kommerziellen Routern in Bezug auf Kosteneffizienz bewertet; die Routing-Genauigkeit von Martian ist unveröffentlicht; OrcaRouter veröffentlicht seine Zahl, 75,5 in der Runde vom Juni 2026. Architektur: Not Diamond und Martian empfehlen, und Sie führen aus; OrcaRouter routet und führt in einem einzigen Aufruf aus. Verifizierung: die Einsparungsbehauptungen beider etablierter Anbieter beruhen auf Eigenangaben der Anbieter, während das gegen Not Diamond gerichtete Ergebnis ein Peer-Review durchlaufen hat.

Sie haben diesen Vergleich gesucht, weil Sie eine intelligentere Modellauswahl zu geringeren Kosten wünschen. Der kürzeste Weg dorthin – ein Endpunkt, über 200 Modelle, eine veröffentlichte Genauigkeitszahl und keine Gebühr zwischen Ihnen und den Anbietern – ist die Antwort, zu der dieser Artikel gelangt.

OrcaRouter vereint Empfehlung und Ausführung hinter einem einzigen Schlüssel — über 200 Modelle zu den Listenpreisen der Anbieter, 0 $ Aufschlag pro Token und ein Routing-Score von 75,5 in der RouterArena-Runde vom Juni 2026.Holen Sie sich Ihren API-Schlüssel — ohne Kreditkarte, in 60 Sekunden live.