Ihre GPU wird Teil des Routers. Die Cloud übernimmt nur, wenn Sie es sagen.
Orca Connect verbindet sich von dem Rechner aus, auf dem Ihre Modelle laufen. Sie stehen neben 200+ gehosteten Modellen hinter Ihrem gewohnten Schlüssel, und OrcaRouter berechnet dafür nichts.
- Nur ausgehend: keine Portweiterleitung, kein Tunnel zum Einrichten, keine Firewall-Regel. Erreichbar ist erst etwas, wenn Sie die Modelle zum Teilen auswählen.
- Spillover ist aus, bis Sie es einschalten. Dann wechselt eine Anfrage nur aus den Gründen, die Sie erlaubt haben, zu einem gehosteten Modell, nur zu den Modellen, die Sie benannt haben, und nur unter einer monatlichen Obergrenze.
- Eine Antwort, die Ihre Hardware bedient hat, trägt X-Orca-Billed: false; eine, die zu einem gehosteten Modell übergelaufen ist, trägt den Grund und ihre geschätzten Kosten.
Teilen Sie einen Rechner, kein Passwort
Schicken Sie jemandem einen Link zu den Modellen Ihrer Wahl auf Ihrem Rechner, mit Ablaufdatum und Anfragelimit, und widerrufen Sie ihn, wann Sie wollen. Die Person meldet sich mit ihrem eigenen Konto an, Ihr Schlüssel bleibt also immer bei Ihnen.
Schlüssel, die nie ein gehostetes Modell erreichen
Markieren Sie einen Schlüssel als nur lokal, und seine Anfragen bedient ausschließlich ein lokaler Rechner: nie ein gehostetes Modell, und nie berechnet. Sie laufen weiterhin über OrcaRouter; das entscheidet also, wo die Inferenz läuft, nicht, welchen Weg ein Prompt nimmt.
Ihr Coding-Agent, auf Ihren Rechner gerichtet
Führen Sie orca-connect claude aus, und Claude Code startet mit Ihren eigenen Modellen, nur für diese Sitzung. Ersetzen Sie claude durch codex, opencode, gemini, qwen, kimi, copilot, aider, goose oder pi, um dasselbe mit Codex CLI, OpenCode, Gemini CLI, Qwen Code, Kimi Code, Copilot CLI, Aider, Goose und pi zu tun. Die eigenen Einstellungen des Agenten bleiben, wie sie waren.
Der Rechner unter Ihrem Schreibtisch, von überall erreichbar.
Installieren, den Rechner einmal im Browser freigeben (oder per Code auf einem Server ohne Bildschirm) und die Modelle zum Teilen anhaken. Der Connector öffnet eine einzige ausgehende Verbindung, und Ihre Modelle erscheinen im Katalog als local/your-rig/your-model. Rufen Sie sie vom Laptop, vom Handy oder aus einem Cloud-Agenten mit dem Schlüssel auf, den Sie schon verwenden. Diese Aufrufe laufen auf dem Weg zu Ihrem Rechner über OrcaRouter; ein Programm auf dem Rechner selbst kann weiterhin direkt mit der Runtime sprechen.
Kostenlos, bis Sie etwas anderes sagen.
Bei ausgeschaltetem Spillover klappen Sie den Laptop zu, und Aufrufer bekommen eine klare Ablehnung statt einer Rechnung. Schalten Sie Spillover für die Gründe ein, die Ihnen wichtig sind (Rechner offline, Rechner ausgelastet, Prompt zu lang, ein Runtime-Fehler, eine Anfrage, die Tools braucht), wählen Sie, welche gehosteten Modelle übernehmen dürfen, und setzen Sie eine Obergrenze. Oder umgekehrt: Schreiben Sie weiter gpt-4o-mini in Ihren Code und lassen Sie Ihre eigene GPU antworten, wann immer sie das Modell ausführt, das Sie diesem Namen zugeordnet haben; wenn sie es nicht kann, antwortet gpt-4o-mini wie gewohnt und wird normal berechnet.
So funktioniert es
- Einmal anmelden — Bestätigen Sie den Rechner im Browser oder mit einem Code auf einem Server ohne Bildschirm. Der Connector speichert den erhaltenen Schlüssel in seiner eigenen Konfigurationsdatei auf diesem Rechner; nichts wird in ein Terminal eingefügt.
- Auswählen, was geteilt wird — Der Connector findet die Runtimes auf diesem Rechner an den Ports, auf denen sie lauschen, und unterscheidet sie, indem er jeder eine Frage stellt, die nur sie beantwortet; orca-connect status listet, was er gefunden hat. Welche Modelle Sie teilen, wählen Sie in der Konsole; bevor der Rechner sich zum ersten Mal verbindet, kann das Tray oder orca-connect expose diese erste Wahl treffen. OrcaRouter sieht die Liste, damit es Ihnen die Wahl anbieten kann, und schickt Anfragen nur an die Modelle, die Sie teilen.
- Online gehen, nur ausgehend — Eine einzige Verbindung, von Ihrem Rechner aus geöffnet, trägt jede Anfrage als eigenen Stream. Ihr Router sieht nie eine eingehende Verbindung, und Ihre Modelle erscheinen als local/your-rig/your-model.
- Eine Anfrage erreicht Ihren Rechner — Ein Coding-Agent, ein Handy oder jemand, mit dem Sie einen Link geteilt haben, ruft den gewohnten Endpunkt mit einem Schlüssel auf. OrcaRouter prüft die Richtlinie dieses Schlüssels, findet die Verbindung, die Ihr Rechner hält, und schickt die Anfrage hindurch. Ihr Rechner leitet sie nur weiter, wenn das Modell zu den geteilten gehört.
- Die Antwort sagt: kostenlos — Die Tokens fließen auf demselben Weg zurück. Die Antwort trägt X-Orca-Billed: false, und die Anfrage wird mit $0 protokolliert.
- Der Laptop wird zugeklappt — Sobald OrcaRouter merkt, dass die Verbindung weg ist, erhält ein Aufrufer ohne Spillover 503 local_connector:unavailable: eine klare Ablehnung, und nichts wird berechnet. Ist Spillover für einen Offline-Rechner an, antwortet stattdessen ein gehostetes Modell, das Sie erlaubt haben, innerhalb Ihres Monatslimits; diese Antwort wird berechnet und trägt X-Orca-Spillover-Reason: rig_offline.