GPU của bạn tham gia bộ định tuyến. Đám mây chỉ tiếp quản khi bạn cho phép.

Orca Connect kết nối ra ngoài từ chiếc máy chạy mô hình của bạn. Chúng đứng cạnh hơn 200 mô hình được lưu trữ, sau khóa quen thuộc của bạn, và OrcaRouter không tính phí cho chúng.

Chỉ kết nối ra ngoài: không chuyển tiếp cổng, không cấu hình đường hầm, không quy tắc tường lửa. Không có gì truy cập được cho đến khi bạn chọn mô hình để chia sẻ.
Tràn tải tắt cho đến khi bạn bật. Khi đó, yêu cầu chỉ chuyển sang mô hình được lưu trữ vì những lý do bạn cho phép, tới những mô hình bạn đã chỉ định, trong hạn mức hằng tháng.
Phản hồi do phần cứng của bạn phục vụ mang X-Orca-Billed: false; phản hồi đã tràn sang mô hình được lưu trữ mang lý do và chi phí ước tính.

Chia sẻ máy, không chia sẻ mật khẩu

Gửi cho ai đó liên kết tới các mô hình bạn chọn trên máy của mình, kèm hạn dùng và giới hạn số yêu cầu, và thu hồi bất cứ lúc nào. Họ đăng nhập bằng tài khoản riêng, nên khóa của bạn không bao giờ rời tay bạn.

Khóa không bao giờ đến được mô hình được lưu trữ

Đánh dấu một khóa là chỉ cục bộ và yêu cầu của nó chỉ được một máy cục bộ phục vụ: không bao giờ bởi mô hình được lưu trữ, và không bao giờ bị tính phí. Chúng vẫn đi qua OrcaRouter trên đường đi, nên điều này quyết định suy luận chạy ở đâu, không phải prompt đi qua đâu.

Tác tử lập trình của bạn, trỏ vào máy của bạn

Chạy orca-connect claude và Claude Code khởi động với các mô hình của riêng bạn, chỉ trong phiên đó. Thay claude bằng codex, opencode, gemini, qwen, kimi, copilot, aider, goose hoặc pi để làm điều tương tự với Codex CLI, OpenCode, Gemini CLI, Qwen Code, Kimi Code, Copilot CLI, Aider, Goose và pi. Thiết lập riêng của tác tử được giữ nguyên.

Chiếc máy dưới bàn làm việc, truy cập từ bất cứ đâu.

Cài đặt, phê duyệt máy một lần trong trình duyệt (hoặc bằng mã trên máy chủ không có màn hình), rồi đánh dấu các mô hình để chia sẻ. Trình kết nối chỉ mở một kết nối ra ngoài và các mô hình của bạn xuất hiện trong danh mục dưới dạng local/your-rig/your-model. Gọi chúng từ máy tính xách tay, điện thoại hay một tác tử trên đám mây bằng khóa bạn đang dùng. Các cuộc gọi đó đi qua OrcaRouter trên đường tới máy của bạn; chương trình chạy ngay trên máy vẫn có thể nói chuyện trực tiếp với runtime.

Miễn phí cho đến khi bạn quyết định khác.

Khi tắt tràn tải, gập máy tính lại và bên gọi nhận được lời từ chối rõ ràng, không phải hóa đơn. Bật tràn tải cho những lý do bạn quan tâm (máy ngoại tuyến, máy đang bận, prompt quá dài, lỗi runtime, yêu cầu cần công cụ), chọn mô hình được lưu trữ nào được tiếp quản và đặt hạn mức. Hoặc theo chiều ngược lại: cứ viết gpt-4o-mini trong mã và để GPU của bạn trả lời bất cứ khi nào nó đang chạy mô hình bạn đã gán cho tên đó; khi không thể, gpt-4o-mini trả lời như mọi khi và tính phí như thường lệ.

Cách hoạt động

Đăng nhập một lần — Phê duyệt máy trong trình duyệt, hoặc bằng mã trên máy chủ không có màn hình. Trình kết nối lưu khóa nhận được trong tệp cấu hình riêng của nó trên máy này; không cần dán gì vào terminal.
Chọn thứ để chia sẻ — Trình kết nối tìm các runtime trên máy này qua cổng chúng lắng nghe, và phân biệt từng cái bằng một câu hỏi chỉ runtime đó trả lời được; orca-connect status liệt kê những gì tìm thấy. Bạn chọn mô hình để chia sẻ trong bảng điều khiển; trước khi máy kết nối lần đầu, khay hệ thống hoặc orca-connect expose có thể đưa ra lựa chọn đầu tiên đó. OrcaRouter thấy danh sách để có thể đưa ra lựa chọn cho bạn, và chỉ gửi yêu cầu tới các mô hình bạn chia sẻ.
Trực tuyến, chỉ ra ngoài — Một kết nối duy nhất, mở từ máy bạn, mang mỗi yêu cầu thành một luồng riêng. Router của bạn không bao giờ thấy kết nối vào, và các mô hình được liệt kê dưới dạng local/your-rig/your-model.
Yêu cầu đến máy của bạn — Một tác tử lập trình, một điện thoại hoặc người bạn đã chia sẻ liên kết gọi endpoint quen thuộc bằng một khóa. OrcaRouter kiểm tra chính sách của khóa đó, tìm kết nối mà máy bạn đang giữ và gửi yêu cầu qua đó. Máy bạn chỉ chuyển tiếp nếu mô hình nằm trong số đã chia sẻ.
Phản hồi cho biết là miễn phí — Token quay về theo cùng đường. Phản hồi mang X-Orca-Billed: false, và yêu cầu được ghi nhật ký với $0.
Gập máy lại — Ngay khi OrcaRouter thấy kết nối đã mất, bên gọi không bật tràn tải nhận 503 local_connector:unavailable: một lời từ chối rõ ràng, và không bị tính phí. Khi bật tràn tải cho trường hợp máy ngoại tuyến, một mô hình được lưu trữ bạn cho phép sẽ trả lời thay, trong hạn mức hằng tháng; phản hồi đó bị tính phí và mang X-Orca-Spillover-Reason: rig_offline.