ה-GPU שלך מצטרף לנתב. הענן נכנס לתמונה רק כשאתה מחליט.
Orca Connect מתחבר החוצה מהמכונה שמריצה את המודלים שלך. הם עומדים לצד יותר מ-200 מודלים מתארחים מאחורי המפתח הרגיל שלך, ו-OrcaRouter לא גובה עליהם כלום.
- יוצא בלבד: בלי העברת פורטים, בלי מנהרה להגדיר, בלי כלל בחומת האש. שום דבר לא נגיש עד שבוחרים את המודלים לשיתוף.
- הגלישה כבויה עד שמפעילים אותה. אחרי זה בקשה עוברת למודל מתארח רק מהסיבות שאישרת, רק למודלים שציינת, ובתוך תקרה חודשית.
- תגובה שהחומרה שלך שירתה נושאת X-Orca-Billed: false; תגובה שגלשה למודל מתארח נושאת את הסיבה ואת העלות המשוערת שלה.
משתפים מכונה, לא סיסמה
שולחים למישהו קישור למודלים שבחרת במכונה שלך, עם תאריך תפוגה ומגבלת בקשות, ומבטלים אותו מתי שרוצים. הצד השני מתחבר עם החשבון שלו, כך שהמפתח שלך אף פעם לא יוצא מהידיים שלך.
מפתחות שאף פעם לא מגיעים למודל מתארח
מסמנים מפתח כמקומי בלבד, והבקשות שלו מטופלות רק על ידי מכונה מקומית: אף פעם לא על ידי מודל מתארח, ואף פעם לא בחיוב. הן עדיין עוברות דרך OrcaRouter בדרך, כך שזה קובע איפה ההסקה רצה, לא באיזו דרך הפרומפט עובר.
סוכן הקוד שלך, מכוון אל המכונה שלך
מריצים orca-connect claude ו-Claude Code עולה מול המודלים שלך, לסשן הזה בלבד. מחליפים את claude ב-codex, opencode, gemini, qwen, kimi, copilot, aider, goose או pi כדי לעשות אותו דבר עם Codex CLI, OpenCode, Gemini CLI, Qwen Code, Kimi Code, Copilot CLI, Aider, Goose ו-pi. ההגדרות של הסוכן עצמו נשארות כמו שהיו.
המכונה שמתחת לשולחן, זמינה מכל מקום.
מתקינים, מאשרים את המכונה פעם אחת בדפדפן (או עם קוד בשרת בלי מסך), ומסמנים את המודלים לשיתוף. המחבר פותח חיבור יוצא אחד, והמודלים שלך מופיעים בקטלוג בתור local/your-rig/your-model. אפשר לקרוא להם מהמחשב הנייד, מהטלפון או מסוכן בענן עם המפתח שכבר בשימוש. הקריאות האלה עוברות דרך OrcaRouter בדרך למכונה שלך; תוכנה על המכונה עצמה עדיין יכולה לדבר ישירות עם סביבת הריצה.
בחינם עד שתחליטו אחרת.
כשהגלישה כבויה, סוגרים את המחשב הנייד והפונים מקבלים סירוב ברור, לא חשבונית. מפעילים גלישה מהסיבות שחשובות לך (המכונה לא מחוברת, המכונה עמוסה, פרומפט ארוך מדי, שגיאה בסביבת הריצה, בקשה שצריכה כלים), בוחרים אילו מודלים מתארחים יכולים להחליף אותה וקובעים תקרה. או להפך: ממשיכים לכתוב gpt-4o-mini בקוד ונותנים ל-GPU שלך לענות בכל פעם שהוא מריץ את המודל שמיפית לשם הזה; כשהוא לא יכול, gpt-4o-mini עונה כרגיל ומחויב כרגיל.
איך זה עובד
- מתחברים פעם אחת — מאשרים את המכונה בדפדפן, או עם קוד בשרת בלי מסך. המחבר שומר את המפתח שקיבל בקובץ ההגדרות שלו במכונה הזו; שום דבר לא מודבק בטרמינל.
- בוחרים מה לשתף — המחבר מוצא את סביבות הריצה במכונה לפי הפורטים שהן מאזינות להם, ומבחין ביניהן בשאלה שרק כל אחת מהן עונה עליה; orca-connect status מציג את מה שנמצא. בוחרים את המודלים לשיתוף בקונסולה; לפני החיבור הראשון של המכונה, מגש המערכת או orca-connect expose יכולים לקבוע את הבחירה הראשונה. OrcaRouter רואה את הרשימה כדי להציע לך את הבחירה, ושולח בקשות רק למודלים שאתה משתף.
- מחובר, יוצא בלבד — חיבור אחד, שנפתח מהמכונה שלך, נושא כל בקשה כזרם נפרד. הנתב שלך אף פעם לא רואה חיבור נכנס, והמודלים שלך מופיעים בתור local/your-rig/your-model.
- בקשה מגיעה למכונה שלך — סוכן קוד, טלפון או מישהו ששיתפת איתו קישור פונים לנקודת הקצה הרגילה עם מפתח. OrcaRouter בודק את המדיניות של המפתח, מוצא את החיבור שהמכונה שלך מחזיקה ושולח דרכו את הבקשה. המכונה שלך מעבירה אותה הלאה רק אם המודל הוא אחד מאלה ששיתפת.
- התגובה אומרת שזה היה בחינם — הטוקנים חוזרים באותה דרך. התגובה נושאת X-Orca-Billed: false, והבקשה נרשמת ביומן ב-$0.
- המכסה נסגר — ברגע ש-OrcaRouter רואה שהחיבור נעלם, פונה שהגלישה שלו כבויה מקבל 503 local_connector:unavailable: סירוב ברור, ושום דבר לא מחויב. כשהגלישה פעילה עבור מכונה לא מחוברת, מודל מתארח שאישרת עונה במקומה, בתוך התקרה החודשית; התגובה הזו מחויבת ונושאת X-Orca-Spillover-Reason: rig_offline.