จุดปลายทางเดียวที่ทั้งบริษัทสร้างต่อได้
การกำหนดเส้นทาง การสลับเส้นทางสำรอง และการมองเห็นระบบแบบรวมศูนย์สำหรับทราฟฟิก AI ของทุกทีม โดยไม่ต้องให้แต่ละทีมดูแลคีย์ผู้ให้บริการเอง
- ลำดับโมเดลสำรองได้สูงสุด 5 รายการ หมายความว่าหากผู้ให้บริการรายใดขัดข้อง บริการของคุณยังคงทำงานต่อได้
- กฎการกำหนดเส้นทางถูกจัดการเป็นโค้ดที่มีการควบคุมเวอร์ชัน ทำให้ staging และ production แตกต่างกันได้โดยไม่ต้องแยก app
- บันทึกรายละเอียดต่อคำขอในรูปแบบมีโครงสร้าง ช่วยให้ทุกทีมได้คำตอบเดียวกันสำหรับคำถามที่ว่า „การเรียกนั้นทำอะไรกันแน่"
endpoint เดียวที่ทั้งบริษัทสร้างบนนั้น
ทุกทีมได้รับ base URL ที่เข้ากันได้กับ OpenAI เหมือนกัน และไม่มีใครต้องถือ provider key เอง การกำหนดเส้นทาง การ failover และการบันทึก log เกิดขึ้นครั้งเดียวที่ศูนย์กลาง แทนที่จะถูก implement ซ้ำในหกบริการที่มีหกข้อบกพร่องต่างกัน
ไม่ใช่จุดเดียวของความล้มเหลวใหม่
นั่นคือคำถามแรก และควรเป็นเช่นนั้น คำตอบคือโมเดลกว่า 200+ รายการใน retry pool และกฎที่ส่งมอบเป็นโค้ดที่ควบคุมเวอร์ชัน ทำให้ staging และ production แตกต่างกันได้โดยไม่มีใครต้อง fork แอปพลิเคชัน