การฝังข้อความคุณภาพสูงผ่าน OrcaRouter ในราคา $0.13/M tokens, ไม่มีค่าธรรมเนียมเพิ่ม, สูงสุด 3072 มิติ
OpenAI text-embedding-3-large เป็นโมเดล embedding ขนาดใหญ่จากรุ่นที่สามของชุดโมเดล text embedding ของ OpenAI ซึ่งแปลงข้อมูลข้อความที่ป้อนเข้าไปเป็นเวกเตอร์หนาแน่น (dense vector)…
text-embedding-3-large มีความเป็นเลิศในด้านความคล้ายคลึงเชิงความหมาย การจำแนกข้อความ การจัดกลุ่ม และการค้นคืนสารสนเทศ ผลลัพธ์ที่มีมิติสูงช่วยให้สามารถแยกแยะข้อความที่คล้ายกันในระดับละเอียดได้ เป็นตัวเลือกที่ได้รับความนิยมสำหรับการสร้างฐานข้อมูลเวกเตอร์สำหรับ RAG ซึ่งคุณภาพการค้นคืนขึ้นอยู่กับความแม่นยำของ embedding โมเดลนี้ยังทำงานได้ดีในการอนุมานภาษาธรรมชาติและการตรวจจับซ้ำ อย่างไรก็ตาม มันไม่ได้ออกแบบมาสำหรับงานเชิงสร้างสรรค์ เช่น การเติมข้อความให้สมบูรณ์หรือการสนทนา — ให้ใช้ GPT-4 หรือโมเดลภาษาอื่นสำหรับงานเหล่านั้น
โมเดลสามารถส่งออก embeddings ที่มีมิติระหว่าง 256 ถึง 3072 มิติถูกกำหนดผ่านพารามิเตอร์ `dimensions` ในการร้องขอ API การใช้มิติที่ต่ำลงจะช่วยลดพื้นที่จัดเก็บและการคำนวณในขั้นตอนถัดไป แต่อาจสูญเสียความเที่ยงตรงเชิงความหมายบางส่วน ค่าเริ่มต้นของมิติคือ 3072 ซึ่งให้ความสามารถในการแยกแยะสูงสุด ไม่มีมิติอื่นที่รองรับนอกช่วงนี้ สำหรับงาน retrieval ส่วนใหญ่ มิติระหว่าง 1024 ถึง 2048 เป็นสมดุลที่ดีระหว่างความแม่นยำและต้นทุน
หากแอปพลิเคชันของคุณไวต่อความหน่วง หรือคุณกำลังฝังข้อความหลายพันล้านข้อความ ค่าใช้จ่าย $0.13 ต่อ 1 ล้านโทเค็นอาจสะสมเป็นจำนวนมาก ลองพิจารณา text-embedding-3-small ($0.02/ล้านโทเค็น) หรือโมเดลโอเพนซอร์สอย่าง BERT-based embeddings สำหรับงบประมาณที่ต่ำกว่า text-embedding-3-large เหมาะที่สุดเมื่อความแม่นยำในการเรียกค้นเป็นสิ่งสำคัญสูงสุด เช่น ในงานค้นหาทางกฎหมาย การแพทย์ หรือวิทยาศาสตร์ ซึ่งการพลาดเอกสารที่เกี่ยวข้องอาจส่งผลกระทบใหญ่หลวง
ปัจจุบัน OpenAI ไม่มีบริการ fine-tuning สำหรับชุด text-embedding-3 โมเดลนี้ถูกใช้เป็นตัวเข้ารหัสแบบคงที่ เพื่อปรับให้เข้ากับโดเมนเฉพาะ คุณสามารถใช้กลยุทธ์การเสริมด้วยการดึงข้อมูล เช่น เพิ่มข้อความเฉพาะโดเมนลงในฐานข้อมูลเวกเตอร์ของคุณ หรืออีกทางหนึ่ง คุณสามารถใช้ embeddings เป็นฟีเจอร์สำหรับตัวจำแนกประเภทปลายทางที่ฝึกบนข้อมูลที่มีป้ายกำกับของคุณ เวิร์กโฟลว์นี้เป็นเรื่องปกติในสภาพแวดล้อมขององค์กร
text-embedding-3-large บรรลุผลลัพธ์ระดับแนวหน้าบน Massive Text Embedding Benchmark (MTEB) สำหรับงานต่างๆ เช่น การจัดกลุ่ม การจำแนกประเภท และการจัดอันดับใหม่ แม้ว่าจะไม่ได้ระบุคะแนนที่แน่นอนในที่นี้ แต่โมเดลนี้มีอันดับในกลุ่มสูงสุดอย่างสม่ำเสมอในบรรดาโมเดล embedding ที่เปิดให้ใช้งานสาธารณะ รุ่นที่มี 3072 มิติให้ความแม่นยำสูงสุด ในขณะที่มิติที่ต่ำกว่าจะแลกประสิทธิภาพที่ลดลงเล็กน้อยเพื่อการจัดเก็บและการคำนวณที่ลดลง โมเดลนี้มีประสิทธิภาพเหนือกว่ารุ่นก่อนหน้าอย่าง text-embedding-ada-002 ในงานส่วนใหญ่
ความหน่วงขึ้นอยู่กับจำนวนโทเค็นที่ป้อนและการโหลดโมเดล สำหรับข้อความสั้น ๆ ข้อความเดียว (ต่ำกว่า 100 tokens) โมเดลจะตอบกลับภายใน 200ms ผ่าน OrcaRouter ข้อความที่ยาวกว่า (8000 tokens) อาจใช้เวลา 1-2 วินาที ความพร้อมกันและขนาดแบตช์ส่งผลต่อปริมาณงาน — คำขอแบบแบตช์ (ข้อความหลายข้อความในการเรียก API เดียวกัน) สามารถให้ปริมาณงานที่สูงขึ้น OrcaRouter ไม่เพิ่มค่าใช้จ่ายเกินกว่าเวลาตอบสนองของผู้ให้บริการ
โมเดลนี้ไม่ได้ออกแบบมาให้รองรับภาษาหลายภาษาเกินกว่าภาษาอังกฤษ (แม้จะรองรับภาษาอื่นๆ บ้าง แต่ประสิทธิภาพต่ำกว่า) นอกจากนี้ยังขาดความสามารถในการทำตามคำแนะนำในตัว เนื่องจากเป็นเพียงตัวเข้ารหัส (encoder) อย่างเคร่งครัด ขีดจำกัดโทเค็นที่ 8192 หมายความว่าเอกสารที่ยาวมากต้องถูกแบ่งเป็นส่วนย่อย นอกจากนี้ เอ็มเบ็ดดิ้ง (embeddings) อาจเข้ารหัสอคติทางประชากรที่มีอยู่ในข้อมูลที่ใช้ฝึก ดังนั้นแอปพลิเคชันปลายทางควรได้รับการทดสอบเพื่อความยุติธรรม สุดท้าย โมเดลนี้ไม่ให้ความสามารถในการอธิบายผลลัพธ์สำหรับการตัดสินความคล้ายคลึง
text-embedding-3-large มีประสิทธิภาพเหนือกว่าโมเดล ada-002 รุ่นเก่าอย่างมีนัยสำคัญบน MTEB benchmark โดยเฉพาะอย่างยิ่งในงานที่ต้องการความละเอียดในการแยกแยะ โมเดลใหม่นี้ยังแนะนำพารามิเตอร์ `dimensions` ซึ่งช่วยให้ลดขนาดเวกเตอร์ได้โดยไม่ต้องฝึกซ้ำ ราคาสูงกว่าเล็กน้อย ($0.13 เทียบกับ $0.10 ต่อ 1M tokens สำหรับ ada-002) แต่การปรับปรุงความแม่นยำมักคุ้มค่ากับต้นทุนสำหรับสถานการณ์การค้นคืนที่มีความสำคัญสูง สำหรับกรณีการใช้งานทั่วไป ada-002 ยังคงเป็นทางเลือกที่ราคาถูกกว่าและใช้งานได้
ราคาอยู่ที่ $0.13 ต่อ 1 ล้าน input tokens โดยคิดตามอัตราของผู้ให้บริการโดยไม่มีกำไรส่วนเพิ่ม ส่วน output tokens ก็ $0.13 ต่อ 1 ล้าน tokens เช่นกัน แต่สำหรับโมเดล embedding แล้ว output tokens จะมีปริมาณน้อยมากเนื่องจากโมเดลส่งคืนค่าเป็น vector โดย input tokens รวมถึงข้อความที่คุณส่ง ไม่มีค่าธรรมเนียมเพิ่มเติมสำหรับการใช้ API ของ OrcaRouter ทำให้ต้นทุนรวมเท่ากับที่ OpenAI เรียกเก็บทุกประการ โดยไม่มีค่าใช้จ่ายแอบแฝงหรือค่าธรรมเนียมเพิ่มสำหรับการจำกัดอัตราการใช้งาน
อัตราค่าใช้จ่าย $0.13 ต่อ 1M โทเค็นคือราคามาตรฐานของผู้ให้บริการ OrcaRouter ไม่ได้เสนอส่วนลดเพิ่มจากราคาของผู้ให้บริการ อย่างไรก็ตาม การใช้ขนาดเอาต์พุตที่เล็กลง (เช่น 1024) ไม่มีผลต่อจำนวนโทเค็น—คุณจ่ายตามจำนวนโทเค็นอินพุตโดยไม่ขึ้นกับมิติข้อมูล สำหรับผู้ใช้ที่มีปริมาณการใช้งานสูงมาก OpenAI อาจเสนอส่วนลดตามสัญญาแบบกำหนดเอง ซึ่งคุณสามารถใช้ประโยชน์ได้โดยตรง
OrcaRouter does not cache embedding responses. Each request is forwarded to the provider in real time and billed accordingly. If you repeatedly embed identical texts, you will be charged each time. To save costs, implement your own caching layer on the client side, storing embeddings for frequent queries. This is especially effective for static datasets like product descriptions or FAQ content.
OrcaRouter ส่งผ่านคำขอไปยังผู้ให้บริการโดยไม่มีการจำกัดเทียม แต่ผู้ให้บริการบังคับใช้อัตราจำกัดของตนเอง สำหรับ text-embedding-3-large ขีดจำกัดทั่วไปอยู่ที่ประมาณ 3000–5000 คำขอต่อนาทีสำหรับระดับมาตรฐาน คุณสามารถเพิ่มขีดจำกัดได้โดยติดต่อ OpenAI โดยตรง OrcaRouter จะลองใหม่โดยอัตโนมัติเมื่อเกิดข้อผิดพลาด 429 แต่การลองใหม่มากเกินไปอาจทำให้เกิดค่าใช้จ่ายเพิ่มเติม ติดตามการใช้งานของคุณเพื่อให้อยู่ในขีดจำกัด
ส่งคำขอ POST ไปยัง https://api.orcarouter.ai/v1/embeddings โดยกำหนดพารามิเตอร์ model เป็น "openai/text-embedding-3-large" รวมสตริงอินพุตหรืออาร์เรย์ของสตริง สามารถกำหนดพารามิเตอร์ `dimensions` เป็นค่าระหว่าง 256 ถึง 3072 ได้ตามต้องการ คุณสามารถระบุคีย์ API ของผู้ใช้ในส่วนหัว Authorization (Bearer token) การตอบสนองจะมีโครงสร้างเดียวกันกับ API Embeddings ของ OpenAI ซึ่งประกอบด้วยรายการอ็อบเจกต์ที่มี embeddings และจำนวนโทเค็นที่ใช้งาน
พารามิเตอร์หลักได้แก่ `model` (จำเป็น: "openai/text-embedding-3-large"), `input` (สตริงหรืออาร์เรย์ของสตริง สูงสุด 8192 โทเค็นต่อรายการ), และ `dimensions` (จำนวนเต็ม, ไม่จำเป็น, ค่าเริ่มต้น 3072) OrcaRouter ยังรองรับพารามิเตอร์ `user` สำหรับติดตามการใช้งานต่อผู้ใช้ปลายทาง พารามิเตอร์อื่นๆ ของ OpenAI Embeddings API เช่น `encoding_format` (float หรือ base64) ก็รองรับเช่นกัน ดูเอกสารของ OpenAI สำหรับรายการพารามิเตอร์ทั้งหมด
เปลี่ยน base URL จาก https://api.openai.com/v1 เป็น https://api.orcarouter.ai/v1 และอัปเดตรหัสโมเดลจาก "text-embedding-3-large" เป็น "openai/text-embedding-3-large" โค้ดที่มีอยู่ของคุณที่ใช้ OpenAI Python client หรือ HTTP library ควรทำงานได้โดยไม่ต้องแก้ไขอื่นๆ API ของ OrcaRouter เข้ากันได้อย่างสมบูรณ์ ดังนั้นจึงไม่จำเป็นต้องเปลี่ยนรูปแบบ request body ตรวจสอบให้แน่ใจว่าคุณมีคีย์ API ของ OrcaRouter
ใช่ ส่งอาร์เรย์ของสตริงเป็นพารามิเตอร์ `input` API จะส่งคืนอาร์เรย์ของ embeddings ในลำดับเดียวกัน วิธีนี้มีประสิทธิภาพมากกว่าการส่งคำขอทีละรายการเนื่องจากโอเวอร์เฮดที่ต่ำกว่า เพื่อประสิทธิภาพสูงสุด ควรรวมข้อความที่มีความยาวใกล้เคียงกันเป็นกลุ่มเพื่อลดเวลาว่าง โมเดลรองรับสตริงได้สูงสุด 2048 สตริงต่อกลุ่ม (ตรวจสอบข้อจำกัดของผู้ให้บริการ) และโทเค็นอินพุตทั้งหมดในกลุ่มต้องไม่เกิน 2048000 โทเค็นต่อนาที
รูปแบบย่อใช้เพียง 512 มิติ และมีค่าใช้จ่าย $0.02 ต่อ 1M โทเคน—ถูกกว่าประมาณ 6.5 เท่า มันเร็วกว่าและประหยัดพื้นที่จัดเก็บมากกว่า แต่เสียสละความแม่นยำ โดยเฉพาะในงานด้านความหมายที่ละเอียดอ่อน สำหรับการจัดกลุ่มง่ายๆ หรือการค้นหาในระดับความคล้ายคลึงของหัวข้อ โมเดลขนาดเล็กอาจเพียงพอ แนะนำให้ใช้ text-embedding-3-large สำหรับการค้นคืนที่มีความสำคัญสูงซึ่งการเรียกคืนมีความสำคัญมากที่สุด
all-MiniLM-L6-v2 เป็นโมเดลที่โฮสต์ในเครื่องและใช้งานฟรี มี 384 มิติและความเร็วสูง มันทำงานได้ดีในหลายงานแต่ยังด้อยกว่า text-embedding-3-large ในเกณฑ์มาตรฐานที่ซับซ้อนอย่าง MTEB การแลกเปลี่ยนคือต้นทุนกับคุณภาพ: โมเดลโอเพนซอร์สไม่มีต้นทุนต่อโทเค็นแต่ต้องใช้ฮาร์ดแวร์ประมวลผล text-embedding-3-large ให้ความแม่นยำที่เหนือกว่า ในขณะที่ค่าใช้จ่าย $0.13/M tokens อาจสมเหตุสมผลสำหรับระบบการผลิตที่ให้ความสำคัญกับคุณภาพการดึงข้อมูล
โมเดล embed-v3 ของ Cohere ยังรองรับมิติที่แปรผันและความสามารถหลายภาษา พวกมันเทียบเคียงได้ในเกณฑ์มาตรฐานภาษาอังกฤษแต่อาจจัดการข้อความที่ไม่ใช่ภาษาอังกฤษได้ดีกว่า ราคาคล้ายคลึงกัน (ประมาณ $0.10–0.15 ต่อ 1M โทเคน) การเลือกมักขึ้นอยู่กับความชอบของระบบนิเวศและข้อกำหนดเฉพาะด้านหลายภาษา text-embedding-3-large มีหน้าต่างบริบทที่ใหญ่กว่า (8192 เทียบกับ 512 สำหรับ Cohere) และผสานรวมกับเครื่องมือของ OpenAI ได้ดีกว่า
พิจารณาทางเลือกอื่นหากกรณีการใช้งานของคุณต้องการการรองรับหลายภาษานอกเหนือจากภาษาอังกฤษ จำเป็นต้องติดตั้งภายในองค์กรเพื่อความเป็นส่วนตัวของข้อมูล หรือต้องการความหน่วงต่ำมากที่ปริมาณงานสูง สำหรับงานเช่นการสร้างข้อความ ให้ใช้ GPT-4 สำหรับการฝังภาพ-ข้อความ ให้ใช้ CLIP หรือโมเดล multimodal text-embedding-3-large เป็นตัวเข้ารหัสภาษาอังกฤษทั่วไป หากโดเมนของคุณมีความเชี่ยวชาญสูง ให้สำรวจโมเดลโอเพนซอร์สที่ปรับแต่งแล้ว
เข้ากันได้กับ OpenAI — ใช้ SDK เดิมของคุณได้เลย
https://api.orcarouter.ai/v1dimensionsencoding_format| อินพุต / 1M โทเค็น | $0.130 |
|---|---|
| เอาต์พุต / 1M โทเค็น | $0.130 |
| สกุลเงิน | USD |
ประมาณการจากราคาตั้ง
เป็นเพียงการประเมิน — จำนวน token จริงขึ้นอยู่กับ tokenizer ของผู้ให้บริการ
สิ่งที่นักพัฒนาพูดถึงในสัปดาห์นี้
GET /api/public/models/openai/text-embedding-3-largeเปิด @misc{orcarouter_text_embedding_3_large,
title = {openai/text-embedding-3-large API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/text-embedding-3-large}
}openai. (n.d.). openai/text-embedding-3-large API. OrcaRouter. https://www.orcarouter.ai/models/openai/text-embedding-3-large