OpenAI's gpt-3.5-turbo-1106 ผ่าน OrcaRouter: บริบท 16K, 46.2 MMLU-Pro, $1/$2 ต่อ 1M โทเคน, ราคาไม่มีมาร์กอัป
gpt-3.5-turbo-1106 คือสแนปชอตเฉพาะของโมเดล GPT-3.5 Turbo ของ OpenAI ที่เปิดให้ใช้ในเดือนพฤศจิกายน 2023 มันเป็นโมเดลที่ใช้ข้อความเท่านั้น หมายความว่ารับและสร้างเฉพาะอินพุตและเอาต์พุตที่เป็นข้อความ…
โมเดลนี้มีความสามารถโดดเด่นในงานสร้างข้อความเอนกประสงค์ เช่น การตอบคำถาม การสนทนา การสรุปเอกสาร การแปลภาษา การเขียนเชิงสร้างสรรค์ และการให้คำอธิบาย นอกจากนี้ยังรองรับการเรียกใช้ฟังก์ชัน (function calling) ซึ่งช่วยให้สามารถส่งออกข้อมูลที่มีโครงสร้างและโต้ตอบกับเครื่องมือภายนอกหรือ API ตามโครงสร้างฟังก์ชันที่กำหนดไว้ โมเดลนี้ยังจัดการสนทนาหลายรอบ (multi-turn conversations) ได้ โดยมีขอบเขตบริบท (context window) สูงสุด 16K โทเค็น สำหรับงานที่ต้องการความแม่นยำสูง เช่น การสอบถามข้อเท็จจริง การสร้างโค้ด หรือการใช้เหตุผลเชิงโครงสร้าง โมเดลนี้ทำงานได้ดี แต่อาจให้ผลลัพธ์ที่แม่นยำน้อยกว่าโมเดลขนาดใหญ่เป็นครั้งคราว
การเรียกใช้ฟังก์ชันใน gpt-3.5-turbo-1106 ช่วยให้โมเดลสามารถสร้างเอาต์พุต JSON ที่มีโครงสร้างตามคำจำกัดความของฟังก์ชันที่คุณระบุในคำขอ เมื่อคุณรวมรายการฟังก์ชันที่มีชื่อ คำอธิบาย และพารามิเตอร์สคีมา โมเดลสามารถตัดสินใจเรียกใช้ฟังก์ชันหนึ่งฟังก์ชันหรือมากกว่า โดยการส่งคืนออบเจ็กต์ function_call ซึ่งมีประโยชน์สำหรับการสร้างเอเจนต์ที่ต้องค้นหาฐานข้อมูล เรียกใช้ API หรือดำเนินการต่าง ๆ ฟีเจอร์นี้ได้รับการปรับปรุงในสแนปช็อต 1106 เมื่อเทียบกับเวอร์ชันก่อนหน้า ทำให้มีความน่าเชื่อถือมากขึ้นและลดการใช้เครื่องมือที่ซ้ำซ้อน OrcaRouter รองรับพารามิเตอร์การเรียกใช้ฟังก์ชันที่เข้ากันได้กับ OpenAI ทั้งหมด
หากกรณีการใช้งานของคุณเกี่ยวข้องกับงานที่เรียบง่ายมากและมีปริมาณสูงมาก คุณอาจพิจารณาโมเดลที่ถูกกว่าเช่น gpt-3.5-turbo-0125 (ราคาเท่าเดิมแต่ใหม่กว่า) หรือโมเดลโอเพนซอร์สขนาดเล็กที่ให้บริการผ่าน OrcaRouter ในทางกลับกัน หากคุณต้องการความสามารถในการใช้เหตุผลที่ดีขึ้นอย่างมีนัยสำคัญ ความถูกต้องตามข้อเท็จจริง การป้อนข้อมูลแบบมัลติโมดัล (รูปภาพ, เสียง) หรือหน้าต่างบริบทที่ใหญ่ขึ้น (128K tokens) ให้พิจารณาอัปเกรดเป็น gpt-4o หรือ gpt-4-turbo gpt-3.5-turbo-1106 เป็นตัวเลือกที่สมดุลสำหรับแอปพลิเคชันที่ใช้ข้อความเท่านั้นส่วนใหญ่ ซึ่ง cost-per-token เป็นประเด็นหลักที่ต้องคำนึงถึง
MMLU-Pro เป็นรูปแบบหนึ่งของชุดข้อมูลวัดความเข้าใจภาษาหลายงานขนาดใหญ่ (Massive Multitask Language Understanding) ซึ่งประกอบด้วย 57 หัวข้อพร้อมชุดคำถามที่ท้าทายยิ่งขึ้น คะแนน 46.2 แสดงว่าโมเดลตอบถูก 46.2% ของคำถามทดสอบ นี่เป็นคะแนนปานกลาง สะท้อนถึงความรู้ทั่วไปของโมเดลในหลายโดเมน สำหรับการเปรียบเทียบ โมเดลขนาดใหญ่อย่าง GPT-4 มักจะได้คะแนนสูงกว่า 80 ในการวัดผลที่คล้ายกัน คะแนนนี้ช่วยกำหนดความคาดหวัง: gpt-3.5-turbo-1106 มีความสามารถแต่ไม่ใช่ระดับรัฐของศิลป์สำหรับการให้เหตุผลเชิงลึกหรือความรู้เฉพาะทาง
ไม่มีคะแนนการวัดประสิทธิภาพอื่นสำหรับโมเดลนี้ แต่ข้อมูลที่เปิดเผยต่อสาธารณะแสดงให้เห็นว่า gpt-3.5-turbo-1106 ทำผลงานได้ดีเยี่ยมใน MMLU, HumanEval (การสร้างโค้ด) และงานสรุปความ เมื่อเทียบกับโมเดลในขนาดเดียวกัน โดยทั่วไปถือว่าเป็นหนึ่งในโมเดลโอเพนเวทที่มีประสิทธิภาพดีที่สุดในระดับราคาของมัน ผู้ใช้ควรคาดหวังประสิทธิภาพที่ดีในงาน NLP ทั่วไป แต่ก็ต้องยอมรับว่ามันอาจด้อยกว่า GPT-4 ในด้านการให้เหตุผลที่ซับซ้อน คณิตศาสตร์ และคำสั่งแบบหลายขั้นตอน ในด้านความสอดคล้องตามข้อเท็จจริง โมเดลอาจให้คำตอบที่ฟังดูน่าเชื่อถือแต่ไม่ถูกต้อง ดังนั้นจึงแนะนำให้ตรวจสอบสำหรับการใช้งานที่สำคัญ
ไม่ได้ระบุตัวเลขความหน่วงที่แน่นอน อย่างไรก็ตาม ในฐานะโมเดลข้อความล้วนที่มีจำนวนพารามิเตอร์ค่อนข้างน้อย (เมื่อเทียบกับ GPT-4) gpt-3.5-turbo-1106 โดยทั่วไปจะให้เอาต์พุตที่มีความหน่วงต่ำ มักจะตอบสนองสั้นๆ ได้ภายในเวลาไม่ถึงหนึ่งวินาทีภายใต้โหลดปานกลาง ปริมาณงานอาจสูง ทำให้เหมาะสำหรับแอปพลิเคชันแบบเรียลไทม์เมื่อใช้ร่วมกับการสตรีม โครงสร้างพื้นฐานของ OrcaRouter ช่วยให้การเชื่อมต่อกับปลายทางของ OpenAI มีความน่าเชื่อถือ สำหรับความคาดหวังด้านความหน่วงที่แม่นยำที่สุด ผู้ใช้ควรวัดประสิทธิภาพกรณีการใช้งานของตนเองโดยใช้ OrcaRouter API
ข้อจำกัดหลักได้แก่: เอาต์พุตสูงสุด 4,096 โทเค็น ซึ่งจำกัดความยาวที่สร้างได้; ไม่มีขีดความสามารถแบบมัลติโมดัล (ไม่สามารถประมวลผลภาพหรือเสียง); มีแนวโน้มที่จะหลอน (hallucinate) กับข้อเท็จจริงที่คลุมเครือ; และความลึกในการให้เหตุผลที่จำกัดสำหรับปัญหาที่ซับซ้อน หน้าต่างบริบท 16K ของโมเดล แม้จะเยอะพอใช้ แต่เล็กกว่าทางเลือกอื่นบางตัว (เช่น 128K) นอกจากนี้ยังมีจุดตัดความรู้ที่ต่ำกว่าภาพรวมล่าสุด (มกราคม 2023) กับข้อความที่ก่อกวนหรือคลุมเครือ โมเดลอาจสร้างผลลัพธ์ที่มีอคติหรือไม่ปลอดภัย นักพัฒนาควรนำมาตรการป้องกันและดูแลโดยมนุษย์ที่เหมาะสมมาใช้สำหรับการใช้งานจริง
ราคาสำหรับ openai/gpt-3.5-turbo-1106 ผ่าน OrcaRouter จะถูกเรียกเก็บตามอัตราของผู้ให้บริการโดยไม่มีค่าธรรมเนียมเพิ่มเติม โดยเฉพาะอย่างยิ่ง โทเค็นอินพุตมีค่าใช้จ่าย $1.00 ต่อ 1 ล้านโทเค็น และโทเค็นเอาต์พุตมีค่าใช้จ่าย $2.00 ต่อ 1 ล้านโทเค็น สิ่งนี้ใช้กับคำขอทั้งหมด รวมถึงสตรีมมิ่ง ไม่มีค่าธรรมเนียมแพลตฟอร์มเพิ่มเติม ค่าใช้จ่ายคำนวณจากจำนวนโทเค็นในพรอมพ์ (อินพุต) และการตอบกลับที่สร้างขึ้น (เอาต์พุต) คำขอทั้งแบบแคชและไม่ใช่แคชจะถูกเรียกเก็บในอัตราเดียวกัน คุณสามารถติดตามการใช้งานได้ผ่านแดชบอร์ด OrcaRouter
สำหรับแอปพลิเคชันที่ต้องการการโต้ตอบสั้นๆ จำนวนมาก (เช่น การสนทนาแชทบอท) ต้นทุนต่อข้อความจะต่ำ เนื่องจากแต่ละคำขอใช้โทเค็นน้อย สำหรับงานที่เกี่ยวข้องกับพรอมต์ยาวหรือสร้างการตอบสนองที่ยาว ต้นทุนจะเพิ่มขึ้นตามจำนวนโทเค็นอย่างเป็นเส้นตรง เมื่อเทียบกับ GPT-4 (ซึ่งอาจมีราคาแพงกว่า 10-30 เท่า) gpt-3.5-turbo-1106 มีความคุ้มค่าสำหรับปริมาณการใช้งาน อย่างไรก็ตาม หากงานสามารถแก้ไขได้ด้วยโทเค็นน้อยลงโดยใช้โมเดลที่ถูกกว่า นั่นอาจคุ้มค่ามากยิ่งขึ้นไปอีก การกำหนดราคาแบบไม่มีส่วนเพิ่มของ OrcaRouter ช่วยให้คุณจ่ายเฉพาะสิ่งที่ OpenAI คิดค่าบริการเท่านั้น
ไม่มีโปรแกรมแคชหรือส่วนลดเฉพาะสำหรับรุ่นนี้บน OrcaRouter คำขอทั้งหมดจะถูกเรียกเก็บในอัตรามาตรฐานของผู้ให้บริการ แพลตฟอร์มบางแห่งมีแคชพร้อมท์เพื่อลดต้นทุนสำหรับข้อมูลที่ซ้ำกัน แต่เอกสารของ OrcaRouter ไม่ได้ระบุถึงคุณสมบัติดังกล่าวสำหรับรุ่นนี้ ผู้ใช้ควรวางแผนการใช้โทเค็นตามนั้น สำหรับปริมาณที่สูงมาก อาจคุ้มค่าที่จะติดต่อ OrcaRouter โดยตรงเพื่อสอบถามเกี่ยวกับส่วนลดปริมาณ แม้ว่าจะไม่มีโฆษณาไว้ก็ตาม การกำหนดราคาแบบไม่มีส่วนเพิ่มนั้นให้พื้นฐานต้นทุนที่โปร่งใสอยู่แล้ว
ในการส่งคำขอ ให้ส่งคำขอ POST ไปยัง https://api.orcarouter.ai/v1/chat/completions พร้อม JSON body ที่มีฟิลด์ model ตั้งค่าเป็น 'openai/gpt-3.5-turbo-1106' และอาร์เรย์ messages (พร้อม role และ content) รวมถึง OrcaRouter API key ของคุณในส่วนหัว Authorization (Bearer <key>) พารามิเตอร์เสริมได้แก่ temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream และ functions การตอบสนองเป็นไปตามรูปแบบ chat completion ของ OpenAI ตัวอย่างการใช้ไลบรารี openai ใน Python: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
โมเดลนี้รองรับพารามิเตอร์เดียวกันกับ gpt-3.5-turbo-1106 ของ OpenAI พารามิเตอร์หลักได้แก่: messages (required array of objects with role, content, optionally name), max_tokens (default infinite but capped at 4096), temperature (0-2, default 1), top_p (0-1, default 1), n (number of choices, default 1), stream (boolean), stop (string or array up to 4 strings), presence_penalty (-2 to 2), frequency_penalty (-2 to 2), logit_bias (map of token IDs to bias), user (string for end-user identification), functions (array of function objects), function_call (auto/none or specific function). ทั้งหมดนี้รองรับผ่าน OrcaRouter.
การย้ายข้อมูลต้องแก้ไขโค้ดที่มีพื้นฐานจาก OpenAI เพียงสองจุดเท่านั้น จุดแรก เปลี่ยน base URL จาก https://api.openai.com/v1 เป็น https://api.orcarouter.ai/v1 จุดที่สอง เปลี่ยน API Key ของ OpenAI เป็น API Key ของ OrcaRouter รูปแบบคำขอและการตอบกลับเหมือนกันทุกประการ ดังนั้นไม่จำเป็นต้องเปลี่ยนแปลงโครงสร้าง payload หลังจากอัปเดตการตั้งค่าทั้งสองนี้ ตรรกะที่มีอยู่ทั้งหมดสำหรับการเติมข้อความในแชท การเรียกใช้ฟังก์ชัน และการสตรีมจะยังคงทำงานได้ตามปกติ คุณยังสามารถใช้ไลบรารีไคลเอนต์ OpenAI เดิม (เช่น Python openai, Node.js openai) โดยส่ง base_url และ api_key ใหม่
OrcaRouter ส่งคืนรหัสสถานะ HTTP และข้อความแสดงข้อผิดพลาดมาตรฐานที่เข้ากันได้กับ API ของ OpenAI ข้อผิดพลาดทั่วไป: 401 (ไม่ได้รับอนุญาต), 429 (เกินขีดจำกัดอัตรา), 500 (ข้อผิดพลาดเซิร์ฟเวอร์) ขีดจำกัดอัตราจะถูกบังคับใช้โดย OrcaRouter ตามแผนของคุณ สำหรับรายละเอียด โปรดดูเอกสารประกอบของ OrcaRouter เนื่องจากโมเดลพื้นฐานถูกโฮสต์โดย OpenAI ข้อผิดพลาดจากผู้ให้บริการจะถูกส่งต่ออย่างโปร่งใส (เช่น 400 สำหรับพารามิเตอร์ที่ไม่ถูกต้อง, 503 สำหรับโอเวอร์โหลด) ขอแนะนำให้ใช้การหน่วงเวลาแบบ exponential backoff สำหรับข้อผิดพลาด 429 และ 5xx ข้อผิดพลาดสตรีมมิ่งจะถูกระบุโดยสตรีมที่ถูกตัดให้สั้นลง ฟัง finish_reason ในชิ้นสุดท้าย
0125 snapshot เป็นเวอร์ชันใหม่ของ GPT-3.5 Turbo ที่เปิดตัวในเดือนมกราคม 2025 มีราคาและรูปแบบข้อความเท่านั้นเหมือนเดิม แต่มีจุดตัดความรู้ (knowledge cutoff) ที่ใหม่กว่า และอาจมีความสอดคล้องและความถูกต้องตามข้อเท็จจริงที่ดีขึ้น โมเดลทั้งสองใช้หน้าต่างบริบท (context window) 16K และขีดจำกัดเอาต์พุต 4K เท่ากัน gpt-3.5-turbo-0125 โดยทั่วไปแนะนำให้ใช้แทนเวอร์ชัน 1106 สำหรับโปรเจกต์ใหม่เนื่องจากความสดใหม่ แต่ 1106 snapshot ยังคงมีให้ใช้เพื่อความเข้ากันได้ ไม่มีคะแนน benchmark สำหรับโมเดลใดนอกจาก 46.2 MMLU-Pro สำหรับ 1106; ผู้ใช้อาจทดสอบทั้งสองสำหรับกรณีการใช้งานเฉพาะของตน
gpt-4o เป็นโมเดลที่มีความสามารถสูงกว่าของ OpenAI รองรับอินพุตที่เป็นข้อความ รูปภาพ และเสียง มีหน้าต่างบริบท 128K และโทเค็นเอาต์พุตสูงสุด 16K ทำคะแนนสูงกว่าอย่างมีนัยสำคัญในการวัดประสิทธิภาพด้านเหตุผล และมีความน่าเชื่อถือมากขึ้นสำหรับงานที่ซับซ้อน อย่างไรก็ตาม มีราคาแพงกว่าอย่างมาก: ประมาณ 10-15 เท่าของต้นทุนต่อโทเค็นของ gpt-3.5-turbo-1106 สำหรับแอปพลิเคชันที่ไม่ต้องการความแม่นยำสูงและความสามารถหลายรูปแบบ gpt-3.5-turbo-1106 ให้ความคุ้มค่าด้านต้นทุนที่ดีกว่า หากคุณต้องการความสามารถขั้นสูง การอัปเกรดเป็น gpt-4o ผ่าน OrcaRouter นั้นง่ายดายเพียงเปลี่ยนรหัสโมเดลเป็น 'openai/gpt-4o'
โมเดลที่เทียบเคียงได้จากผู้ให้บริการรายอื่น ได้แก่ Claude 3 Haiku ของ Anthropic (ข้อความเท่านั้น ความเร็วและราคาใกล้เคียงกัน) และ Gemini 1.5 Flash ของ Google แต่ละโมเดลมีรูปแบบ API ที่แตกต่างกัน แต่สามารถเข้าถึงได้ผ่าน OrcaRouter gpt-3.5-turbo-1106 ถูกนำไปใช้อย่างแพร่หลายและผสานรวมกับเครื่องมือมากมาย การรองรับการเรียกใช้ฟังก์ชัน (function calling) มีความสมบูรณ์ อย่างไรก็ตาม โมเดลอย่าง Claude 3 Haiku อาจมีหน้าต่างบริบทที่ใหญ่กว่า (200K) ในราคาที่ใกล้เคียงกัน ในขณะที่ Gemini 1.5 Flash มีความสามารถแบบหลายรูปแบบ (multimodal) การเลือกขึ้นอยู่กับความเข้ากันได้ของระบบนิเวศ ผลการทดสอบเกณฑ์มาตรฐานเฉพาะ และข้อกำหนดด้านเวลาแฝง OrcaRouter ช่วยให้คุณลองใช้โมเดลต่าง ๆ ภายใต้รูปแบบ API เดียวกัน
เลือกใช้ gpt-3.5-turbo-1106 เมื่อคุณต้องการโมเดลข้อความที่เชื่อถือได้และคุ้มค่า ซึ่งเข้ากันได้กับเครื่องมือที่มีอยู่ทั่วไปและรองรับการเรียกใช้ฟังก์ชัน เหมาะสำหรับแอปพลิเคชันที่มีปริมาณการใช้งานสูง ซึ่งแต่ละคำขอค่อนข้างสั้นและไม่จำเป็นต้องใช้การคิดเชิงลึก หลีกเลี่ยงหากคุณต้องการอินพุตแบบมัลติโมดัล วินโดว์บริบทที่ใหญ่ขึ้น หรือความถูกต้องของข้อเท็จจริงที่สูงขึ้นในหัวข้อที่ซับซ้อน หากคุณต้องการข้อมูลอัปเดตล่าสุด ให้เลือก gpt-3.5-turbo-0125 สำหรับประสิทธิภาพสูงสุด ให้เลือก gpt-4o แค็ตตาล็อกโมเดลของ OrcaRouter ช่วยให้สลับระหว่างตัวเลือกเหล่านี้ได้อย่างง่ายดายโดยไม่ต้องเปลี่ยนโค้ด
เข้ากันได้กับ OpenAI — ใช้ SDK เดิมของคุณได้เลย
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| อินพุต / 1M โทเค็น | $1.00 |
| เอาต์พุต / 1M โทเค็น | $2.00 |
| สกุลเงิน | USD |
ประมาณการจากราคาตั้ง
เป็นเพียงการประเมิน — จำนวน token จริงขึ้นอยู่กับ tokenizer ของผู้ให้บริการ
GET /api/public/models/openai/gpt-3.5-turbo-1106เปิด @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106