GPT‑4 Turbo ของ OpenAI ที่มีบริบท 128K, รองรับอินพุตข้อความ/รูปภาพ, เข้าถึงผ่าน API ของ OrcaRouter
openai/gpt-4-turbo-2024-04-09 เป็นโมเดลเวอร์ชันเฉพาะของ GPT-4 Turbo ของ OpenAI ที่เปิดตัวเมื่อวันที่ 9 เมษายน 2024 สามารถรับทั้งข้อความและรูปภาพเป็นอินพุต และมีหน้าต่างบริบทขนาด 128,000 โทเค็น…
โมเดลสามารถทำงานด้านภาษาธรรมชาติได้หลากหลาย: การสรุปความ, การแปล, การตอบคำถาม, การสร้างโค้ด, และการเขียนเชิงสร้างสรรค์ ด้วยบริบท 128K token ทำให้สามารถวิเคราะห์หนังสือทั้งเล่มหรือฐานโค้ดขนาดใหญ่ได้ในครั้งเดียว นอกจากนี้ยังประมวลผลภาพได้ ดังนั้นจึงสามารถตอบคำถามเกี่ยวกับภาพถ่าย แผนภาพ หรือเอกสารที่สแกนได้ ประสิทธิภาพที่แข็งแกร่งของโมเดลใน MATH-500 (73.7) บ่งชี้ว่าสามารถแก้ปัญหาคณิตศาสตร์ที่ซับซ้อนแบบทีละขั้นตอนได้ เพื่อผลลัพธ์ที่ดีที่สุด ให้ระบุคำแนะนำที่ชัดเจนและใช้ system message เพื่อกำหนดพฤติกรรม โมเดลนี้เข้าถึงได้ผ่าน API ของ OrcaRouter ที่ https://api.orcarouter.ai/v1 โดยใช้ model ID "openai/gpt-4-turbo-2024-04-09"
GPT-4 Turbo มีความสามารถสูงแต่มีราคาค่อนข้างแพงที่ $10 ต่อล้านโทเค็นอินพุตและ $30 ต่อล้านโทเค็นเอาต์พุต สำหรับงานที่ไม่จำเป็นต้องใช้การคิดเชิงลึกหรือบริบทที่กว้างขวาง โมเดลที่เบากว่าอย่าง GPT-3.5 Turbo (ซึ่งมีราคาประมาณ $0.5–$1.5 ต่อล้านโทเค็น) อาจเพียงพอและประหยัดกว่ามาก ตัวอย่างเช่น การจำแนกข้อความอย่างง่าย แชทบอทพื้นฐาน หรือการสร้างเนื้อหาสั้นๆ นอกจากนี้ หากแอปพลิเคชันของคุณไม่จำเป็นต้องใช้อินพุตแบบหลายรูปแบบหรือหน้าต่างบริบทที่ใหญ่โต โมเดลขนาดเล็กสามารถลดเวลาแฝงและต้นทุนได้ OrcaRouter ช่วยให้คุณสลับระหว่างโมเดลต่างๆ ได้โดยการเปลี่ยนรหัสโมเดลในการเรียก API
ใช่, GPT-4 Turbo (2024-04-09) ยอมรับอินพุตรูปภาพนอกเหนือจากข้อความ คุณสามารถระบุรูปภาพเป็นข้อมูลที่เข้ารหัส base64 หรือ URL ภายในคำขอ API โมเดลสามารถตีความเนื้อหาของภาพถ่าย ไดอะแกรม แผนภูมิ และข้อความในรูปภาพ (เช่น ภาพหน้าจอ) ทำให้เหมาะสำหรับงานด้านการมองเห็น เช่น การสร้างคำบรรยายภาพ การตอบคำถามเกี่ยวกับภาพ และการวิเคราะห์เอกสารที่มีหน้าที่สแกน เมื่อใช้รูปภาพ ต้นทุนโทเค็นรวมถึงโทเค็นภาพของรูปภาพ—โดยทั่วไปแต่ละรูปภาพจะใช้โทเค็นตามสัดส่วนของความละเอียด การคำนวณโทเค็นที่แน่นอนกำหนดโดย OpenAI; โปรดดูเอกสารของพวกเขาสำหรับรายละเอียด ผ่าน OrcaRouter คุณส่งรูปแบบคำขอเดียวกันกับ API ของ OpenAI
หน้าต่างบริบทขนาด 128K โทเคน (ประมาณ 96,000 คำ) เหมาะสำหรับงานที่ต้องอาศัยความเข้าใจลำดับข้อมูลที่ยาวมาก ตัวอย่างเช่น การประมวลผลหนังสือทั้งเล่มหรือเอกสารทางกฎหมายที่ยาวในครั้งเดียวผ่าน API call การวิเคราะห์โค้ด repository ทั้งหมด หรือการรักษาประวัติการสนทนาที่ครอบคลุมหลายร้อยรอบ นอกจากนี้ยังช่วยให้สามารถใช้เทคนิคต่างๆ เช่น การ prompting แบบ "chain-of-thought" ผ่านการติดตามเหตุผลที่ยาว อย่างไรก็ตาม โปรดทราบว่าความซับซ้อนของ attention ในโมเดลอาจเพิ่มความหน่วงสำหรับอินพุตที่ยาวมาก สำหรับแอปพลิเคชันในระบบการทำงานส่วนใหญ่ หน้าต่างบริบทขนาด 8K–32K มักจะเพียงพอ; ควรใช้ประโยชน์จาก 128K เต็มเมื่องานของคุณได้รับประโยชน์อย่างแท้จริงจากหน่วยความจำที่ขยายเพิ่ม
เกณฑ์วัด MATH-500 ประกอบด้วยปัญหาคณิตศาสตร์ที่ท้าทาย 500 ข้อ ครอบคลุมพีชคณิต เรขาคณิต ทฤษฎีจำนวน และอื่นๆ คะแนน 73.7 บ่งชี้ว่า GPT-4 Turbo แก้ปัญหาเหล่านี้ได้ถูกต้องประมาณ 73.7% นี่เป็นผลงานที่แข็งแกร่ง ทำให้มันอยู่ในกลุ่มโมเดลชั้นนำด้านการให้เหตุผลทางคณิตศาสตร์ สำหรับบริบท GPT-4 รุ่นก่อนหน้ามีคะแนนต่ำกว่าในการวัดมาตรฐานทางคณิตศาสตร์ที่คล้ายกัน คะแนนนี้ชี้ให้เห็นว่าโมเดลสามารถจัดการกับการให้เหตุผลแบบทีละขั้นได้อย่างน่าเชื่อถือ ซึ่งมีประโยชน์สำหรับระบบการสอน การตรวจสอบคณิตศาสตร์อัตโนมัติ และการวิเคราะห์ข้อมูลที่ซับซ้อน โปรดทราบว่าประสิทธิภาพอาจแตกต่างกันไปตามโดเมนของปัญหา โมเดลอาจยังคงทำผิดพลาดในคำถามที่มีความเฉพาะทางสูงหรือคลุมเครือ
OpenAI ไม่ได้เผยแพร่ค่าความหน่วงที่แน่นอนสำหรับโมเดลนี้ โดยทั่วไป GPT-4 Turbo จะเร็วกว่า GPT-4 รุ่นดั้งเดิม แต่ช้ากว่าโมเดลขนาดเล็กอย่าง GPT-3.5 Turbo หรือ GPT-4o Mini เวลาตอบสนองจริงขึ้นอยู่กับความยาวของอินพุต ความยาวของเอาต์พุต ปริมาณคำขอ และภาระของเซิร์ฟเวอร์ OrcaRouter ปรับเส้นทางการส่งคำขอไปยังเอนด์พอยต์ของ OpenAI ให้เหมาะสม แต่ไม่ได้เพิ่มความหน่วงเพิ่มเติมนอกเหนือจากการกระโดดเครือข่าย สำหรับแอปพลิเคชันที่ไวต่อความหน่วง ควรพิจารณาใช้โมเดลที่เร็วกว่าซึ่งมีการใช้งานโทเค็นรวมที่ต่ำกว่า หากคุณต้องการการตอบสนองทันที คุณอาจทดสอบโมเดลผ่าน API ของ OrcaRouter และวัดประสิทธิภาพสำหรับโหลดงานเฉพาะของคุณ
เช่นเดียวกับโมเดลภาษาขนาดใหญ่ทั้งหมด GPT-4 Turbo บางครั้งอาจสร้างข้อมูลที่ไม่ถูกต้องหรือไร้สาระ (hallucination) อาจมีความยืดยาว ผลิตคำตอบที่ยาวเกินความจำเป็น แม้จะมีความแข็งแกร่งทางคณิตศาสตร์ แต่อาจมีปัญหาเรื่องความถูกต้องตามข้อเท็จจริงเกี่ยวกับเหตุการณ์ล่าสุด (ไม่ได้ระบุจุดตัดข้อมูลการฝึก; สมมติว่ามีความรู้ถึงต้นปี 2024) โมเดลไม่รองรับการเรียกใช้ฟังก์ชันในลักษณะเดียวกับเวอร์ชันใหม่กว่า แม้ว่าจะยอมรับรูปแบบการใช้เครื่องมือในรูปแบบคำขอ นอกจากนี้ยังไม่รับประกันรูปแบบที่สอดคล้องกันในการเรียกใช้แต่ละครั้ง สำหรับงานที่สำคัญต่อความปลอดภัย ควรตรวจสอบผลลัพธ์เสมอ OrcaRouter จัดเตรียมโมเดลตามสภาพโดยไม่มีการกรองเพิ่มเติม
OrcaRouter ส่งผ่านราคาของ OpenAI โดยไม่มีมาร์กอัปใดๆ ค่าใช้จ่ายอยู่ที่ $10.00 ต่อ 1 ล้านโทเคนอินพุต และ $30.00 ต่อ 1 ล้านโทเคนเอาต์พุต โทเคนอินพุตรวมทั้งโทเคนข้อความและภาพ (จำนวนโทเคนภาพถูกกำหนดโดยอัลกอริทึมของ OpenAI) โทเคนเอาต์พุตคือโทเคนที่ถูกสร้างขึ้นโดยโมเดล เนื่องจากไม่มีมาร์กอัป ราคาที่คุณเห็นคือค่าใช้จ่ายของ OpenAI ที่แน่นอน การเรียกเก็บเงินขึ้นอยู่กับการใช้งานโทเคนที่บันทึกโดย OrcaRouter ไม่มีค่าธรรมเนียมเพิ่มเติมหรือขั้นต่ำ คุณสามารถตรวจสอบการใช้งานของคุณในแดชบอร์ด OrcaRouter และตั้งค่าขีดจำกัดค่าใช้จ่ายได้
OrcaRouter ไม่ได้เสนอการแคชโทเค็นสำหรับโมเดลนี้ ทุกคำขอ API จะถูกคิดเงินตามจำนวนโทเค็นจริง ไม่มีส่วนลดตามปริมาณการใช้งานหรือส่วนลดแบบผูกพันในขณะนี้ ราคาจะเป็นแบบต่อโทเค็นตามที่อธิบายไว้ เพื่อลดต้นทุน คุณสามารถปรับแต่ง prompt ของคุณให้ใช้โทเค็นน้อยลง (เช่น ข้อความระบบที่สั้นลง การตัดบริบทที่ไม่จำเป็นออก) หรือสำหรับงานที่ไม่ต้องการพลังเต็มของ GPT-4 Turbo ให้พิจารณาใช้โมเดลที่ถูกกว่าที่มีใน OrcaRouter เช่น GPT-3.5 Turbo หรือ GPT-4o Mini
โทเค็นเอาต์พุตมีราคาแพงกว่าโทเค็นอินพุตถึงสามเท่า ($30 ต่อล้านเทียบกับ $10 ต่อล้าน) ดังนั้น การสร้างคำตอบยาวๆ จะเพิ่มต้นทุนรวมอย่างมาก สำหรับแอปพลิเคชันที่คำนึงถึงต้นทุน ควรพิจารณาจำกัดพารามิเตอร์ max_tokens ให้มีความยาวขั้นต่ำที่จำเป็น นอกจากนี้ โปรดทราบว่า prompt ที่มีรูปภาพจำนวนมากอาจใช้โทเค็นอินพุตจำนวนมาก (แต่ละรูปภาพอาจใช้โทเค็นหลายร้อยโทเค็น) ควรประมาณการใช้งานโทเค็นก่อนปรับขนาดเสมอ อินพุตขนาด 128K โทเค็นเดียวจะมีต้นทุน $1.28 สำหรับอินพุตเท่านั้น บวกกับ $3.84 สำหรับเอาต์พุต 128K (หากสร้างขึ้น) ในทางปฏิบัติ คำขอทั่วไปจะใช้โทเค็นน้อยกว่ามาก
คุณสามารถใช้ tokenizer ของ OpenAI หรือการนับ token แบบรวมของ OrcaRouter สำหรับข้อความ 1 token ≈ 0.75 คำในภาษาอังกฤษ สำหรับรูปภาพ การใช้ token ขึ้นอยู่กับขนาดและระดับรายละเอียดของรูปภาพ เอกสารของ OpenAI มีสูตรให้ คุณยังสามารถส่งคำขอตัวอย่างขนาดเล็กและตรวจสอบฟิลด์ usage ใน API response (ซึ่งประกอบด้วย prompt_tokens, completion_tokens, และ total_tokens) จากนั้นคูณด้วยราคาต่อ token เพื่อหาต้นทุน OrcaRouter ยังแสดงต้นทุนต่อคำขอใน logs ด้วย โปรดจำไว้ว่าผลลัพธ์สูงสุดคือ 4,096 tokens ดังนั้นต้นทุนผลลัพธ์ต่อคำขอจึงถูกจำกัดไว้ที่ $0.12288 (4,096 * $30/1,000,000)
ใช้ปลายทาง API ที่เข้ากันได้กับ OpenAI ของ OrcaRouter: https://api.orcarouter.ai/v1 ตั้งค่าพารามิเตอร์ model เป็น "openai/gpt-4-turbo-2024-04-09" รวมคีย์ API ของ OrcaRouter ไว้ในส่วนหัว Authorization (Bearer your_key) รูปแบบคำขอจะเหมือนกับ Chat Completions API ของ OpenAI ตัวอย่างการใช้ Python กับไลบรารี openai: ตั้งค่า openai.base_url = "https://api.orcarouter.ai/v1" และ openai.api_key = "orcarouter_key" จากนั้นเรียก openai.chat.completions.create(model="openai/gpt-4-turbo-2024-04-09", messages=[...]) คุณสามารถส่งพารามิเตอร์มาตรฐานเช่น temperature, top_p, max_tokens (สูงสุด 4096)
รองรับพารามิเตอร์มาตรฐานทั้งหมดของ OpenAI Chat Completions ได้แก่ temperature (0-2, ค่าเริ่มต้น 1), top_p (0-1, ค่าเริ่มต้น 1), max_tokens (สูงสุด 4096), n (จำนวนคำตอบ), stop sequences, frequency_penalty, presence_penalty และ logit_bias สำหรับคำขอแบบ multimodal ให้รวม content array ที่มี type "text" และ "image_url" โดย OrcaRouter จะส่งผ่านพารามิเตอร์เหล่านี้ไปยัง API ของ OpenAI โดยตรง หมายเหตุ: คุณสมบัติขั้นสูงบางอย่าง เช่น function calling อาจทำงานได้ แต่ไม่ได้มีการบันทึกอย่างเป็นทางการสำหรับโมเดลเวอร์ชันนี้ โปรดทดสอบเพื่อยืนยัน นอกจากนี้คุณยังสามารถสตรีมคำตอบโดยตั้งค่า stream=True ซึ่งจะส่งคืน server-sent events
การย้ายข้อมูลนั้นตรงไปตรงมา: เปลี่ยน base URL จาก https://api.openai.com/v1 เป็น https://api.orcarouter.ai/v1 และเปลี่ยน API key ของคุณเป็น key ของ OrcaRouter อัปเดตชื่อโมเดลเป็น "openai/gpt-4-turbo-2024-04-09" รูปแบบข้อความ, system prompts, tool definitions และอื่นๆ ยังคงเหมือนเดิม OrcaRouter ทำหน้าที่เป็นเกตเวย์ที่โปร่งใส ดังนั้นการตอบสนองจะเหมือนกับที่ OpenAI จะส่งกลับมา (ตราบใดที่โมเดลและพารามิเตอร์เหมือนกัน) คุณสามารถทดสอบการย้ายข้อมูลได้โดยส่งคำขอสองสามรายการและเปรียบเทียบผลลัพธ์ ไม่จำเป็นต้องเปลี่ยนแปลงการออกแบบ prompt ของคุณ
เมื่อเทียบกับ GPT-4 ดั้งเดิม (เปิดตัวมีนาคม 2023) GPT-4 Turbo มีการปรับปรุงหลายอย่าง: หน้าต่างบริบทที่ใหญ่ขึ้น (128K เทียบกับ 8K/32K), ราคาที่ต่ำกว่า ($10/$30 เทียบกับ ~$30/$60 ต่อล้านโทเคน), และเวลาตอบสนองที่เร็วขึ้น คะแนน MATH-500 ที่ 73.7 สูงกว่าคะแนน GPT-4 ก่อนหน้านี้ในเกณฑ์มาตรฐานที่คล้ายกันอย่างมีนัยสำคัญ อย่างไรก็ตาม ผู้ใช้บางรายรายงานว่า GPT-4 Turbo อาจมีความสม่ำเสมอน้อยกว่าเล็กน้อยในการปฏิบัติตามคำแนะนำรูปแบบเมื่อเทียบกับ GPT-4 สำหรับงานส่วนใหญ่ GPT-4 Turbo เป็นตัวเลือกที่แนะนำ เว้นแต่คุณต้องการพฤติกรรมของ GPT-4 โดยเฉพาะ ผ่าน OrcaRouter คุณสามารถเข้าถึงทั้งสองโมเดลและเปรียบเทียบผลลัพธ์ได้โดยตรง
GPT-4o (โมเดลมัลติโมดัลรุ่นล่าสุดของ OpenAI) มีความสามารถแบบมัลติโมดัลในตัว ความเร็วที่สูงขึ้น และความเข้าใจด้านภาพที่ดีขึ้น นอกจากนี้ยังมีหน้าต่างบริบท 128K โดยทั่วไป GPT-4o มีราคาถูกกว่า GPT-4 Turbo ($5/$15 ต่อหนึ่งล้านโทเค็น) ในชุดข้อมูล MATH-500 GPT-4o มักจะได้คะแนนสูงกว่า GPT-4 Turbo ยังคงเป็นตัวเลือกที่ดีหากคุณต้องการพฤติกรรมเฉพาะของ GPT-4 Turbo รุ่นดั้งเดิม หรือหากคุณปรับแต่งพรอมต์ให้เหมาะกับมันแล้ว บน OrcaRouter คุณสามารถสลับระหว่างโมเดลเหล่านี้ได้โดยการเปลี่ยนรหัสโมเดล เราขอแนะนำให้ทดสอบทั้งสองโมเดลในกรณีการใช้งานของคุณเพื่อดูว่าแบบใดให้สมดุลระหว่างความแม่นยำและต้นทุนที่ดีกว่า
เลือก openai/gpt-4-turbo-2024-04-09 หากคุณต้องการโมเดลที่เชื่อถือได้ มีประสิทธิภาพสูง มีหน้าต่างบริบทขนาดใหญ่มาก และยินดีจ่ายเพิ่มเพื่อการอนุมานที่เหนือกว่า โมเดลนี้มีความแข็งแกร่งเป็นพิเศษสำหรับงานคณิตศาสตร์ (MATH-500 73.7) หากแอปพลิเคชันของคุณต้องการอินพุตแบบหลายรูปแบบ ทั้ง GPT-4 Turbo และ GPT-4o รองรับ แต่ GPT-4o อาจเร็วกว่าและถูกกว่า สำหรับงานข้อความทั่วไป ให้พิจารณา GPT-3.5 Turbo หรือ GPT-4o Mini OrcaRouter มีแคตตาล็อกที่กว้างขวาง; ประเมินต้นทุน ความหน่วง และคุณภาพบนข้อมูลเฉพาะของคุณก่อนตัดสินใจ
เข้ากันได้กับ OpenAI — ใช้ SDK เดิมของคุณได้เลย
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo-2024-04-09",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| อินพุต / 1M โทเค็น | $10.00 |
| เอาต์พุต / 1M โทเค็น | $30.00 |
| สกุลเงิน | USD |
ประมาณการจากราคาตั้ง
เป็นเพียงการประเมิน — จำนวน token จริงขึ้นอยู่กับ tokenizer ของผู้ให้บริการ
GET /api/public/models/openai/gpt-4-turbo-2024-04-09เปิด @misc{orcarouter_gpt_4_turbo_2024_04_09,
title = {openai/gpt-4-turbo-2024-04-09 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09}
}openai. (n.d.). openai/gpt-4-turbo-2024-04-09 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09