รุ่น GPT-4 Turbo ล่าสุดที่มีความสามารถด้าน Vision คำขอแบบ Vision สามารถใช้โหมด JSON และ function calling ได้แล้ว ข้อมูลการฝึก: จนถึงเดือนธันวาคม 2023
GPT-4 Turbo เป็นโมเดลภาษาขนาดใหญ่ที่เปิดตัวโดย OpenAI ซึ่งสามารถประมวลผลทั้งข้อความและภาพนำเข้า มันสร้างขึ้นบนสถาปัตยกรรมของ GPT-4 แต่เพิ่มหน้าต่างบริบทเป็น 128,000 โทเค็น — ประมาณ 300 หน้าของข้อความ…
GPT-4 Turbo แสดงความสามารถในการให้เหตุผลที่แข็งแกร่ง โดยเฉพาะในด้านคณิตศาสตร์ (คะแนน MATH-500 อยู่ที่ 73.7) การสร้างโค้ด และการแก้ปัญหาหลายขั้นตอน สามารถปฏิบัติตามคำแนะนำที่ซับซ้อนในบทสนทนาที่ยาว รักษาความสม่ำเสมอในหลายพันโทเค็น และสร้างคำอธิบายทางเทคนิคที่สอดคล้องกัน โมเดลนี้ยังสามารถวิเคราะห์รูปภาพ เช่น ภาพหน้าจอ แผนภาพ และข้อความที่พิมพ์ออกมา เมื่ออินพุตมีข้อมูลรูปภาพ อย่างไรก็ตาม โมเดลนี้ไม่ได้เชี่ยวชาญเฉพาะด้านสำหรับทุกโดเมน สำหรับงานจำแนกหรือแยกข้อมูลอย่างง่าย โมเดลขนาดเล็กเช่น GPT-3.5 Turbo อาจเพียงพอและประหยัดกว่า
หน้าต่างบริบทขนาด 128,000 โทเคนช่วยให้คุณป้อนเอกสารขนาดใหญ่—หนังสือทั้งเล่ม, สัญญาทางกฎหมายที่ยาว, โค้ดเบสที่สมบูรณ์, หรือการสนทนายาวๆ—โดยไม่ต้องแบ่งเนื้อหาออกเป็นส่วนๆ ตัวอย่างเช่น คุณสามารถวางเอกสารวิจัยทั้งฉบับและถามคำถามเกี่ยวกับส่วนใดก็ได้โดยไม่สูญเสียส่วนก่อนหน้านี้ ซึ่งมีประโยชน์อย่างยิ่งสำหรับงานต่างๆ เช่น การสรุปเอกสาร การวิเคราะห์กฎหมาย หรือการดีบักโค้ดเบสขนาดใหญ่ที่โมเดลต้องเห็นโครงสร้างทั้งหมด บน OrcaRouter บริบทนี้จะคิดค่าใช้จ่ายเป็นโทเคนอินพุต ดังนั้นการป้อนเอกสารขนาด 100K โทเคนจะมีค่าใช้จ่ายประมาณ $1.00 ต่อคำขอ (100K * $10/1M)
GPT-4 Turbo ยอมรับรูปภาพเป็นส่วนหนึ่งของอินพุต ทำให้มันสามารถเข้าใจเนื้อหาที่มองเห็นได้ เช่น ภาพถ่าย แผนภาพ ภาพประกอบ และภาพหน้าจอ โมเดลสามารถบรรยายสิ่งที่อยู่ในรูปภาพ ตอบคำถามเกี่ยวกับเนื้อหาในรูปภาพ และทำการอนุมานจากแผนภาพ (เช่น การตีความผังงานหรือกราฟ) โดยทั่วไปรูปภาพจะถูกจัดเตรียมเป็น URL หรือข้อมูลที่เข้ารหัส base64 ภายในรูปแบบการสนทนาแบบสมบูรณ์ของ OpenAI ค่าใช้จ่ายสำหรับการประมวลผลรูปภาพจะรวมอยู่ในจำนวนโทเค็นอินพุต ซึ่งคำนวณตามความละเอียดของรูปภาพและระดับรายละเอียดตามสูตรการกำหนดราคาของ OpenAI
หากกรณีการใช้งานของคุณเกี่ยวข้องกับงานที่มีปริมาณสูงแต่ความซับซ้อนต่ำ เช่น การจำแนกข้อความอย่างง่าย การถาม-ตอบพื้นฐานบนบริบทสั้นๆ หรือการดึงข้อมูลซ้ำๆ โมเดลขนาดเล็กอย่าง GPT-3.5 Turbo หรือโมเดลที่ปรับแต่งมาโดยเฉพาะอาจให้ผลลัพธ์ที่ยอมรับได้ในราคาที่ถูกกว่ามาก การกำหนดราคาของ GPT-4 Turbo สูงกว่า GPT-3.5 Turbo ประมาณ 20 เท่าต่อโทเค็นอินพุต และสูงกว่า 30 เท่าต่อโทเค็นเอาต์พุต สำหรับแอปพลิเคชันที่เวลาแฝงมีความสำคัญ GPT-3.5 Turbo ยังตอบสนองได้เร็วกว่า ประเมินข้อแลกเปลี่ยนระหว่างความแม่นยำและต้นทุน สำหรับไปป์ไลน์การผลิตหลายรูปแบบ วิธีการแบบไฮบริดที่ใช้โมเดลราคาถูกสำหรับการกรอง และใช้ GPT-4 Turbo สำหรับกรณีที่ซับซ้อนสามารถช่วยปรับค่าใช้จ่ายให้เหมาะสมที่สุด
GPT-4 Turbo ทำคะแนนได้ 73.7 จากเกณฑ์ชี้วัด MATH-500 ซึ่งใช้วัดความสามารถของโมเดลในการแก้ปัญหาคณิตศาสตร์ระดับชั้นประถมถึงมัธยมปลายที่ครอบคลุมหัวข้อต่างๆ เช่น พีชคณิต เรขาคณิต และแคลคูลัส คะแนนนี้บ่งบอกถึงความสามารถในการให้เหตุผลทางคณิตศาสตร์ที่แข็งแกร่ง แต่ยังไม่ถึงระดับล้ำสมัย โมเดลเฉพาะทางหรือกลุ่มโมเดลขนาดใหญ่บางตัวสามารถทำคะแนนเกิน 80 ได้ เกณฑ์ชี้วัดนี้มีประโยชน์สำหรับการเปรียบเทียบโมเดลในด้านการแก้ปัญหาอย่างเป็นระบบมากกว่าการสร้างภาษาแบบดิบๆ บน OrcaRouter คุณสามารถทดสอบด้วยตนเองได้โดยส่งชุดปัญหาทางคณิตศาสตร์ผ่าน API และเปรียบเทียบผลลัพธ์
จุดแข็ง ได้แก่ การให้เหตุผลเชิงลึก การจัดการบริบทที่ยาว และความสามารถในการสร้างและอธิบายโค้ด นอกจากนี้ยังมีประสิทธิภาพที่ดีในงานที่รวมข้อความและภาพ เช่น การตีความไดอะแกรม ข้อจำกัด ได้แก่ ขีดจำกัดเอาต์พุตที่ค่อนข้างเล็กที่ 4,096 tokens ซึ่งหมายความว่าการสร้างข้อความที่ยาว (เช่น การเขียนบททั้งหมด) ต้องเรียกใช้งานหลายครั้ง โมเดลอาจให้คำตอบที่ไม่ถูกต้องในกรณีขอบ — ไม่อาจแม่นยำเสมอไป นอกจากนี้ อาจไม่ใช่ตัวเลือกที่ดีที่สุดสำหรับแอปพลิเคชันเรียลไทม์เนื่องจากเวลาแฝงที่สูงกว่าเมื่อเทียบกับโมเดลขนาดเล็ก ไม่มีการวัดความเร็วให้ แต่รายงานโดยไม่เป็นทางการชี้ให้เห็นว่าช้ากว่า GPT-3.5 Turbo เล็กน้อย
ตัวเลขความหน่วงที่แน่นอนสำหรับ GPT-4 Turbo บน OrcaRouter นั้นไม่ได้เผยแพร่; ประสิทธิภาพขึ้นอยู่กับโครงสร้างพื้นฐานของผู้ให้บริการและปริมาณคำขอ ในทางปฏิบัติ เวลาการอนุมานของโมเดลนี้ยาวนานกว่าโมเดลขนาดเล็ก เนื่องจากจำนวนพารามิเตอร์ที่มากขึ้นและการประมวลผลบริบท สำหรับอินพุตสั้น เวลาตอบสนองโดยทั่วไปจะอยู่ที่ไม่กี่วินาที ในขณะที่บริบทขนาดใหญ่มาก (เช่น 100K โทเคน) อาจเพิ่มความหน่วงอย่างมีนัยสำคัญ เพราะโมเดลต้องประมวลผลโทเคนทั้งหมดก่อนที่จะสร้างเอาต์พุต OrcaRouter ไม่ได้โฆษณาการเร่งความเร็วแบบเฉพาะใดๆ ผู้ใช้ที่ต้องการความหน่วงต่ำสำหรับแอปพลิเคชันแบบโต้ตอบอาจเลือกใช้โมเดลที่เร็วกว่า ในขณะที่การประมวลผลแบบแบตช์สำหรับงานที่ซับซ้อนยังคงเป็นไปได้
ราคาคิดต่อโทเคน: $10.00 ต่อ 1 ล้านโทเคนอินพุต และ $30.00 ต่อ 1 ล้านโทเคนเอาต์พุต ซึ่งตรงกับอัตราโดยตรงของ OpenAI โดยไม่มีค่าธรรมเนียมเพิ่มเติมจาก OrcaRouter โทเคนอินพุตประกอบด้วยข้อความระบบ ข้อความผู้ใช้ โทเคนรูปภาพ และประวัติการสนทนาทั้งหมด โทเคนเอาต์พุตคือการตอบสนองที่โมเดลสร้างขึ้น ต้นทุนรวมของคำขอคำนวณจาก (input_tokens * $0.00001) + (output_tokens * $0.00003) ไม่มีค่าธรรมเนียมขั้นต่ำหรือข้อผูกมัดรายเดือน คุณจ่ายเฉพาะโทเคนที่ใช้เท่านั้น
GPT-4 Turbo มีราคาแพงกว่าโมเดลที่เล็กกว่าอย่าง GPT-3.5 Turbo ($0.50/$1.50 ต่อ 1M โทเค็น) อย่างมีนัยสำคัญ แต่ให้ความสามารถในการใช้เหตุผลและจัดการบริบทที่เหนือกว่า สำหรับงานที่ต้องการเพียงความสามารถพื้นฐาน การใช้ GPT-4 Turbo อาจทำให้เกิดค่าใช้จ่ายที่ไม่จำเป็น ในทางกลับกัน เมื่อเปรียบเทียบกับ GPT-4 ดั้งเดิม ($30/$60 ต่อ 1M โทเค็น) GPT-4 Turbo มีราคาถูกกว่า 33% สำหรับอินพุต และ 50% สำหรับเอาต์พุต ทำให้เป็นตัวเลือกที่คุ้มค่ากว่าสำหรับความต้องการประสิทธิภาพสูง การกำหนดราคาแบบไม่มีส่วนเพิ่มของ OrcaRouter ช่วยให้คุณจ่ายในอัตราเดียวกับการใช้ OpenAI โดยตรง
OrcaRouter ไม่ได้เสนอส่วนลดเฉพาะ ราคาปริมาณ หรือการแคชการตอบสนองสำหรับ GPT-4 Turbo นอกเหนือจากอัตราต่อโทเค็นที่ระบุไว้ ราคาเป็นแบบตรงไปตรงมา: คุณจ่ายเท่ากับที่ OpenAI เรียกเก็บ โดยไม่มีค่าธรรมเนียมเพิ่มเติม ไม่มีส่วนลดผูกพัน การซื้อโทเค็นล่วงหน้า หรือราคาแบบหลายระดับ การแคชของพรอมต์หรือการตอบสนองไม่ได้ถูกโฆษณา ดังนั้นทุกคำขอจะถูกเรียกเก็บในอัตรามาตรฐาน หากคุณคาดว่าจะมีปริมาณสูงมาก คุณอาจต้องการติดต่อ OrcaRouter หรือพิจารณาใช้ API endpoint เฉพาะกับเลเยอร์แคชของคุณเองเพื่อลดค่าใช้จ่ายซ้ำสำหรับอินพุตที่เหมือนกัน
โทเค็นเอาต์พุตมีราคาสูงกว่าโทเค็นอินพุตถึงสามเท่า ($30 เทียบกับ $10 ต่อ 1M) ดังนั้น การสร้างข้อความยาวๆ สามารถทำให้ค่าใช้จ่ายเพิ่มขึ้นอย่างรวดเร็ว ตัวอย่างเช่น การตอบกลับที่มี 2,000 โทเค็นจะมีค่าใช้จ่าย $0.06 ในขณะที่การตอบกลับที่มี 4,000 โทเค็นมีค่าใช้จ่าย $0.12 เพื่อควบคุมค่าใช้จ่าย ให้พิจารณาตั้งค่า max_tokens ต่ำลง ใช้ prompt ที่สั้นลง หรือใช้เทคนิค iterative refinement ที่โมเดลสร้างเอาต์พุตสั้นๆ แล้วขยายความในคำขอแยกต่างหากเมื่อจำเป็นเท่านั้น สำหรับงานเช่นการสรุปความ โมเดลที่มีค่าใช้จ่ายโทเค็นเอาต์พุตต่ำกว่าอาจเป็นที่นิยมกว่าหากบริบทไม่สำคัญ
คุณสามารถเรียกใช้ GPT-4 Turbo ผ่าน API ที่เข้ากันได้กับ OpenAI ของ OrcaRouter ขั้นแรก รับคีย์ API จาก OrcaRouter จากนั้นตั้งค่า base URL เป็น https://api.orcarouter.ai/v1 และใช้รหัสโมเดล "openai/gpt-4-turbo" ในคำขอ chat completion ของคุณ ตัวอย่างเช่น กับ OpenAI Python SDK คุณจะสร้าง client โดยมี base_url ชี้ไปที่ OrcaRouter และ model="openai/gpt-4-turbo" รูปแบบคำขอและคำตอบเหมือนกับ API ดั้งเดิมของ OpenAI ดังนั้นจึงต้องมีการเปลี่ยนแปลงโค้ดเพียงเล็กน้อยเพื่อเปลี่ยนจากการใช้งาน OpenAI โดยตรง
API รองรับพารามิเตอร์การเรียก chat completion มาตรฐานของ OpenAI: messages (อาร์เรย์ที่มีบทบาทและเนื้อหา), temperature (0-2), top_p, n, stream, stop, max_tokens (จำกัดสูงสุดที่ 4096), presence_penalty, frequency_penalty, logit_bias, user, และการเรียกฟังก์ชัน/เครื่องมือ สำหรับอินพุตรูปภาพ คุณสามารถรวมส่วนเนื้อหาที่มี type เป็น "image_url" และ url ได้ โมเดลไม่รองรับพารามิเตอร์เพิ่มเติมนอกเหนือจากข้อกำหนดของ OpenAI พารามิเตอร์ทั้งหมดทำงานตามที่ระบุไว้ในเอกสารของ GPT-4 Turbo ของ OpenAI หมายเหตุ พารามิเตอร์ max_tokens ต้องไม่เกิน 4096 ซึ่งเป็นขีดจำกัดเอาต์พุตของโมเดล
การย้ายข้อมูลนั้นตรงไปตรงมา: แทนที่ base URL ของ OpenAI ด้วย endpoint ของ OrcaRouter คือ https://api.orcarouter.ai/v1 และเปลี่ยนชื่อโมเดลเป็น "openai/gpt-4-turbo" ใช้คีย์ API ของ OrcaRouter แทนคีย์ API ของ OpenAI โค้ดที่เหลือของคุณ — การจัดรูปแบบข้อความ (message formatting), การสตรีม (streaming), การจัดการข้อผิดพลาด (error handling) — ยังคงไม่เปลี่ยนแปลง เนื่องจาก API เข้ากันได้อย่างสมบูรณ์ หากคุณใช้ไลบรารี Python ของ OpenAI คุณสามารถตั้งค่า openai.api_base (หรือค่าที่เทียบเท่าในเวอร์ชันใหม่กว่า) เป็น URL ของ OrcaRouter ซึ่งช่วยให้คุณสามารถทดสอบ GPT-4 Turbo ผ่าน OrcaRouter โดยไม่ต้องเขียนตรรกะใหม่
GPT-4 Turbo เป็นวิวัฒนาการของ GPT-4 ที่มีหน้าต่างบริบทใหญ่ขึ้น (128K เทียบกับสูงสุด 32K ใน GPT-4 รุ่นก่อนหน้า) และราคาต่อโทเค็นถูกลง: $10/$30 ต่อ 1 ล้านโทเค็น เทียบกับ $30/$60 ต่อ 1 ล้านโทเค็นสำหรับ GPT-4 ทั้งสองรุ่นรองรับวิทัศน์ แต่ GPT-4 Turbo ยังปรับปรุงประสิทธิภาพและคุณภาพการให้เหตุผลเล็กน้อย ในการวัดประสิทธิภาพเช่น MATH-500 GPT-4 Turbo ได้คะแนน 73.7 ในขณะที่ GPT-4 ดั้งเดิม (ที่มีเนื้อหา 8K) ได้คะแนนประมาณ 52.9 ในชุดทดสอบ MATH ที่เล็กกว่า — ตัวเลขไม่สามารถเปรียบเทียบโดยตรงเนื่องจากเวอร์ชันทดสอบที่แตกต่างกัน แต่การปรับปรุงนั้นบ่งชี้ได้ ใน OrcaRouter โมเดล GPT-4 รุ่นเก่าก็มีให้บริการในราคาที่สอดคล้องกัน
GPT-3.5 Turbo มีราคาถูกกว่ามาก ($0.50/$1.50 ต่อ 1M tokens) และเร็วกว่า ทำให้เหมาะสำหรับแอปพลิเคชันที่มีปริมาณสูงและหน่วงเวลาต่ำ อย่างไรก็ตาม มีหน้าต่างบริบทที่เล็กกว่า (16K หรือ 4K ขึ้นอยู่กับรุ่นย่อย) และความสามารถในการให้เหตุผล การเขียนโค้ด และการมองเห็นที่อ่อนแอกว่าอย่างเห็นได้ชัด สำหรับงานที่ต้องใช้การให้เหตุผลหลายขั้นตอนหรือบริบทขนาดใหญ่ GPT-4 Turbo ทำได้ดีกว่าอย่างชัดเจน ในการเปรียบเทียบโดยตรงเกี่ยวกับการให้เหตุผลทางคณิตศาสตร์ GPT-3.5 Turbo โดยทั่วไปจะได้คะแนนต่ำกว่า 30 ใน MATH-500 ในขณะที่ GPT-4 Turbo ทำได้ 73.7 เลือก GPT-3.5 Turbo สำหรับงานง่าย ๆ และการประหยัดต้นทุน แต่พึ่งพา GPT-4 Turbo เมื่อความแม่นยำหรือความยาวของบริบทเป็นสิ่งสำคัญ
ไม่ได้มีการเปรียบเทียบแบบตัวต่อตัวโดยตรง แต่ความรู้ทั่วไปในหมู่สาธารณชนแสดงให้เห็นว่า Anthropic Claude 3 และ Google Gemini 1.5 มีความสามารถที่คล้ายคลึงกัน Claude 3 Opus มีหน้าต่างบริบท 200K และความสามารถในการใช้เหตุผลที่เทียบเคียงได้ ในขณะที่ Gemini 1.5 Pro สามารถจัดการโทเค็นได้สูงสุด 1M อย่างไรก็ตาม แต่ละโมเดลมีราคาและโปรไฟล์ประสิทธิภาพที่แตกต่างกัน บน OrcaRouter คุณยังสามารถเข้าถึงโมเดลจากผู้ให้บริการอื่นๆ เพื่อเปรียบเทียบได้ GPT-4 Turbo ยังคงแข่งขันได้ในเรื่องความสมดุลของราคา คุณภาพการให้เหตุผล และระบบนิเวศสำหรับนักพัฒนา (OpenAI SDK) สำหรับงานด้านภาพ ทั้ง Claude และ Gemini ยังรองรับการป้อนข้อมูลรูปภาพด้วย
เข้ากันได้กับ OpenAI — ใช้ SDK เดิมของคุณได้เลย
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| อินพุต / 1M โทเค็น | $10.00 |
| เอาต์พุต / 1M โทเค็น | $30.00 |
| สกุลเงิน | USD |
ประมาณการจากราคาตั้ง
เป็นเพียงการประเมิน — จำนวน token จริงขึ้นอยู่กับ tokenizer ของผู้ให้บริการ
GET /api/public/models/openai/gpt-4-turboเปิด @misc{orcarouter_gpt_4_turbo,
title = {GPT-4 Turbo API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo}
}OpenAI. (2024). GPT-4 Turbo API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo