GPT‑4 Turbo của OpenAI với ngữ cảnh 128K, đầu vào văn bản/hình ảnh, được truy cập qua API của OrcaRouter.
openai/gpt-4-turbo-2024-04-09 là một phiên bản cụ thể của mô hình GPT-4 Turbo của OpenAI, được phát hành vào ngày 9 tháng 4 năm 2024. Mô hình này chấp nhận cả đầu vào văn bản và hình ảnh, đồng thời…
Mô hình có thể thực hiện nhiều tác vụ ngôn ngữ tự nhiên: tóm tắt, dịch thuật, trả lời câu hỏi, sinh mã và viết sáng tạo. Với ngữ cảnh 128K token, nó có thể phân tích toàn bộ sách hoặc mã nguồn lớn trong một lần. Mô hình cũng xử lý hình ảnh, do đó có thể trả lời các câu hỏi về ảnh chụp, sơ đồ hoặc tài liệu quét. Hiệu suất mạnh mẽ của mô hình trên MATH-500 (73.7) cho thấy nó có thể giải các bài toán phức tạp từng bước. Để có kết quả tốt nhất, hãy cung cấp hướng dẫn rõ ràng và sử dụng thông báo hệ thống để thiết lập hành vi. Mô hình được truy cập qua API của OrcaRouter tại https://api.orcarouter.ai/v1 với ID mô hình "openai/gpt-4-turbo-2024-04-09".
GPT-4 Turbo mạnh mẽ nhưng tương đối đắt, với giá $10 cho mỗi triệu token đầu vào và $30 cho mỗi triệu token đầu ra. Đối với các tác vụ không yêu cầu suy luận sâu hoặc ngữ cảnh rộng, một mô hình nhẹ hơn như GPT-3.5 Turbo (có giá khoảng $0.5–$1.5 cho mỗi triệu token) có thể đủ dùng và tiết kiệm hơn nhiều. Ví dụ bao gồm phân loại văn bản đơn giản, chatbot cơ bản hoặc tạo nội dung ngắn. Ngoài ra, nếu ứng dụng của bạn không cần đầu vào đa phương thức hoặc cửa sổ ngữ cảnh rất lớn, một mô hình nhỏ hơn có thể giảm độ trễ và chi phí. OrcaRouter cho phép bạn chuyển đổi giữa các mô hình bằng cách thay đổi ID mô hình trong lệnh gọi API.
Đúng vậy, GPT-4 Turbo (2024-04-09) chấp nhận đầu vào hình ảnh bên cạnh văn bản. Bạn có thể cung cấp hình ảnh dưới dạng dữ liệu mã hóa base64 hoặc URL trong yêu cầu API. Mô hình có thể diễn giải nội dung của ảnh chụp, sơ đồ, biểu đồ và văn bản trong hình ảnh (ví dụ: ảnh chụp màn hình). Điều này giúp mô hình phù hợp cho các tác vụ thị giác như chú thích hình ảnh, trả lời câu hỏi trực quan và phân tích tài liệu bao gồm các trang được quét. Khi sử dụng hình ảnh, chi phí token bao gồm các token hình ảnh — thông thường mỗi hình ảnh tiêu tốn token tỷ lệ thuận với độ phân giải của nó. Cách tính token chính xác được xác định bởi OpenAI; hãy tham khảo tài liệu của họ để biết chi tiết. Qua OrcaRouter, bạn gửi định dạng yêu cầu tương tự như API của OpenAI.
Cửa sổ ngữ cảnh 128K token (khoảng 96.000 từ) là lý tưởng cho các tác vụ yêu cầu hiểu các chuỗi rất dài. Ví dụ: xử lý toàn bộ một cuốn sách hoặc tài liệu pháp lý dài trong một lệnh gọi API, phân tích toàn bộ kho mã nguồn, hoặc duy trì lịch sử hội thoại kéo dài hàng trăm lượt. Nó cũng cho phép các kỹ thuật như "chuỗi suy luận" (chain-of-thought) khi ra lệnh trên các vết suy luận dài. Tuy nhiên, lưu ý rằng độ phức tạp chú ý của mô hình có thể làm tăng độ trễ cho các đầu vào rất dài. Đối với hầu hết các ứng dụng sản xuất, cửa sổ ngữ cảnh 8K–32K thường là đủ; chỉ tận dụng 128K đầy đủ khi tác vụ của bạn thực sự có lợi từ bộ nhớ mở rộng này.
Chuẩn đánh giá MATH-500 bao gồm 500 bài toán khó thuộc các lĩnh vực đại số, hình học, lý thuyết số, và nhiều hơn nữa. Điểm số 73,7 cho thấy GPT-4 Turbo đã giải đúng khoảng 73,7% các bài toán này. Đây là một kết quả mạnh mẽ, đưa nó vào nhóm các mô hình hàng đầu về lý luận toán học. Để có bối cảnh, các mô hình GPT-4 trước đó đạt điểm thấp hơn trên các chuẩn toán tương tự. Điểm số này gợi ý rằng mô hình có thể xử lý đáng tin cậy các bước suy luận tuần tự, điều này hữu ích cho các hệ thống dạy kèm, kiểm tra toán tự động và phân tích dữ liệu phức tạp. Cần lưu ý rằng hiệu suất có thể thay đổi theo lĩnh vực bài toán; mô hình vẫn có thể mắc lỗi đối với các câu hỏi chuyên sâu hoặc mơ hồ.
Các số liệu chính xác về độ trễ không được OpenAI công bố cho mô hình này. Nhìn chung, GPT-4 Turbo nhanh hơn GPT-4 gốc nhưng chậm hơn các mô hình nhỏ như GPT-3.5 Turbo hoặc GPT-4o Mini. Thời gian phản hồi thực tế phụ thuộc vào độ dài đầu vào, độ dài đầu ra, khối lượng yêu cầu và tải máy chủ. OrcaRouter tối ưu hóa việc định tuyến đến các điểm cuối của OpenAI, nhưng không thêm độ trễ nào ngoài bước nhảy mạng. Đối với các ứng dụng nhạy cảm với độ trễ, hãy cân nhắc sử dụng mô hình nhanh hơn với tổng lượng token sử dụng thấp hơn. Nếu bạn cần phản hồi tức thì, bạn có thể thử nghiệm mô hình thông qua API của OrcaRouter và đo lường hiệu suất cho khối lượng công việc cụ thể của mình.
Giống như tất cả các mô hình ngôn ngữ lớn khác, GPT-4 Turbo đôi khi có thể sinh ra thông tin không chính xác hoặc vô nghĩa (ảo giác). Mô hình cũng có thể dài dòng, đưa ra các câu trả lời dài hơn mức cần thiết. Mặc dù mạnh về toán học, nhưng mô hình có thể gặp khó khăn về độ chính xác thực tế đối với các sự kiện gần đây (không xác định thời điểm cắt dữ liệu huấn luyện; giả định kiến thức cập nhật đến đầu năm 2024). Mô hình không hỗ trợ function calling theo cách giống như các phiên bản mới hơn, mặc dù nó chấp nhận các mẫu sử dụng công cụ (tool-use patterns) trong định dạng yêu cầu. Mô hình cũng không đảm bảo định dạng nhất quán giữa các lần gọi. Đối với các nhiệm vụ quan trọng về an toàn, hãy luôn xác thực đầu ra. OrcaRouter cung cấp mô hình nguyên trạng mà không có bộ lọc bổ sung nào.
OrcaRouter chuyển tiếp giá của OpenAI mà không tính thêm phí. Chi phí là $10.00 cho 1 triệu token đầu vào và $30.00 cho 1 triệu token đầu ra. Token đầu vào bao gồm cả token văn bản và token hình ảnh (số lượng token hình ảnh được xác định bởi thuật toán của OpenAI). Token đầu ra là những token được tạo ra bởi mô hình. Vì không có phí cộng thêm, giá bạn thấy là mức phí chính xác của OpenAI. Việc thanh toán dựa trên lượng token sử dụng được ghi nhận bởi OrcaRouter. Không có phí bổ sung hay mức tối thiểu nào. Bạn có thể theo dõi mức sử dụng trong bảng điều khiển OrcaRouter và đặt giới hạn chi tiêu.
OrcaRouter không cung cấp tính năng lưu cache token cho mô hình này; mọi yêu cầu API đều được tính phí dựa trên số lượng token thực tế. Hiện tại không có chiết khấu theo khối lượng hay chiết khấu sử dụng cam kết. Giá được tính nghiêm ngặt theo từng token như đã mô tả. Để giảm chi phí, bạn có thể tối ưu hóa prompt để sử dụng ít token hơn (ví dụ: tin nhắn hệ thống ngắn hơn, cắt bớt ngữ cảnh không cần thiết). Ngoài ra, đối với các tác vụ không yêu cầu toàn bộ sức mạnh của GPT-4 Turbo, hãy cân nhắc sử dụng một mô hình rẻ hơn có sẵn trên OrcaRouter, chẳng hạn như GPT-3.5 Turbo hoặc GPT-4o Mini.
Output tokens đắt gấp ba lần input tokens ($30 so với $10 mỗi triệu). Do đó, việc tạo ra các phản hồi dài làm tăng đáng kể tổng chi phí. Đối với các ứng dụng nhạy cảm về chi phí, hãy cân nhắc giới hạn tham số max_tokens ở độ dài tối thiểu cần thiết. Cũng lưu ý rằng các prompt có nhiều hình ảnh có thể tiêu thụ một lượng lớn input tokens (mỗi hình ảnh có thể tiêu thụ hàng trăm token). Luôn ước tính lượng token sử dụng trước khi mở rộng quy mô. Một input 128K token đơn lẻ sẽ tốn $1.28 chỉ cho input, cộng thêm $3.84 cho 128K output (nếu được tạo). Trong thực tế, các yêu cầu điển hình sử dụng ít token hơn nhiều.
Bạn có thể sử dụng tokenizer của OpenAI hoặc tính năng đếm token tích hợp của OrcaRouter. Đối với văn bản, 1 token ≈ 0,75 từ trong tiếng Anh. Đối với hình ảnh, mức tiêu thụ token phụ thuộc vào kích thước hình ảnh và mức độ chi tiết; tài liệu của OpenAI cung cấp các công thức. Bạn cũng có thể gửi một yêu cầu mẫu nhỏ và kiểm tra trường usage trong phản hồi API (bao gồm prompt_tokens, completion_tokens và total_tokens). Nhân với giá mỗi token để tính chi phí. OrcaRouter cũng hiển thị chi phí mỗi yêu cầu trong nhật ký. Lưu ý rằng đầu ra tối đa là 4.096 token, vì vậy chi phí đầu ra mỗi yêu cầu được giới hạn ở mức $0,12288 (4.096 * $30/1.000.000).
Sử dụng điểm cuối API tương thích OpenAI của OrcaRouter: https://api.orcarouter.ai/v1. Đặt tham số model thành "openai/gpt-4-turbo-2024-04-09". Bao gồm khóa API OrcaRouter của bạn trong header Authorization (Bearer your_key). Định dạng yêu cầu giống hệt với API Chat Completions của OpenAI. Ví dụ sử dụng Python với thư viện openai: đặt openai.base_url = "https://api.orcarouter.ai/v1" và openai.api_key = "orcarouter_key". Sau đó gọi openai.chat.completions.create(model="openai/gpt-4-turbo-2024-04-09", messages=[...]). Bạn có thể truyền các tham số chuẩn như temperature, top_p, max_tokens (tối đa 4096).
Tất cả các tham số tiêu chuẩn của OpenAI Chat Completions đều được hỗ trợ, bao gồm: temperature (0-2, mặc định 1), top_p (0-1, mặc định 1), max_tokens (tối đa 4096), n (số lượng completions), chuỗi dừng (stop sequences), frequency_penalty, presence_penalty và logit_bias. Đối với các yêu cầu đa phương thức (multimodal), hãy bao gồm một mảng nội dung (content array) với kiểu "text" và "image_url". OrcaRouter truyền trực tiếp các tham số này đến API của OpenAI. Lưu ý rằng một số tính năng nâng cao như gọi hàm (function calling) có thể hoạt động nhưng không được tài liệu chính thức cho phiên bản mô hình này; hãy kiểm tra để xác nhận. Bạn cũng có thể phát trực tiếp (stream) các phản hồi bằng cách đặt stream=True, trả về các sự kiện do máy chủ gửi (server-sent events).
Việc di chuyển rất đơn giản: thay đổi URL cơ sở từ https://api.openai.com/v1 thành https://api.orcarouter.ai/v1 và thay thế API key của bạn bằng key OrcaRouter của bạn. Cập nhật tên model thành "openai/gpt-4-turbo-2024-04-09". Tất cả định dạng tin nhắn, prompt hệ thống, định nghĩa công cụ, v.v., vẫn giữ nguyên. OrcaRouter hoạt động như một gateway trong suốt, do đó các phản hồi giống hệt với những gì OpenAI sẽ trả về (miễn là model và tham số giống nhau). Bạn có thể kiểm tra việc di chuyển bằng cách gửi một vài yêu cầu và so sánh đầu ra. Không cần thay đổi gì trong kỹ thuật prompt của bạn.
So với GPT-4 gốc (phát hành tháng 3 năm 2023), GPT-4 Turbo mang lại một số cải tiến: cửa sổ ngữ cảnh lớn hơn (128K so với 8K/32K), giá thấp hơn ($10/$30 so với ~$30/$60 mỗi triệu token), và thời gian phản hồi nhanh hơn. Điểm MATH-500 đạt 73,7 cao hơn đáng kể so với điểm GPT-4 trước đây trên các chuẩn đánh giá tương tự. Tuy nhiên, một số người dùng phản ánh rằng GPT-4 Turbo có thể kém nhất quán hơn một chút trong việc tuân theo hướng dẫn định dạng so với GPT-4. Đối với hầu hết các tác vụ, GPT-4 Turbo là lựa chọn được khuyến nghị trừ khi bạn đặc biệt cần hành vi của GPT-4. Thông qua OrcaRouter, bạn có thể truy cập cả hai mô hình và so sánh trực tiếp đầu ra.
GPT-4o (mô hình đa phương thức sau này của OpenAI) cung cấp khả năng đa phương thức gốc, tốc độ nhanh hơn và khả năng hiểu hình ảnh được cải thiện. Mô hình này cũng có cửa sổ ngữ cảnh 128K. GPT-4o thường rẻ hơn GPT-4 Turbo ($5/$15 mỗi triệu token). Trên MATH-500, GPT-4o thường đạt điểm cao hơn. GPT-4 Turbo vẫn là lựa chọn tốt nếu bạn cần hành vi cụ thể của GPT-4 Turbo gốc hoặc nếu bạn đã tối ưu prompt cho nó. Trên OrcaRouter, bạn có thể chuyển đổi giữa các mô hình này bằng cách thay đổi ID mô hình. Chúng tôi khuyên bạn nên thử nghiệm cả hai trên trường hợp sử dụng của mình để xác định sự cân bằng giữa độ chính xác và chi phí tốt hơn.
Chọn openai/gpt-4-turbo-2024-04-09 nếu bạn cần một mô hình đáng tin cậy, hiệu suất cao với cửa sổ ngữ cảnh rất lớn và sẵn sàng trả thêm phí để có khả năng suy luận vượt trội. Mô hình này đặc biệt mạnh trong các tác vụ toán học (MATH-500 73.7). Nếu ứng dụng của bạn cần đầu vào đa phương thức, cả GPT-4 Turbo và GPT-4o đều hỗ trợ, nhưng GPT-4o có thể nhanh hơn và rẻ hơn. Đối với các tác vụ văn bản đơn giản, hãy cân nhắc GPT-3.5 Turbo hoặc GPT-4o Mini. OrcaRouter cung cấp danh mục rộng; hãy đánh giá chi phí, độ trễ và chất lượng trên dữ liệu cụ thể của bạn trước khi đưa ra quyết định.
Tương thích OpenAI — giữ nguyên SDK bạn đang dùng
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo-2024-04-09",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Đầu vào / 1M tokens | $10.00 |
| Đầu ra / 1M tokens | $30.00 |
| Tiền tệ | USD |
Ước tính theo giá niêm yết
Chỉ là ước tính — số token thực tế phụ thuộc vào bộ tách token của nhà cung cấp.
GET /api/public/models/openai/gpt-4-turbo-2024-04-09Mở @misc{orcarouter_gpt_4_turbo_2024_04_09,
title = {openai/gpt-4-turbo-2024-04-09 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09}
}openai. (n.d.). openai/gpt-4-turbo-2024-04-09 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09