Mô hình GPT-4 Turbo mới nhất có khả năng nhận diện hình ảnh. Các yêu cầu nhận diện hình ảnh hiện có thể sử dụng chế độ JSON và gọi hàm. Dữ liệu huấn luyện: đến tháng 12 năm 2023.
GPT-4 Turbo là một mô hình ngôn ngữ lớn do OpenAI phát hành, có khả năng xử lý cả đầu vào văn bản và hình ảnh. Mô hình này được xây dựng dựa trên kiến trúc của GPT-4 nhưng mở rộng cửa sổ ngữ cảnh lên…
GPT-4 Turbo thể hiện khả năng suy luận mạnh mẽ, đặc biệt trong toán học (điểm MATH-500 là 73.7), tạo mã và giải quyết vấn đề nhiều bước. Mô hình có thể làm theo các hướng dẫn phức tạp qua các cuộc hội thoại dài, duy trì tính nhất quán qua hàng nghìn token và tạo ra các giải thích kỹ thuật mạch lạc. Mô hình cũng có khả năng phân tích hình ảnh — như ảnh chụp màn hình, sơ đồ và văn bản in — khi đầu vào bao gồm dữ liệu hình ảnh. Tuy nhiên, nó không chuyên biệt cho mọi lĩnh vực; đối với các tác vụ phân loại hoặc trích xuất đơn giản, một mô hình nhỏ hơn như GPT-3.5 Turbo có thể đủ và kinh tế hơn.
Cửa sổ ngữ cảnh 128,000 token cho phép bạn nhập các tài liệu lớn — toàn bộ sách, hợp đồng pháp lý dài, toàn bộ kho mã nguồn, hoặc các cuộc hội thoại dài — mà không cần chia nhỏ nội dung. Ví dụ, bạn có thể dán toàn bộ một bài nghiên cứu và đặt câu hỏi về bất kỳ phần nào mà không làm mất thông tin các phần trước. Điều này đặc biệt hữu ích cho các tác vụ như tóm tắt tài liệu, phân tích lập pháp, hoặc gỡ lỗi một cơ sở mã lớn khi mô hình cần nhìn thấy toàn bộ cấu trúc. Trên OrcaRouter, ngữ cảnh này được tính phí dưới dạng token đầu vào, vì vậy việc nhập một tài liệu 100K token sẽ tốn khoảng $1.00 cho mỗi truy vấn (100K * $10/1M).
GPT-4 Turbo chấp nhận hình ảnh như một phần của đầu vào, cho phép nó hiểu nội dung trực quan như ảnh chụp, sơ đồ, hình minh họa và ảnh chụp màn hình. Mô hình có thể mô tả nội dung trong ảnh, trả lời các câu hỏi về nội dung của nó, và thậm chí thực hiện suy luận sơ đồ (ví dụ: diễn giải một lưu đồ hoặc biểu đồ). Hình ảnh thường được cung cấp dưới dạng URL hoặc dữ liệu mã hóa base64 trong định dạng chat completion của OpenAI. Chi phí xử lý hình ảnh được bao gồm trong số lượng token đầu vào, được tính dựa trên độ phân giải và mức độ chi tiết của hình ảnh theo công thức định giá của OpenAI.
Nếu trường hợp sử dụng của bạn liên quan đến các tác vụ khối lượng lớn, độ phức tạp thấp — chẳng hạn như phân loại văn bản đơn giản, hỏi đáp cơ bản trên ngữ cảnh ngắn, hoặc trích xuất lặp đi lặp lại — một mô hình nhỏ hơn như GPT-3.5 Turbo hoặc một mô hình tinh chỉnh chuyên dụng có thể cho kết quả chấp nhận được với chi phí thấp hơn nhiều. Giá của GPT-4 Turbo cao hơn khoảng 20 lần so với GPT-3.5 Turbo trên mỗi token đầu vào và 30 lần trên mỗi token đầu ra. Đối với các ứng dụng cần độ trễ thấp, GPT-3.5 Turbo cũng phản hồi nhanh hơn. Hãy đánh giá sự đánh đổi giữa độ chính xác và chi phí; đối với nhiều pipeline sản xuất, cách tiếp cận kết hợp sử dụng mô hình rẻ tiền để lọc và GPT-4 Turbo cho các trường hợp phức tạp có thể tối ưu hóa chi tiêu.
GPT-4 Turbo đạt điểm 73.7 trên benchmark MATH-500, dùng để đánh giá khả năng giải các bài toán từ cấp tiểu học đến trung học phổ thông, bao gồm các chủ đề như đại số, hình học và giải tích. Điểm số này cho thấy khả năng suy luận toán học mạnh mẽ nhưng chưa phải là tốt nhất; một số mô hình chuyên biệt hoặc tập hợp lớn hơn có thể vượt quá 80. Benchmark này hữu ích để so sánh các mô hình về khả năng giải quyết vấn đề có hệ thống thay vì khả năng sinh ngữ thô. Trên OrcaRouter, bạn có thể tự kiểm tra điều này bằng cách gửi một bộ bài toán qua API và so sánh kết quả.
Điểm mạnh bao gồm khả năng suy luận sâu, xử lý ngữ cảnh dài, và thành thạo trong việc tạo và giải thích mã nguồn. Nó cũng thể hiện hiệu suất tốt trong các tác vụ kết hợp văn bản và hình ảnh, như diễn giải sơ đồ. Hạn chế bao gồm giới hạn đầu ra tương đối khiêm tốn là 4.096 token, có nghĩa là việc tạo nội dung dài (ví dụ: viết một chương đầy đủ) cần nhiều lần gọi. Mô hình đôi khi có thể đưa ra câu trả lời không chính xác trong các trường hợp ngoại lệ — nó không phải là bất khả chiến bại. Ngoài ra, nó có thể không phải là lựa chọn tốt nhất cho các ứng dụng thời gian thực do độ trễ cao hơn so với các mô hình nhỏ hơn. Không có số đo tốc độ nào được cung cấp, nhưng các báo cáo giai thoại cho thấy nó chậm hơn một chút so với GPT-3.5 Turbo.
Các số liệu về độ trễ chính xác của GPT-4 Turbo trên OrcaRouter không được công bố; hiệu suất phụ thuộc vào cơ sở hạ tầng của nhà cung cấp và tải yêu cầu. Trong thực tế, thời gian suy luận của mô hình này dài hơn so với các mô hình nhỏ hơn do số lượng tham số lớn hơn và xử lý ngữ cảnh. Đối với đầu vào ngắn, thời gian phản hồi thường chỉ vài giây, trong khi các ngữ cảnh rất lớn (ví dụ: 100K token) có thể làm tăng độ trễ đáng kể vì mô hình phải xử lý tất cả token trước khi tạo đầu ra. OrcaRouter không quảng cáo bất kỳ biện pháp tăng tốc cụ thể nào. Người dùng cần độ trễ thấp hơn cho các ứng dụng tương tác có thể ưu tiên mô hình nhanh hơn, trong khi xử lý hàng loạt các tác vụ phức tạp vẫn khả thi.
Giá được tính theo token: $10.00 cho mỗi 1 triệu token đầu vào và $30.00 cho mỗi 1 triệu token đầu ra. Điều này khớp với mức giá trực tiếp của OpenAI, không có phụ phí thêm từ OrcaRouter. Token đầu vào bao gồm tin nhắn hệ thống, tin nhắn người dùng, token hình ảnh và bất kỳ lịch sử hội thoại nào. Token đầu ra là phản hồi được tạo ra bởi mô hình. Tổng chi phí của một yêu cầu được tính là (input_tokens * $0.00001) + (output_tokens * $0.00003). Không có phí tối thiểu hoặc cam kết hàng tháng; bạn chỉ trả cho các token bạn sử dụng.
GPT-4 Turbo đắt hơn đáng kể so với các mô hình nhỏ hơn như GPT-3.5 Turbo ($0.50/$1.50 cho mỗi 1 triệu token) nhưng cung cấp khả năng suy luận và xử lý ngữ cảnh vượt trội. Đối với các tác vụ chỉ cần khả năng cơ bản, việc sử dụng GPT-4 Turbo có thể dẫn đến chi phí không cần thiết. Mặt khác, so với GPT-4 gốc ($30/$60 cho mỗi 1 triệu token), GPT-4 Turbo rẻ hơn 33% cho đầu vào và 50% cho đầu ra, khiến nó trở thành lựa chọn tiết kiệm chi phí hơn cho các yêu cầu hiệu suất cao. Mức giá không tăng thêm của OrcaRouter đảm bảo bạn trả cùng mức giá như khi sử dụng trực tiếp OpenAI.
OrcaRouter không cung cấp bất kỳ khoản giảm giá cụ thể, giá theo khối lượng hoặc lưu trữ đệm phản hồi nào cho GPT-4 Turbo ngoài mức giá trên mỗi token đã nêu. Giá cả rất đơn giản: bạn trả chính xác những gì OpenAI tính phí, không có phí phụ thêm. Không có giảm giá cam kết, mua trước token hay giá phân tầng. Việc lưu trữ đệm các câu nhắc hoặc phản hồi không được quảng cáo, vì vậy mỗi yêu cầu đều được tính phí theo giá tiêu chuẩn. Nếu bạn dự kiến khối lượng rất lớn, bạn có thể muốn liên hệ với OrcaRouter hoặc xem xét sử dụng một điểm cuối API chuyên dụng với lớp lưu trữ đệm của riêng bạn để giảm chi phí lặp lại cho các đầu vào giống hệt nhau.
Chi phí token đầu ra cao gấp ba lần token đầu vào ($30 so với $10 trên 1M token). Do đó, các bản tạo dài có thể nhanh chóng làm tăng hóa đơn. Ví dụ, tạo phản hồi 2.000 token sẽ tốn $0,06, trong khi phản hồi 4.000 token tốn $0,12. Để kiểm soát chi phí, hãy cân nhắc đặt tham số max_tokens thấp hơn, sử dụng lời nhắc ngắn hơn hoặc áp dụng cải tiến lặp đi lặp lại, trong đó mô hình tạo đầu ra ngắn hơn rồi mở rộng chúng trong một lệnh gọi riêng khi cần. Đối với các tác vụ như tóm tắt, một mô hình có chi phí token đầu ra nhỏ hơn có thể được ưu tiên nếu ngữ cảnh không quan trọng.
Bạn có thể gọi GPT-4 Turbo thông qua API tương thích với OpenAI của OrcaRouter. Đầu tiên, hãy lấy một khóa API từ OrcaRouter. Sau đó đặt base URL thành https://api.orcarouter.ai/v1 và sử dụng model ID "openai/gpt-4-turbo" trong các yêu cầu chat completion của bạn. Ví dụ, với OpenAI Python SDK, bạn sẽ tạo một client với base_url trỏ đến OrcaRouter và model="openai/gpt-4-turbo". Các định dạng yêu cầu và phản hồi giống hệt với API gốc của OpenAI, vì vậy chỉ cần thay đổi mã tối thiểu để chuyển từ sử dụng trực tiếp OpenAI.
API hỗ trợ các tham số hoàn thành chat tiêu chuẩn của OpenAI: messages (mảng với role và content), temperature (0-2), top_p, n, stream, stop, max_tokens (giới hạn ở 4096), presence_penalty, frequency_penalty, logit_bias, user, và function calling/tools. Đối với đầu vào hình ảnh, bạn có thể bao gồm một phần content với type "image_url" và url. Mô hình không hỗ trợ các tham số bổ sung ngoài đặc tả của OpenAI. Tất cả các tham số hoạt động chính xác như đã được tài liệu hóa cho OpenAI GPT-4 Turbo. Lưu ý rằng tham số max_tokens không được vượt quá 4096, đây là giới hạn đầu ra của mô hình.
Việc di chuyển rất đơn giản: thay thế URL cơ sở OpenAI của bạn bằng endpoint của OrcaRouter https://api.orcarouter.ai/v1 và đổi tên model thành "openai/gpt-4-turbo". Sử dụng khóa API OrcaRouter thay vì khóa API OpenAI của bạn. Phần còn lại của mã của bạn — định dạng tin nhắn, streaming, xử lý lỗi — vẫn không thay đổi vì API hoàn toàn tương thích. Nếu bạn đang sử dụng thư viện Python của OpenAI, bạn chỉ cần đặt openai.api_base (hoặc tương đương trong các phiên bản mới hơn) thành URL của OrcaRouter. Điều này cho phép bạn kiểm tra GPT-4 Turbo qua OrcaRouter mà không cần viết lại bất kỳ logic nào.
GPT-4 Turbo là sự phát triển của GPT-4 với cửa sổ ngữ cảnh lớn hơn (128K so với tối đa 32K ở các phiên bản GPT-4 trước đó) và giá mỗi token rẻ hơn: $10/$30 cho mỗi 1 triệu token so với $30/$60 cho mỗi 1 triệu token của GPT-4. Cả hai mô hình đều hỗ trợ thị giác, nhưng GPT-4 Turbo cũng cải thiện hiệu quả và chất lượng suy luận nhỏ. Trong các điểm chuẩn như MATH-500, GPT-4 Turbo đạt 73.7, trong khi GPT-4 gốc (với ngữ cảnh 8K) đạt khoảng 52.9 trên một bộ kiểm tra MATH nhỏ hơn — các con số không thể so sánh trực tiếp do các phiên bản kiểm tra khác nhau, nhưng sự cải thiện là chỉ dẫn. Trên OrcaRouter, các mô hình GPT-4 cũ hơn cũng có sẵn với mức giá tương ứng.
GPT-3.5 Turbo rẻ hơn nhiều ($0.50/$1.50 trên 1M token) và nhanh hơn, phù hợp cho các ứng dụng có khối lượng lớn, độ trễ thấp. Tuy nhiên, nó có cửa sổ ngữ cảnh nhỏ hơn (16K hoặc 4K tùy biến thể) và khả năng suy luận, sinh mã, và thị giác yếu hơn đáng kể. Đối với các tác vụ yêu cầu suy luận đa bước hoặc ngữ cảnh lớn, GPT-4 Turbo vượt trội rõ ràng. Trong một so sánh trực tiếp về suy luận toán học, GPT-3.5 Turbo thường đạt điểm dưới 30 trên MATH-500, trong khi GPT-4 Turbo đạt 73,7. Chọn GPT-3.5 Turbo cho các tác vụ đơn giản và tiết kiệm chi phí, nhưng dựa vào GPT-4 Turbo khi độ chính xác hoặc độ dài ngữ cảnh là quan trọng.
Một so sánh trực tiếp không được cung cấp, nhưng kiến thức công cộng chung cho thấy Anthropic Claude 3 và Google Gemini 1.5 có khả năng tương tự. Claude 3 Opus có cửa sổ ngữ cảnh 200K và khả năng suy luận tương đương, trong khi Gemini 1.5 Pro có thể xử lý tới 1M token. Tuy nhiên, mỗi mô hình có cấu trúc giá và hiệu suất khác nhau. Trên OrcaRouter, bạn cũng có thể truy cập các mô hình của nhà cung cấp khác để so sánh. GPT-4 Turbo vẫn cạnh tranh nhờ sự cân bằng giữa giá cả, chất lượng suy luận và hệ sinh thái nhà phát triển (OpenAI SDK). Đối với các tác vụ thị giác, cả Claude và Gemini cũng hỗ trợ đầu vào hình ảnh.
Tương thích OpenAI — giữ nguyên SDK bạn đang dùng
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Đầu vào / 1M tokens | $10.00 |
| Đầu ra / 1M tokens | $30.00 |
| Tiền tệ | USD |
Ước tính theo giá niêm yết
Chỉ là ước tính — số token thực tế phụ thuộc vào bộ tách token của nhà cung cấp.
GET /api/public/models/openai/gpt-4-turboMở @misc{orcarouter_gpt_4_turbo,
title = {GPT-4 Turbo API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo}
}OpenAI. (2024). GPT-4 Turbo API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo