Najnowszy model GPT-4 Turbo z możliwościami wizyjnymi. Żądania wizyjne mogą teraz korzystać z trybu JSON i wywoływania funkcji. Dane treningowe: do grudnia 2023.
GPT-4 Turbo to duży model językowy wydany przez OpenAI, który przetwarza zarówno tekst, jak i obrazy. Opiera się na architekturze GPT-4, ale zwiększa okno kontekstowe do 128 000 tokenów — mniej…
GPT-4 Turbo wykazuje silne zdolności rozumowania, szczególnie w matematyce (wynik MATH-500 na poziomie 73,7), generowaniu kodu i rozwiązywaniu problemów wieloetapowych. Potrafi realizować złożone instrukcje podczas długich rozmów, zachowywać spójność na przestrzeni tysięcy tokenów oraz generować spójne wyjaśnienia techniczne. Model jest również w stanie analizować obrazy – takie jak zrzuty ekranu, diagramy i wydrukowany tekst – gdy dane wejściowe zawierają dane obrazowe. Nie jest jednak wyspecjalizowany w każdej dziedzinie; w przypadku prostych zadań klasyfikacji lub ekstrakcji mniejszy model, taki jak GPT-3.5 Turbo, może być wystarczający i bardziej ekonomiczny.
Okno kontekstu o rozmiarze 128 000 tokenów pozwala na wprowadzanie dużych dokumentów — całych książek, długich umów prawnych, kompletnych repozytoriów kodu lub długich rozmów — bez konieczności dzielenia treści na fragmenty. Na przykład możesz wkleić cały artykuł naukowy i zadawać pytania dotyczące dowolnej jego części, nie tracąc wcześniejszych fragmentów. Jest to szczególnie przydatne w zadaniach takich jak streszczanie dokumentów, analiza legislacyjna czy debugowanie dużych baz kodu, gdzie model musi widzieć całą strukturę. Na OrcaRouter ten kontekst jest rozliczany jako tokeny wejściowe, więc wprowadzenie dokumentu o długości 100K tokenów kosztowałoby około $1,00 za zapytanie (100K * $10/1M).
GPT-4 Turbo akceptuje obrazy jako część wejścia, pozwalając mu zrozumieć treści wizualne, takie jak fotografie, diagramy, ilustracje i zrzuty ekranu. Model może opisać, co znajduje się na obrazie, odpowiadać na pytania dotyczące jego zawartości, a nawet wykonywać wnioskowanie na podstawie diagramów (np. interpretowanie schematu blokowego lub wykresu). Obrazy są zazwyczaj dostarczane jako adresy URL lub dane zakodowane w base64 w formacie uzupełniania czatu OpenAI. Koszt przetwarzania obrazów jest wliczony w liczbę tokenów wejściowych, która jest obliczana na podstawie rozdzielczości i poziomu szczegółowości obrazu zgodnie z formułą cenową OpenAI.
Jeśli Twój przypadek użycia obejmuje zadania o dużej objętości i niskiej złożoności — takie jak prosta klasyfikacja tekstu, podstawowe pytania i odpowiedzi na krótkich kontekstach lub powtarzalne ekstrakcje — mniejszy model, taki jak GPT-3.5 Turbo lub dedykowany, dostrojony model, może zapewnić akceptowalne wyniki przy ułamku kosztów. Cennik GPT-4 Turbo jest mniej więcej 20 razy wyższy niż GPT-3.5 Turbo za token wejściowy i 30 razy wyższy za token wyjściowy. W aplikacjach, gdzie opóźnienie ma znaczenie, GPT-3.5 Turbo odpowiada również szybciej. Oceń kompromis między dokładnością a kosztem; w wielu produkcyjnych potokach hybrydowe podejście, wykorzystujące tani model do filtrowania i GPT-4 Turbo do złożonych przypadków, może zoptymalizować wydatki.
GPT-4 Turbo achieved a score of 73.7 on the MATH-500 benchmark, który ocenia zdolność modelu do rozwiązywania problemów matematycznych na poziomie od szkoły podstawowej do liceum, obejmujących takie tematy jak algebra, geometria i rachunek różniczkowy. Wynik ten wskazuje na silne rozumowanie matematyczne, ale nie jest to stan najnowszy (state-of-the-art); niektóre wyspecjalizowane modele lub większe zespoły mogą przekroczyć 80. Benchmark ten jest przydatny do porównywania modeli pod kątem systematycznego rozwiązywania problemów, a nie surowego generowania języka. W OrcaRouter możesz to sam przetestować, przesyłając zestaw problemów matematycznych przez API i porównując wyniki.
Mocne strony obejmują głębokie rozumowanie, obsługę długich kontekstów oraz kompetencje w generowaniu i wyjaśnianiu kodu. Model wykazuje również dobrą wydajność w zadaniach łączących tekst i obraz, takich jak interpretowanie diagramów. Ograniczenia obejmują stosunkowo niski limit wyjściowy wynoszący 4 096 tokenów, co oznacza, że generowanie długich treści (np. pisanie całego rozdziału) wymaga wielokrotnych wywołań. Model może czasami podawać błędne odpowiedzi w przypadkach brzegowych – nie jest nieomylny. Ponadto może nie być najlepszym wyborem do zastosowań czasu rzeczywistego ze względu na większe opóźnienie w porównaniu z mniejszymi modelami. Nie podano pomiarów szybkości, ale niepotwierdzone doniesienia sugerują, że jest nieco wolniejszy od GPT-3.5 Turbo.
Dokładne wartości opóźnień dla GPT-4 Turbo na OrcaRouter nie są publikowane; wydajność zależy od infrastruktury dostawcy i obciążenia żądaniami. W praktyce czas wnioskowania modelu jest dłuższy niż w przypadku mniejszych modeli ze względu na większą liczbę parametrów i przetwarzanie kontekstu. W przypadku krótkich danych wejściowych czasy odpowiedzi wynoszą zazwyczaj kilka sekund, podczas gdy bardzo duże konteksty (np. 100K tokenów) mogą znacznie zwiększyć opóźnienie, ponieważ model musi przetworzyć wszystkie tokeny przed wygenerowaniem wyniku. OrcaRouter nie reklamuje żadnego konkretnego przyspieszenia. Użytkownicy potrzebujący mniejszych opóźnień w aplikacjach interaktywnych mogą preferować szybszy model, natomiast przetwarzanie wsadowe złożonych zadań pozostaje wykonalne.
Cennik oparty jest na tokenach: $10.00 za 1 milion tokenów wejściowych i $30.00 za 1 milion tokenów wyjściowych. Jest to zgodne z bezpośrednią stawką OpenAI, bez żadnej dodatkowej marży ze strony OrcaRouter. Tokeny wejściowe obejmują wiadomość systemową, wiadomości użytkownika, tokeny obrazów oraz całą historię konwersacji. Tokeny wyjściowe to odpowiedź wygenerowana przez model. Całkowity koszt zapytania oblicza się jako (input_tokens * $0.00001) + (output_tokens * $0.00003). Nie ma żadnych minimalnych opłat ani zobowiązań miesięcznych; płacisz tylko za wykorzystane tokeny.
GPT-4 Turbo jest znacząco droższy od mniejszych modeli, takich jak GPT-3.5 Turbo ($0,50/$1,50 za 1M tokenów), ale oferuje lepsze rozumowanie i obsługę kontekstu. W przypadku zadań wymagających jedynie podstawowych możliwości, korzystanie z GPT-4 Turbo może prowadzić do niepotrzebnych kosztów. Z drugiej strony, w porównaniu do oryginalnego GPT-4 ($30/$60 za 1M tokenów), GPT-4 Turbo jest tańszy o 33% na wejściu i o 50% na wyjściu, co czyni go bardziej opłacalną opcją dla wymagających zadań. Cennik OrcaRouter bez marży zapewnia, że płacisz tę samą stawkę, co przy bezpośrednim korzystaniu z OpenAI.
OrcaRouter nie oferuje żadnych specjalnych rabatów, cen hurtowych ani buforowania odpowiedzi dla GPT-4 Turbo poza podanymi stawkami za token. Cennik jest prosty: płacisz dokładnie tyle, ile OpenAI nalicza, bez żadnych dodatkowych opłat. Nie ma rabatu za zobowiązanie, przedpłaty za tokeny ani cen warstwowych. Buforowanie promptów lub odpowiedzi nie jest reklamowane, więc każde zapytanie jest rozliczane według standardowej stawki. Jeśli spodziewasz się bardzo dużych wolumenów, możesz skontaktować się z OrcaRouter lub rozważyć użycie dedykowanego punktu końcowego API z własną warstwą buforowania, aby zmniejszyć powtarzające się koszty dla identycznych danych wejściowych.
Tokeny wyjściowe kosztują trzy razy więcej niż tokeny wejściowe (30 $ vs 10 $ za 1M). Dlatego długie generacje mogą szybko zwiększyć rachunek. Na przykład wygenerowanie odpowiedzi o długości 2000 tokenów kosztowałoby 0,06 $, podczas gdy odpowiedź o długości 4000 tokenów kosztuje 0,12 $. Aby kontrolować koszty, rozważ ustawienie niższego parametru max_tokens, używanie krótszych promptów lub zastosowanie iteracyjnego udoskonalania, gdzie model generuje krótsze wyniki, a następnie rozszerza je w osobnej sesji tylko w razie potrzeby. W przypadku zadań takich jak streszczanie, model z niższym kosztem tokenów wyjściowych może być preferowany, jeśli kontekst nie jest krytyczny.
Możesz wywołać GPT-4 Turbo za pomocą kompatybilnego z OpenAI interfejsu API OrcaRouter. Najpierw uzyskaj klucz API od OrcaRouter. Następnie ustaw bazowy URL na https://api.orcarouter.ai/v1 i użyj identyfikatora modelu "openai/gpt-4-turbo" w swoich żądaniach uzupełniania czatu. Na przykład, w przypadku pakietu OpenAI Python SDK utworzyłbyś klienta z base_url wskazującym na OrcaRouter i model="openai/gpt-4-turbo". Formaty żądań i odpowiedzi są identyczne z natywnym API OpenAI, więc do przejścia z bezpośredniego korzystania z OpenAI wymagane są minimalne zmiany w kodzie.
API obsługuje standardowe parametry uzupełniania czatu OpenAI: messages (tablica z role i content), temperature (0-2), top_p, n, stream, stop, max_tokens (ograniczone do 4096), presence_penalty, frequency_penalty, logit_bias, user oraz function calling/tools. Dla obrazów wejściowych można dołączyć część content z typem "image_url" i url. Model nie obsługuje dodatkowych parametrów poza specyfikacją OpenAI. Wszystkie parametry działają dokładnie tak, jak udokumentowano dla GPT-4 Turbo firmy OpenAI. Należy pamiętać, że parametr max_tokens nie może przekraczać 4096, co jest limitem wyjściowym modelu.
Migracja jest prosta: zastąp swój bazowy URL OpenAI punktem końcowym OrcaRouter https://api.orcarouter.ai/v1 i zmień nazwę modelu na "openai/gpt-4-turbo". Użyj swojego klucza API OrcaRouter zamiast klucza API OpenAI. Reszta Twojego kodu — formatowanie wiadomości, strumieniowanie, obsługa błędów — pozostaje bez zmian, ponieważ API jest w pełni kompatybilne. Jeśli używałeś biblioteki Pythona OpenAI, możesz po prostu ustawić openai.api_base (lub odpowiednik w nowszych wersjach) na URL OrcaRouter. Pozwala to przetestować GPT-4 Turbo przez OrcaRouter bez przepisywania żadnej logiki.
GPT-4 Turbo to ewolucja GPT-4 z większym oknem kontekstowym (128K wobec do 32K we wcześniejszych wariantach GPT-4) i tańszym kosztem na token: $10/$30 za 1M tokenów wobec $30/$60 za 1M tokenów dla GPT-4. Oba modele obsługują widzenie, ale GPT-4 Turbo dodatkowo poprawia wydajność i nieznacznie jakość rozumowania. W benchmarkach takich jak MATH-500, GPT-4 Turbo uzyskuje wynik 73,7, podczas gdy oryginalny GPT-4 (z kontekstem 8K) osiągnął około 52,9 na mniejszym zestawie testowym MATH — liczby nie są bezpośrednio porównywalne ze względu na różne wersje testów, ale poprawa jest znacząca. W OrcaRouter starsze modele GPT-4 są również dostępne w odpowiednich cenach.
GPT-3.5 Turbo jest znacznie tańszy (0,50/1,50 USD za 1M tokenów) i szybszy, co czyni go odpowiednim do zastosowań o dużej objętości i niskich opóźnieniach. Ma jednak mniejsze okno kontekstu (16K lub 4K w zależności od wariantu) oraz znacznie słabsze możliwości wnioskowania, generowania kodu i analizy wizyjnej. W zadaniach wymagających wieloetapowego rozumowania lub dużego kontekstu GPT-4 Turbo wyraźnie przewyższa. W bezpośrednim porównaniu na teście matematycznym MATH-500 GPT-3.5 Turbo uzyskuje zazwyczaj poniżej 30 punktów, podczas gdy GPT-4 Turbo osiąga 73,7. Wybierz GPT-3.5 Turbo do prostych zadań i oszczędności kosztów, ale polegaj na GPT-4 Turbo, gdy kluczowa jest dokładność lub długość kontekstu.
Bezpośrednie porównanie nie jest dostępne, ale ogólna wiedza publiczna wskazuje, że Anthropic Claude 3 i Google Gemini 1.5 oferują podobne możliwości. Claude 3 Opus ma kontekst 200K tokenów i porównywalne rozumowanie, podczas gdy Gemini 1.5 Pro może obsłużyć do 1M tokenów. Każdy model ma jednak inne ceny i profile wydajności. Na OrcaRouter możesz także uzyskać dostęp do modeli innych dostawców w celu porównania. GPT-4 Turbo wciąż pozostaje konkurencyjny dzięki równowadze między ceną, jakością rozumowania a ekosystemem dla programistów (OpenAI SDK). W przypadku zadań związanych z wizją, zarówno Claude, jak i Gemini obsługują również wprowadzanie obrazów.
Zgodne z OpenAI — zostań przy swoim SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Wejście / 1M tokenów | $10.00 |
| Wyjście / 1M tokenów | $30.00 |
| Waluta | USD |
Szacunek na podstawie cennika
Tylko szacunek — rzeczywista liczba tokenów zależy od tokenizatora dostawcy.
GET /api/public/models/openai/gpt-4-turboOtwórz @misc{orcarouter_gpt_4_turbo,
title = {GPT-4 Turbo API},
author = {OpenAI},
year = {2024},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo}
}OpenAI. (2024). GPT-4 Turbo API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo