OpenAI GPT‑4 Turbo z 128K kontekstem, wejściem tekst/obraz, dostępny przez API OrcaRouter.
openai/gpt-4-turbo-2024-04-09 to konkretna wersja modelu GPT-4 Turbo od OpenAI, wydana 9 kwietnia 2024 roku. Przyjmuje zarówno tekst, jak i obrazy jako dane wejściowe, oferując okno kontekstowe o…
Model może wykonywać szeroki zakres zadań związanych z językiem naturalnym: streszczanie, tłumaczenie, odpowiadanie na pytania, generowanie kodu i twórcze pisanie. Dzięki kontekstowi 128 tys. tokenów może analizować całe książki lub duże bazy kodu za jednym razem. Przetwarza również obrazy, więc może odpowiadać na pytania dotyczące zdjęć, diagramów lub skanowanych dokumentów. Silne wyniki modelu w teście MATH-500 (73,7) wskazują, że potrafi rozwiązywać złożone problemy matematyczne krok po kroku. Aby uzyskać najlepsze rezultaty, należy podać jasne instrukcje i użyć wiadomości systemowej do ustawienia zachowania. Model jest dostępny przez API OrcaRouter pod adresem https://api.orcarouter.ai/v1 z identyfikatorem modelu "openai/gpt-4-turbo-2024-04-09".
GPT-4 Turbo jest potężny, ale stosunkowo drogi — 10 dolarów za milion tokenów wejściowych i 30 dolarów za milion tokenów wyjściowych. W przypadku zadań, które nie wymagają głębokiego rozumowania ani rozległego kontekstu, lżejszy model, taki jak GPT-3.5 Turbo (wyceniony na około 0,5–1,5 dolara za milion tokenów), może być wystarczający i znacznie bardziej ekonomiczny. Przykłady obejmują prostą klasyfikację tekstu, podstawowe chatboty lub generowanie krótkich treści. Dodatkowo, jeśli Twoja aplikacja nie potrzebuje multimodalnych danych wejściowych lub bardzo dużego okna kontekstowego, mniejszy model może zmniejszyć opóźnienia i koszty. OrcaRouter umożliwia przełączanie się między modelami poprzez zmianę identyfikatora modelu w wywołaniu API.
Tak, GPT-4 Turbo (2024-04-09) akceptuje obrazy jako dane wejściowe oprócz tekstu. Możesz dostarczyć obrazy jako dane zakodowane w base64 lub adresy URL w żądaniu API. Model potrafi interpretować treść zdjęć, diagramów, wykresów oraz tekstu w obrazach (np. zrzutów ekranu). Dzięki temu nadaje się do zadań wizyjnych, takich jak opisywanie obrazów, odpowiadanie na pytania wizualne oraz analiza dokumentów zawierających zeskanowane strony. W przypadku korzystania z obrazów koszt tokenów obejmuje tokeny wizualne obrazu – zazwyczaj każdy obraz zużywa tokeny proporcjonalnie do swojej rozdzielczości. Dokładne obliczenia tokenów określa OpenAI; szczegóły znajdziesz w ich dokumentacji. Za pomocą OrcaRouter wysyłasz ten sam format żądania co w API OpenAI.
Okno kontekstowe 128K tokenów (około 96 000 słów) jest idealne do zadań wymagających rozumienia bardzo długich sekwencji. Na przykład przetwarzanie całej książki lub obszernego dokumentu prawnego w jednym wywołaniu API, analiza całego repozytorium kodu lub utrzymywanie historii konwersacji obejmującej setki tur. Umożliwia także techniki takie jak podpowiadanie typu "chain-of-thought" na długich śladach rozumowania. Należy jednak pamiętać, że złożoność uwagi modelu może zwiększyć opóźnienie dla bardzo długich danych wejściowych. W przypadku większości aplikacji produkcyjnych okno kontekstowe 8K–32K jest często wystarczające; wykorzystuj pełne 128K tylko wtedy, gdy Twoje zadanie naprawdę korzysta z rozszerzonej pamięci.
Benchmark MATH-500 składa się z 500 wymagających problemów matematycznych obejmujących algebrę, geometrię, teorię liczb i inne. Wynik 73,7 oznacza, że GPT-4 Turbo poprawnie rozwiązało około 73,7% tych problemów. To silny wynik, plasujący model wśród najlepszych w zakresie rozumowania matematycznego. Dla porównania, wcześniejsze modele GPT-4 osiągały niższe wyniki w podobnych testach matematycznych. Wynik sugeruje, że model niezawodnie radzi sobie z wnioskowaniem krok po kroku, co jest przydatne w systemach korepetycyjnych, automatycznym sprawdzaniu matematyki i złożonej analizie danych. Należy pamiętać, że wydajność może się różnić w zależności od dziedziny problemu; model może popełniać błędy w przypadku pytań wysoce specjalistycznych lub niejednoznacznych.
Dokładne dane dotyczące opóźnień nie są publikowane przez OpenAI dla tego modelu. Ogólnie rzecz biorąc, GPT-4 Turbo jest szybszy niż oryginalny GPT-4, ale wolniejszy niż małe modele, takie jak GPT-3.5 Turbo czy GPT-4o Mini. Rzeczywisty czas odpowiedzi zależy od długości wejścia, długości wyjścia, liczby żądań i obciążenia serwera. OrcaRouter optymalizuje routing do punktów końcowych OpenAI, ale nie dodaje dodatkowych opóźnień poza skokiem sieciowym. W przypadku aplikacji wrażliwych na opóźnienia rozważ użycie szybszego modelu z niższym całkowitym zużyciem tokenów. Jeśli potrzebujesz natychmiastowych odpowiedzi, możesz przetestować model za pośrednictwem API OrcaRouter i zmierzyć wydajność dla swojego konkretnego obciążenia.
Jak wszystkie duże modele językowe, GPT-4 Turbo może czasami generować nieprawidłowe lub bezsensowne informacje (halucynacje). Może też być rozwlekły, produkując dłuższe odpowiedzi niż to konieczne. Choć jest silny w matematyce, może mieć trudności z faktyczną dokładnością w kwestiach dotyczących bieżących wydarzeń (data graniczna zbioru treningowego nie jest określona; zakłada się wiedzę do początku 2024 r.). Model nie obsługuje wywoływania funkcji w taki sam sposób jak nowsze wersje, aczkolwiek akceptuje wzorce użycia narzędzi w formacie zapytania. Nie gwarantuje również spójnego formatowania pomiędzy wywołaniami. W przypadku zadań krytycznych dla bezpieczeństwa zawsze należy weryfikować wyniki. OrcaRouter udostępnia model w stanie, w jakim jest, bez dodatkowego filtrowania.
OrcaRouter przekazuje ceny OpenAI bez żadnej marży. Koszt wynosi $10.00 za 1 milion tokenów wejściowych i $30.00 za 1 milion tokenów wyjściowych. Tokeny wejściowe obejmują zarówno tokeny tekstowe, jak i tokeny obrazów (liczba tokenów obrazów jest określana przez algorytm OpenAI). Tokeny wyjściowe to te generowane przez model. Ponieważ nie ma marży, cena, którą widzisz, to dokładna opłata OpenAI. Rozliczenia opierają się na użyciu tokenów rejestrowanym przez OrcaRouter. Nie ma żadnych dodatkowych opłat ani minimów. Możesz monitorować swoje użycie w panelu OrcaRouter i ustawiać limity wydatków.
OrcaRouter nie oferuje buforowania tokenów dla tego modelu; każde wywołanie API jest rozliczane na podstawie rzeczywistej liczby tokenów. Obecnie nie ma zniżek za wolumen ani zniżek za zobowiązane użytkowanie. Ceny są ściśle za token, jak opisano. Aby obniżyć koszty, możesz zoptymalizować swoje prompty, aby używały mniejszej liczby tokenów (np. krótsze wiadomości systemowe, przycinanie niepotrzebnego kontekstu). Alternatywnie, w przypadku zadań, które nie wymagają pełnej mocy GPT-4 Turbo, rozważ użycie tańszego modelu dostępnego w OrcaRouter, takiego jak GPT-3.5 Turbo lub GPT-4o Mini.
Tokeny wyjściowe są trzy razy droższe niż tokeny wejściowe (30 USD w porównaniu do 10 USD za milion). Dlatego generowanie długich odpowiedzi znacznie zwiększa całkowity koszt. W przypadku aplikacji wrażliwych na koszty rozważ ograniczenie parametru max_tokens do minimalnej niezbędnej długości. Należy również pamiętać, że zapytania zawierające wiele obrazów mogą zużywać dużą liczbę tokenów wejściowych (każdy obraz może zużywać setki tokenów). Zawsze szacuj zużycie tokenów przed skalowaniem. Pojedyncze wejście 128K tokenów kosztowałoby 1,28 USD tylko za wejście, plus 3,84 USD za 128K wyjścia (jeśli wygenerowane). W praktyce typowe zapytania zużywają znacznie mniej tokenów.
Możesz użyć tokenizatora OpenAI lub zintegrowanego zliczania tokenów OrcaRouter. W przypadku tekstu 1 token ≈ 0.75 słowa w języku angielskim. W przypadku obrazów zużycie tokenów zależy od rozmiaru i poziomu szczegółowości obrazu; dokumentacja OpenAI podaje wzory. Możesz także wysłać małe przykładowe żądanie i sprawdzić pole usage w odpowiedzi API (zawiera prompt_tokens, completion_tokens i total_tokens). Pomnóż przez ceny za token, aby uzyskać koszt. OrcaRouter pokazuje również koszty na żądanie w logach. Należy pamiętać, że maksymalna liczba tokenów wyjściowych wynosi 4,096, więc koszt wyjściowy na żądanie jest ograniczony do $0.12288 (4,096 * $30/1,000,000).
Użyj punktu końcowego API zgodnego z OpenAI firmy OrcaRouter: https://api.orcarouter.ai/v1. Ustaw parametr model na "openai/gpt-4-turbo-2024-04-09". Dołącz swój klucz API OrcaRouter w nagłówku Authorization (Bearer your_key). Format żądania jest identyczny z API OpenAI Chat Completions. Przykład użycia Pythona z biblioteką openai: ustaw openai.base_url = "https://api.orcarouter.ai/v1" i openai.api_key = "orcarouter_key". Następnie wywołaj openai.chat.completions.create(model="openai/gpt-4-turbo-2024-04-09", messages=[...]). Możesz przekazać standardowe parametry, takie jak temperature, top_p, max_tokens (max 4096).
Wspierane są wszystkie standardowe parametry OpenAI Chat Completions, w tym: temperature (0-2, domyślnie 1), top_p (0-1, domyślnie 1), max_tokens (do 4096), n (liczba uzupełnień), stop sequences, frequency_penalty, presence_penalty oraz logit_bias. W przypadku żądań multimodalnych dołącz tablicę content z typami "text" i "image_url". OrcaRouter przekazuje te parametry bezpośrednio do API OpenAI. Należy pamiętać, że niektóre zaawansowane funkcje, takie jak function calling, mogą działać, ale nie są oficjalnie udokumentowane dla tej wersji modelu; przetestuj, aby potwierdzić. Możesz również strumieniować odpowiedzi, ustawiając stream=True, co zwraca server-sent events.
Migracja jest prosta: zmień podstawowy URL z https://api.openai.com/v1 na https://api.orcarouter.ai/v1 i zastąp swój klucz API kluczem OrcaRouter. Zaktualizuj nazwę modelu na "openai/gpt-4-turbo-2024-04-09". Całe formatowanie wiadomości, podpowiedzi systemowe, definicje narzędzi itp. pozostają takie same. OrcaRouter działa jako przezroczysta bramka, więc odpowiedzi są identyczne z tymi, które zwróciłoby OpenAI (o ile model i parametry są takie same). Możesz przetestować migrację, wysyłając kilka zapytań i porównując wyniki. Nie są wymagane żadne zmiany w inżynierii promptów.
W porównaniu do oryginalnego GPT-4 (wydanego w marcu 2023 r.), GPT-4 Turbo oferuje kilka ulepszeń: większe okno kontekstu (128K vs. 8K/32K), niższe ceny ($10/$30 vs. ~$30/$60 za milion tokenów) oraz krótszy czas odpowiedzi. Wynik MATH-500 na poziomie 73,7 jest znacząco wyższy niż wcześniejsze wyniki GPT-4 w podobnych benchmarkach. Jednak niektórzy użytkownicy zgłaszają, że GPT-4 Turbo może być nieco mniej konsekwentny w przestrzeganiu instrukcji formatowania w porównaniu do GPT-4. W większości zadań GPT-4 Turbo jest zalecanym wyborem, chyba że konkretnie potrzebujesz zachowania GPT-4. Dzięki OrcaRouter możesz uzyskać dostęp do obu modeli i bezpośrednio porównać ich wyniki.
GPT-4o (późniejszy multimodalny model OpenAI) oferuje natywne możliwości multimodalne, szybsze prędkości i lepsze rozumienie obrazu. Ma także okno kontekstu o wielkości 128K. GPT-4o jest ogólnie tańszy niż GPT-4 Turbo ($5/$15 za milion tokenów). W teście MATH-500 GPT-4o zazwyczaj osiąga wyższe wyniki. GPT-4 Turbo pozostaje mocnym wyborem, jeśli potrzebujesz oryginalnego zachowania GPT-4 Turbo lub jeśli zoptymalizowałeś już dla niego swoje prompty. Na OrcaRouter możesz przełączać się między tymi modelami, zmieniając identyfikator modelu. Zalecamy przetestowanie obu modeli w swoim przypadku użycia, aby określić, który zapewnia lepszy balans dokładności i kosztów.
Wybierz openai/gpt-4-turbo-2024-04-09, jeśli potrzebujesz niezawodnego, wydajnego modelu z bardzo dużym oknem kontekstowym i jesteś skłonny zapłacić więcej za lepsze rozumowanie. Jest szczególnie silny w zadaniach matematycznych (MATH-500 73.7). Jeśli Twoja aplikacja wymaga danych multimodalnych, zarówno GPT-4 Turbo, jak i GPT-4o je obsługują, ale GPT-4o może być szybszy i tańszy. W przypadku prostych zadań tekstowych rozważ GPT-3.5 Turbo lub GPT-4o Mini. OrcaRouter oferuje szeroki katalog; oceń koszt, opóźnienie i jakość na swoich konkretnych danych przed podjęciem decyzji.
Zgodne z OpenAI — zostań przy swoim SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-4-turbo-2024-04-09",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Wejście / 1M tokenów | $10.00 |
| Wyjście / 1M tokenów | $30.00 |
| Waluta | USD |
Szacunek na podstawie cennika
Tylko szacunek — rzeczywista liczba tokenów zależy od tokenizatora dostawcy.
GET /api/public/models/openai/gpt-4-turbo-2024-04-09Otwórz @misc{orcarouter_gpt_4_turbo_2024_04_09,
title = {openai/gpt-4-turbo-2024-04-09 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09}
}openai. (n.d.). openai/gpt-4-turbo-2024-04-09 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-4-turbo-2024-04-09