OpenAI's gpt-3.5-turbo-1106 przez OrcaRouter: 16K kontekst, 46.2 MMLU-Pro, $1/$2 na 1M tokenów, cena bez marży.
gpt-3.5-turbo-1106 to konkretny snapshot modelu GPT-3.5 Turbo OpenAI, udostępniony w listopadzie 2023 roku. Jest to model wyłącznie tekstowy, co oznacza, że przyjmuje i generuje tylko dane tekstowe –…
Ten model doskonale radzi sobie z ogólnymi zadaniami generowania tekstu: odpowiadanie na pytania, prowadzenie dialogu, streszczanie dokumentów, tłumaczenie tekstu, generowanie twórczego pisania oraz udzielanie wyjaśnień. Obsługuje wywoływanie funkcji, co pozwala mu generować dane strukturalne i współdziałać z zewnętrznymi narzędziami lub API na podstawie dostarczonych schematów funkcji. Może również obsługiwać rozmowy wieloetapowe z oknem kontekstowym o pojemności do 16K tokenów. W przypadku zadań wymagających wysokiej dokładności w kwestiach faktograficznych, generowania kodu lub strukturalnego wnioskowania, radzi sobie dobrze, ale może czasami dawać mniej precyzyjne wyniki niż większe modele.
Funkcja wywoływania w gpt-3.5-turbo-1106 pozwala modelowi generować strukturalne wyjścia JSON na podstawie definicji funkcji, które podajesz w żądaniu. Gdy dołączasz listę funkcji z nazwami, opisami i schematami parametrów, model może zdecydować się na wywołanie jednej lub więcej funkcji, zwracając obiekt function_call. Jest to przydatne do budowania agentów, które muszą odpytywać bazy danych, wywoływać API lub wykonywać akcje. Funkcja ta została ulepszona w snapshot 1106 w porównaniu do wcześniejszych wersji, czyniąc ją bardziej niezawodną i redukując nadmierne użycie narzędzi. OrcaRouter obsługuje wszystkie parametry wywoływania funkcji zgodne z OpenAI.
Jeśli Twój przypadek użycia obejmuje bardzo proste zadania o bardzo dużej objętości, możesz rozważyć jeszcze tańszy model, taki jak gpt-3.5-turbo-0125 (ta sama cena, ale nowszy) lub mniejsze modele open-source oferowane przez OrcaRouter. Z drugiej strony, jeśli potrzebujesz znacznie lepszego wnioskowania, faktyczności, wejścia multimodalnego (obrazy, dźwięk) lub większego okna kontekstowego (128K tokenów), rozważ aktualizację do gpt-4o lub gpt-4-turbo. gpt-3.5-turbo-1106 to zrównoważony wybór dla większości aplikacji tylko tekstowych, gdzie głównym zmartwieniem jest koszt na token.
MMLU-Pro to wariant benchmarku Massive Multitask Language Understanding, który obejmuje 57 przedmiotów z bardziej wymagającym zestawem pytań. Wynik 46,2 oznacza, że model poprawnie odpowiedział na 46,2% pytań testowych. Jest to umiarkowany wynik, odzwierciedlający ogólną wiedzę modelu w różnych dziedzinach. Dla porównania, większe modele, takie jak GPT-4, zazwyczaj osiągają wyniki powyżej 80 w podobnych benchmarkach. Wynik ten pomaga ustalić oczekiwania: gpt-3.5-turbo-1106 jest zdolny, ale nie jest najnowocześniejszy w zakresie głębokiego rozumowania lub specjalistycznej wiedzy.
Nie podano innych wyników benchmarków dla tego modelu, ale publicznie dostępne informacje pokazują, że gpt-3.5-turbo-1106 osiąga dobre wyniki w MMLU, HumanEval (generowanie kodu) i zadaniach podsumowujących w stosunku do swojej klasy rozmiarów. Jest ogólnie uważany za jeden z najlepiej działających modeli o otwartej wadze w swojej kategorii cenowej. Użytkownicy powinni spodziewać się dobrej wydajności w typowych zadaniach NLP, ale muszą mieć świadomość, że może on pozostawać w tyle za GPT-4 w złożonym rozumowaniu, matematyce i instrukcjach wieloetapowych. Jeśli chodzi o spójność faktograficzną, model może generować wiarygodne, ale nieprawidłowe odpowiedzi, dlatego w przypadku krytycznych zastosowań zaleca się weryfikację.
Konkretne wartości opóźnienia nie są podane. Jednak jako model tekstowy o stosunkowo małej liczbie parametrów (w porównaniu do GPT-4), gpt-3.5-turbo-1106 ogólnie oferuje niskie opóźnienie wyjścia, często kończąc krótkie odpowiedzi w mniej niż sekundę przy umiarkowanym obciążeniu. Przepustowość może być wysoka, co czyni go odpowiednim do zastosowań czasu rzeczywistego w połączeniu ze streamingiem. Infrastruktura OrcaRouter zapewnia niezawodne połączenie z punktami końcowymi OpenAI. Aby uzyskać najbardziej dokładne oczekiwania dotyczące opóźnień, użytkownicy powinni przeprowadzić testy porównawcze na własnych przypadkach użycia za pomocą API OrcaRouter.
Kluczowe ograniczenia obejmują: maksymalną długość wyjścia wynoszącą 4,096 tokenów, co ogranicza długość generacji; brak możliwości multimodalnych (nie może przetwarzać obrazów ani dźwięku); skłonność do halucynacji na temat mało znanych faktów; oraz ograniczoną głębokość rozumowania w przypadku złożonych problemów. Okno kontekstu modelu wynoszące 16K, choć hojne, jest mniejsze niż w przypadku niektórych alternatyw (np. 128K). Ma również niższy poziom odcięcia wiedzy niż późniejsze migawki (styczeń 2023). W przypadku podpowiedzi kontradyktoryjnych lub niejednoznacznych może generować stronnicze lub niebezpieczne wyniki. Deweloperzy powinni wdrożyć odpowiednie zabezpieczenia i nadzór ludzki do użytku produkcyjnego.
Ceny dla openai/gpt-3.5-turbo-1106 za pośrednictwem OrcaRouter są naliczane według stawki dostawcy bez żadnej marży. Dokładniej, tokeny wejściowe kosztują $1,00 za 1 milion tokenów, a tokeny wyjściowe kosztują $2,00 za 1 milion tokenów. Dotyczy to wszystkich zapytań, w tym strumieniowania. Nie ma dodatkowych opłat platformowych. Opłaty są obliczane na podstawie liczby tokenów w podpowiedzi (wejście) i wygenerowanej odpowiedzi (wyjście). Zarówno żądania buforowane, jak i niebuforowane są naliczane według tej samej stawki. Możesz śledzić użycie za pomocą pulpitu nawigacyjnego OrcaRouter.
W przypadku aplikacji wymagających wielu krótkich interakcji (np. rozmowy z chatbotem) koszt na wiadomość jest niski, ponieważ każde żądanie zużywa niewiele tokenów. W przypadku zadań obejmujących długie prompty lub generujących długie odpowiedzi koszt rośnie liniowo wraz z liczbą tokenów. W porównaniu z GPT-4 (który może być 10-30 razy droższy), gpt-3.5-turbo-1106 jest ekonomiczny przy dużych wolumenach. Jeśli jednak zadanie można rozwiązać przy użyciu mniejszej liczby tokenów za pomocą tańszego modelu, może to być jeszcze bardziej opłacalne. Polityka cenowa OrcaRouter bez marży gwarantuje, że płacisz tylko tyle, ile pobiera OpenAI.
Brak konkretnych programów dotyczących buforowania lub zniżek dla tego modelu na OrcaRouter. Wszystkie zapytania są rozliczane według standardowej stawki dostawcy. Niektóre platformy oferują buforowanie promptów w celu obniżenia kosztów przy powtarzających się danych wejściowych, ale dokumentacja OrcaRouter nie wskazuje na taką funkcję dla tego modelu. Użytkownicy powinni odpowiednio zaplanować zużycie tokenów. W przypadku bardzo dużego wolumenu warto skontaktować się bezpośrednio z OrcaRouter w celu zapytania o zniżki ilościowe, choć żadne z nich nie są reklamowane. Sama cena bez marży zapewnia już przejrzystą bazę kosztów.
Aby wysłać żądanie, wyślij żądanie POST na adres https://api.orcarouter.ai/v1/chat/completions z ciałem JSON zawierającym pole model ustawione na 'openai/gpt-3.5-turbo-1106' oraz tablicę messages (z polami role i content). Dołącz swój klucz API OrcaRouter w nagłówku Authorization (Bearer <key>). Opcjonalne parametry obejmują temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream i functions. Odpowiedź jest zgodna z formatem uzupełniania czatu OpenAI. Przykład z użyciem biblioteki openai w Pythonie: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Ten model obsługuje te same parametry co OpenAI gpt-3.5-turbo-1106. Kluczowe parametry to: messages (wymagana tablica obiektów z role, content, opcjonalnie name), max_tokens (domyślnie nieskończoność, ale ograniczone do 4096), temperature (0-2, domyślnie 1), top_p (0-1, domyślnie 1), n (liczba odpowiedzi, domyślnie 1), stream (boolean), stop (ciąg znaków lub tablica do 4 ciągów), presence_penalty (-2 do 2), frequency_penalty (-2 do 2), logit_bias (mapa identyfikatorów tokenów na bias), user (ciąg znaków do identyfikacji użytkownika końcowego), functions (tablica obiektów funkcji), function_call (auto/none lub konkretna funkcja). Wszystkie są obsługiwane przez OrcaRouter.
Migracja wymaga tylko dwóch zmian w istniejącym kodzie opartym na OpenAI. Po pierwsze, zmień adres URL bazowy z https://api.openai.com/v1 na https://api.orcarouter.ai/v1. Po drugie, zastąp swój klucz API OpenAI kluczem API OrcaRouter. Format żądań i odpowiedzi jest identyczny, więc nie są potrzebne zmiany w strukturze ładunku. Po zaktualizowaniu tych dwóch ustawień cała istniejąca logika dotycząca uzupełniania czatów, wywoływania funkcji i strumieniowania będzie nadal działać. Możesz także używać tych samych bibliotek klienta OpenAI (np. Python openai, Node.js openai), przekazując nowe base_url i api_key.
OrcaRouter zwraca standardowe kody statusów HTTP i komunikaty błędów zgodne z API OpenAI. Typowe błędy: 401 (brak autoryzacji), 429 (przekroczono limit żądań), 500 (błąd serwera). Limity żądań są egzekwowane przez OrcaRouter na podstawie Twojego planu; szczegóły znajdziesz w dokumentacji OrcaRouter. Ponieważ model bazowy jest hostowany przez OpenAI, błędy od dostawcy są przekazywane w sposób przezroczysty (np. 400 dla nieprawidłowych parametrów, 503 dla przeciążenia). Zaleca się implementację wykładniczego backoffu dla błędów 429 i 5xx. Błędy strumieniowania są sygnalizowane przez przerwany strumień; nasłuchuj finish_reason w ostatnim fragmencie.
Wersja 0125 to nowsza odsłona modelu GPT-3.5 Turbo, wydana w styczniu 2025 roku. Oferuje tę samą cenę i tryb tylko tekstowy, ale zawiera nowszą granicę wiedzy oraz potencjalnie lepszą spójność i dokładność faktograficzną. Oba modele mają ten sam 16-tysięczny kontekst i limit 4 tys. tokenów w odpowiedzi. gpt-3.5-turbo-0125 jest ogólnie zalecany zamiast wersji 1106 w przypadku nowych projektów ze względu na swoją nowość, ale wersja 1106 pozostaje dostępna ze względów kompatybilności. Dla żadnego z modeli nie podano wyników benchmarków poza 46,2 MMLU-Pro dla 1106; użytkownicy mogą przetestować oba w swoim konkretnym przypadku użycia.
gpt-4o to bardziej zaawansowany model OpenAI, który obsługuje dane wejściowe w postaci tekstu, obrazu i dźwięku, ma kontekst 128K i maksymalnie 16K tokenów wyjściowych. Uzyskuje znacznie wyższe wyniki w testach wnioskowania i jest bardziej niezawodny w złożonych zadaniach. Jest jednak znacznie droższy: koszt na token jest około 10–15 razy wyższy niż w przypadku gpt-3.5-turbo-1106. W aplikacjach, gdzie wysoka dokładność i multimodalność nie są wymagane, gpt-3.5-turbo-1106 oferuje lepszą efektywność kosztową. Jeśli potrzebujesz zaawansowanych możliwości, przejście na gpt-4o przez OrcaRouter jest proste – wystarczy zmienić identyfikator modelu na 'openai/gpt-4o'.
Porównywalne modele od innych dostawców to Claude 3 Haiku od Anthropic (tylko tekst, podobna prędkość i koszt) oraz Google Gemini 1.5 Flash. Każdy ma inny format API, ale można uzyskać do nich dostęp za pośrednictwem OrcaRouter. gpt-3.5-turbo-1106 jest szeroko stosowany i zintegrowany z wieloma narzędziami. Jego obsługa wywoływania funkcji jest dojrzała. Jednak modele takie jak Claude 3 Haiku mogą oferować większe okna kontekstowe (200K) przy podobnej cenie, podczas gdy Gemini 1.5 Flash zapewnia multimodalne możliwości. Wybór zależy od zgodności ekosystemu, konkretnych wyników benchmarków i wymagań dotyczących opóźnień. OrcaRouter umożliwia wypróbowanie różnych modeli w ramach tego samego formatu API.
Wybierz gpt-3.5-turbo-1106, gdy potrzebujesz niezawodnego, ekonomicznego modelu tekstowego, który jest szeroko kompatybilny z istniejącymi narzędziami i obsługuje wywoływanie funkcji. Jest idealny do aplikacji o dużej objętości, gdzie każde zapytanie jest stosunkowo krótkie i nie wymaga głębokiego rozumowania. Unikaj go, jeśli potrzebujesz multimodalnych wejść, większego okna kontekstowego lub wyższej dokładności faktograficznej w skomplikowanych tematach. Jeśli potrzebujesz najnowszej granicy wiedzy, preferuj gpt-3.5-turbo-0125. Dla najwyższej wydajności wybierz gpt-4o. Katalog modeli OrcaRouter umożliwia łatwe przełączanie między tymi opcjami bez zmian w kodzie.
Zgodne z OpenAI — zostań przy swoim SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Wejście / 1M tokenów | $1.00 |
| Wyjście / 1M tokenów | $2.00 |
| Waluta | USD |
Szacunek na podstawie cennika
Tylko szacunek — rzeczywista liczba tokenów zależy od tokenizatora dostawcy.
GET /api/public/models/openai/gpt-3.5-turbo-1106Otwórz @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106