OpenAI's gpt-3.5-turbo-1106 via OrcaRouter: 16K context, 46.2 MMLU-Pro, $1/$2 per 1M tokens, zero-markup prijsstelling.
gpt-3.5-turbo-1106 is een specifieke snapshot van OpenAI's GPT-3.5 Turbo-model, beschikbaar gesteld in november 2023. Het is een tekst-only model, wat betekent dat het alleen tekstinvoer en -uitvoer…
Dit model blinkt uit in algemene tekstgeneratietaken: vragen beantwoorden, deelnemen aan gesprekken, documenten samenvatten, tekst vertalen, creatief schrijven genereren en uitleg geven. Het ondersteunt functieaanroepen, waardoor het gestructureerde gegevens kan uitvoeren en kan communiceren met externe tools of API's op basis van meegeleverde functieschema's. Het kan ook meerstapsgesprekken verwerken met een contextvenster van maximaal 16K tokens. Voor taken die een hoge nauwkeurigheid vereisen bij feitelijke vragen, codegeneratie of gestructureerd redeneren, presteert het goed, maar kan het af en toe minder precieze uitvoer produceren dan grotere modellen.
Function calling in gpt-3.5-turbo-1106 stelt het model in staat om gestructureerde JSON-uitvoer te genereren op basis van functiedefinities die u in het verzoek opneemt. Wanneer u een lijst met functies met namen, beschrijvingen en parameterschema's opneemt, kan het model besluiten om een of meer functies aan te roepen door een function_call-object terug te geven. Dit is nuttig voor het bouwen van agents die databases moeten doorzoeken, API's moeten aanroepen of acties moeten uitvoeren. De functionaliteit werd verbeterd in de 1106-snapshot in vergelijking met eerdere versies, waardoor het betrouwbaarder werd en overbodig toolgebruik werd verminderd. OrcaRouter ondersteunt alle OpenAI-compatibele parameters voor function calling.
Als uw gebruiksscenario zeer eenvoudige taken met een zeer hoog volume omvat, kunt u overwegen een goedkoper model zoals gpt-3.5-turbo-0125 (zelfde prijs maar nieuwer) of kleinere open-source modellen die via OrcaRouter worden aangeboden. Aan de andere kant, als u aanzienlijk betere redenering, feitelijkheid, multimodale invoer (afbeeldingen, audio) of een groter contextvenster (128K tokens) nodig heeft, overweeg dan te upgraden naar gpt-4o of gpt-4-turbo. gpt-3.5-turbo-1106 is een evenwichtige keuze voor de meeste tekst-only toepassingen waarbij de kosten per token een primaire zorg zijn.
MMLU-Pro is een variant van de Massive Multitask Language Understanding-benchmark die 57 onderwerpen omvat met een uitdagendere set vragen. Een score van 46.2 geeft aan dat het model 46.2% van de testvragen correct heeft beantwoord. Dit is een gemiddelde score, die de algemene kennis van het model over diverse domeinen weerspiegelt. Ter vergelijking: grotere modellen zoals GPT-4 scoren doorgaans boven de 80 op soortgelijke benchmarks. Deze score helpt bij het stellen van verwachtingen: gpt-3.5-turbo-1106 is capabel, maar niet state-of-the-art voor diepgaand redeneren of gespecialiseerde kennis.
Er worden geen andere benchmark scores voor dit model verstrekt, maar openbaar beschikbare informatie laat zien dat gpt-3.5-turbo-1106 sterk presteert op MMLU, HumanEval (code generatie) en samenvattingstaken in verhouding tot zijn grootteklasse. Het wordt over het algemeen beschouwd als een van de best presterende open-weight modellen voor zijn kostenniveau. Gebruikers kunnen goede prestaties verwachten op veelvoorkomende NLP-taken, maar erkennen dat het achter kan blijven bij GPT-4 op het gebied van complex redeneren, wiskunde en meerstapsinstructies. Wat feitelijke consistentie betreft, kan het model plausibele maar onjuiste antwoorden produceren, dus verificatie wordt aanbevolen voor kritische toepassingen.
Specifieke latentienummers worden niet verstrekt. Als tekst-only model met een relatief klein aantal parameters (vergeleken met GPT-4) biedt gpt-3.5-turbo-1106 echter over het algemeen een lage latentie, waarbij korte antwoorden onder gemiddelde belasting vaak in minder dan een seconde worden voltooid. De doorvoer kan hoog zijn, waardoor het geschikt is voor real-time toepassingen in combinatie met streaming. De infrastructuur van OrcaRouter zorgt voor een betrouwbare verbinding met de endpoints van OpenAI. Voor de meest nauwkeurige latentieverwachtingen moeten gebruikers hun eigen use cases benchmarken met behulp van de OrcaRouter API.
Belangrijke beperkingen zijn: een maximale uitvoer van 4,096 tokens, wat de generatielengte beperkt; geen multimodale mogelijkheden (kan geen afbeeldingen of audio verwerken); een neiging tot hallucinatie bij obscure feiten; en beperkte redeneerdiepgang voor complexe problemen. Het contextvenster van 16K van het model is weliswaar royaal, maar kleiner dan sommige alternatieven (bijv. 128K). Het heeft ook een lagere kennisafsluitdatum dan latere snapshots (januari 2023). Bij tegenstrijdige of dubbelzinnige prompts kan het bevooroordeelde of onveilige uitvoer produceren. Ontwikkelaars moeten geschikte beveiligingsmaatregelen en menselijk toezicht implementeren voor productiegebruik.
De prijzen voor openai/gpt-3.5-turbo-1106 via OrcaRouter worden gefactureerd tegen het tarief van de aanbieder zonder opslag. Concreet kosten invoertokens $1,00 per 1 miljoen tokens en uitvoertokens $2,00 per 1 miljoen tokens. Dit geldt voor alle aanvragen, inclusief streaming. Er zijn geen extra platformkosten. Kosten worden berekend op basis van het aantal tokens in de prompt (invoer) en het gegenereerde antwoord (uitvoer). Zowel gecachte als niet-gecachte aanvragen worden tegen hetzelfde tarief gefactureerd. U kunt uw gebruik volgen via het OrcaRouter-dashboard.
Voor toepassingen die veel korte interacties vereisen (bijv. chatbotgesprekken), zijn de kosten per bericht laag omdat elk verzoek weinig tokens verbruikt. Voor taken die lange prompts vereisen of lange antwoorden genereren, schalen de kosten lineair met het aantal tokens. Vergeleken met GPT-4 (dat 10-30x duurder kan zijn), is gpt-3.5-turbo-1106 voordelig voor grote volumes. Als een taak echter met minder tokens kan worden opgelost met een goedkoper model, kan dat nog kosteneffectiever zijn. OrcaRouter's zero-markup-prijzen zorgen ervoor dat u alleen betaalt wat OpenAI in rekening brengt.
Er worden geen specifieke caching- of kortingsprogramma's genoemd voor dit model op OrcaRouter. Alle verzoeken worden gefactureerd tegen het standaard provider-tarief. Sommige platforms bieden prompt caching om de kosten voor herhaalde invoer te verlagen, maar de documentatie van OrcaRouter geeft niet aan dat een dergelijke functie voor dit model beschikbaar is. Gebruikers moeten hun tokenverbruik dienovereenkomstig plannen. Voor een zeer hoog volume kan het de moeite waard zijn om rechtstreeks contact op te nemen met OrcaRouter om te informeren naar volumekortingen, hoewel er geen worden geadverteerd. De nul-marge-prijsstelling zelf biedt al een transparante kostenbasis.
Om een verzoek te doen, stuur een POST-verzoek naar https://api.orcarouter.ai/v1/chat/completions met een JSON-body die het modelveld bevat ingesteld op 'openai/gpt-3.5-turbo-1106', en een messages-array (met role en content). Voeg uw OrcaRouter API-sleutel toe in de Authorization-header (Bearer <key>). Optionele parameters zijn temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream en functions. Het antwoord volgt het chat completion-formaat van OpenAI. Voorbeeld met behulp van de Python openai-bibliotheek: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Dit model ondersteunt dezelfde parameters als OpenAI's gpt-3.5-turbo-1106. Belangrijke parameters zijn: messages (vereiste array van objecten met role, content, optioneel name), max_tokens (standaard oneindig, maar begrensd op 4096), temperature (0-2, standaard 1), top_p (0-1, standaard 1), n (aantal keuzes, standaard 1), stream (boolean), stop (string of array tot 4 strings), presence_penalty (-2 tot 2), frequency_penalty (-2 tot 2), logit_bias (map van token-ID's naar bias), user (string voor identificatie van de eindgebruiker), functions (array van functieobjecten), function_call (auto/none of specifieke functie). Alle worden ondersteund via OrcaRouter.
Migratie vereist slechts twee wijzigingen in uw bestaande OpenAI-gebaseerde code. Ten eerste, wijzig de basis-URL van https://api.openai.com/v1 naar https://api.orcarouter.ai/v1. Ten tweede, vervang uw OpenAI API-sleutel door een OrcaRouter API-sleutel. De aanvraag- en antwoordformaten zijn identiek, dus er zijn geen wijzigingen aan de payload-structuur nodig. Na het bijwerken van deze twee instellingen blijft alle bestaande logica voor chatvoltooiingen, functieaanroepen en streaming werken. U kunt ook dezelfde OpenAI-clientbibliotheken gebruiken (bijv. Python openai, Node.js openai) door de nieuwe base_url en api_key door te geven.
OrcaRouter retourneert standaard HTTP-statuscodes en foutmeldingen die compatibel zijn met de API van OpenAI. Veelvoorkomende fouten: 401 (ongeautoriseerd), 429 (snelheidslimiet overschreden), 500 (serverfout). Snelheidslimieten worden gehandhaafd door OrcaRouter op basis van uw abonnement; raadpleeg de OrcaRouter-documentatie voor details. Aangezien het onderliggende model wordt gehost door OpenAI, worden fouten van de provider transparant doorgegeven (bijv. 400 voor ongeldige parameters, 503 voor overbelasting). Het wordt aanbevolen om exponentiële backoff te implementeren voor 429- en 5xx-fouten. Streamingfouten worden gesignaleerd door een afgekapte stream; luister naar finish_reason in het laatste segment.
De 0125-snapshot is een nieuwere versie van GPT-3.5 Turbo, uitgebracht in januari 2025. Het biedt dezelfde prijzen en alleen-tekst-modaliteit, maar heeft een recentere kennisafsluitdatum en mogelijk verbeterde consistentie en feitelijke nauwkeurigheid. Beide modellen delen dezelfde 16K-contextvenster en 4K-uitvoerlimiet. gpt-3.5-turbo-0125 wordt over het algemeen aanbevolen boven de 1106-versie voor nieuwe projecten vanwege de actualiteit, maar de 1106-snapshot blijft beschikbaar om compatibiliteitsredenen. Er worden geen benchmarkscores verstrekt voor een van beide modellen, behalve 46.2 MMLU-Pro voor 1106; gebruikers kunnen beide testen voor hun specifieke gebruikssituatie.
gpt-4o is het krachtigere model van OpenAI dat tekst-, beeld- en audio-invoer ondersteunt, met een contextvenster van 128K en maximaal 16K uitvoertokens. Het scoort aanzienlijk hoger op redeneerbenchmarks en is betrouwbaarder voor complexe taken. Het is echter aanzienlijk duurder: ruwweg 10-15x de kosten per token van gpt-3.5-turbo-1106. Voor toepassingen waar hoge nauwkeurigheid en multimodaliteit niet vereist zijn, biedt gpt-3.5-turbo-1106 een betere kostenefficiëntie. Als u de geavanceerde mogelijkheden nodig heeft, is upgraden naar gpt-4o via OrcaRouter eenvoudig door de model-ID te wijzigen naar 'openai/gpt-4o'.
Vergelijkbare modellen van andere providers zijn Anthropic's Claude 3 Haiku (alleen tekst, vergelijkbare snelheid en kosten) en Google's Gemini 1.5 Flash. Elk heeft verschillende API-formaten, maar kan worden benaderd via OrcaRouter. gpt-3.5-turbo-1106 is breed geadopteerd en geïntegreerd in veel tools. De ondersteuning voor functieaanroepen is volwassen. Modellen zoals Claude 3 Haiku kunnen echter grotere contextvensters (200K) bieden tegen vergelijkbare prijzen, terwijl Gemini 1.5 Flash multimodale mogelijkheden biedt. De keuze hangt af van ecosysteemcompatibiliteit, specifieke benchmarkprestaties en latentievereisten. OrcaRouter stelt u in staat om verschillende modellen uit te proberen onder hetzelfde API-formaat.
Kies gpt-3.5-turbo-1106 wanneer u een betrouwbaar, kosteneffectief tekstmodel nodig heeft dat breed compatibel is met bestaande tools en functieaanroepen ondersteunt. Het is ideaal voor toepassingen met een hoog volume waarbij elke aanvraag relatief kort is en geen diepgaande redenering vereist. Vermijd het als u multimodale invoer, een groter contextvenster of een hogere feitelijke nauwkeurigheid bij complexe onderwerpen nodig heeft. Als u de nieuwste kennisgrens wilt, geef dan de voorkeur aan gpt-3.5-turbo-0125. Voor ultieme prestaties kiest u gpt-4o. De modelcatalogus van OrcaRouter maakt eenvoudig schakelen tussen deze opties mogelijk zonder codeaanpassingen.
OpenAI-compatibel — behoud je huidige SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Invoer / 1M tokens | $1.00 |
| Uitvoer / 1M tokens | $2.00 |
| Valuta | USD |
Schatting op basis van catalogusprijs
Alleen een schatting — het werkelijke aantal tokens hangt af van de tokenizer van de aanbieder.
GET /api/public/models/openai/gpt-3.5-turbo-1106Openen @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106