di OpenAI gpt-3.5-turbo-1106 tramite OrcaRouter: 16K contesto, 46.2 MMLU-Pro, $1/$2 per 1M token, prezzi senza markup.
gpt-3.5-turbo-1106 è uno snapshot specifico del modello GPT-3.5 Turbo di OpenAI, reso disponibile a novembre 2023. È un modello solo testo, il che significa che accetta e genera solo input e output…
Questo modello eccelle in attività di generazione di testo generico: rispondere a domande, intrattenere dialoghi, riassumere documenti, tradurre testi, generare scrittura creativa e fornire spiegazioni. Supporta il function calling, consentendo di produrre dati strutturati e di interagire con strumenti esterni o API sulla base di schemi di funzione forniti. Può anche gestire conversazioni multi-turno con una finestra di contesto fino a 16K token. Per attività che richiedono un'elevata accuratezza su domande fattuali, generazione di codice o ragionamento strutturato, funziona bene ma può occasionalmente produrre output meno precisi rispetto a modelli più grandi.
La chiamata di funzione in gpt-3.5-turbo-1106 consente al modello di generare output JSON strutturati basati sulle definizioni delle funzioni che fornisci nella richiesta. Quando includi un elenco di funzioni con nomi, descrizioni e schemi di parametri, il modello può decidere di chiamare una o più funzioni restituendo un oggetto function_call. Questo è utile per costruire agenti che devono interrogare database, chiamare API o eseguire azioni. La funzionalità è stata migliorata nello snapshot 1106 rispetto alle versioni precedenti, rendendola più affidabile e riducendo l'uso ridondante di strumenti. OrcaRouter supporta tutti i parametri di chiamata di funzione compatibili con OpenAI.
Se il tuo caso d'uso prevede attività molto semplici con volumi molto elevati, potresti prendere in considerazione un modello ancora più economico come gpt-3.5-turbo-0125 (stesso prezzo ma più recente) o modelli open-source più piccoli offerti tramite OrcaRouter. D'altra parte, se hai bisogno di un ragionamento significativamente migliore, accuratezza fattuale, input multimodali (immagini, audio) o una finestra di contesto più ampia (128K token), considera di passare a gpt-4o o gpt-4-turbo. gpt-3.5-turbo-1106 è una scelta equilibrata per la maggior parte delle applicazioni solo testo in cui il costo per token è una preoccupazione primaria.
MMLU-Pro è una variante del benchmark Massive Multitask Language Understanding che include 57 materie con una serie di domande più impegnative. Un punteggio di 46.2 indica che il modello ha risposto correttamente al 46.2% delle domande del test. Questo è un punteggio moderato, che riflette la conoscenza generale del modello in diversi domini. Per confronto, modelli più grandi come GPT-4 ottengono tipicamente punteggi superiori a 80 su benchmark simili. Questo punteggio aiuta a stabilire le aspettative: gpt-3.5-turbo-1106 è capace, ma non all'avanguardia per ragionamento approfondito o conoscenze specializzate.
Non vengono forniti altri punteggi di benchmark per questo modello, ma le informazioni disponibili pubblicamente mostrano che gpt-3.5-turbo-1106 ottiene buoni risultati su MMLU, HumanEval (generazione di codice) e compiti di riassunto rispetto alla sua classe dimensionale. È generalmente considerato uno dei modelli a pesi aperti con le migliori prestazioni per la sua fascia di costo. Gli utenti dovrebbero aspettarsi buone prestazioni su comuni compiti di NLP, ma riconoscere che potrebbe essere in ritardo rispetto a GPT-4 per ragionamenti complessi, matematica e istruzioni multi-step. Per quanto riguarda la coerenza fattuale, il modello può produrre risposte plausibili ma errate, quindi si consiglia la verifica per applicazioni critiche.
Non vengono forniti numeri specifici di latenza. Tuttavia, essendo un modello solo testo con un numero di parametri relativamente piccolo (rispetto a GPT-4), gpt-3.5-turbo-1106 offre generalmente una bassa latenza in output, spesso completando risposte brevi in meno di un secondo sotto carico moderato. La produttività può essere elevata, rendendolo adatto per applicazioni in tempo reale se combinato con lo streaming. L'infrastruttura di OrcaRouter garantisce una connessione affidabile agli endpoint di OpenAI. Per le aspettative di latenza più accurate, gli utenti dovrebbero fare benchmark dei propri casi d'uso utilizzando l'API di OrcaRouter.
Le limitazioni principali includono: un output massimo di 4.096 token, che limita la lunghezza della generazione; nessuna capacità multimodale (non può elaborare immagini o audio); una tendenza ad allucinare su fatti oscuri; e una profondità di ragionamento limitata per problemi complessi. La finestra di contesto di 16K del modello, sebbene generosa, è più piccola rispetto ad alcune alternative (ad esempio, 128K). Ha anche un cutoff di conoscenza inferiore rispetto a snapshot successivi (gennaio 2023). Su prompt avversari o ambigui, può produrre output distorti o non sicuri. Gli sviluppatori dovrebbero implementare adeguate barriere di protezione e supervisione umana per l'uso in produzione.
I prezzi per openai/gpt-3.5-turbo-1106 tramite OrcaRouter sono fatturati alla tariffa del fornitore con margine zero. Nello specifico, i token di input costano $1.00 per 1 milione di token, mentre i token di output costano $2.00 per 1 milione di token. Questo vale per tutte le richieste, incluso lo streaming. Non ci sono commissioni aggiuntive di piattaforma. I costi vengono calcolati in base al numero di token nel prompt (input) e nella risposta generata (output). Le richieste in cache e non in cache vengono fatturate alla stessa tariffa. Puoi monitorare l'utilizzo tramite il dashboard di OrcaRouter.
Per applicazioni che richiedono molte interazioni brevi (ad esempio, conversazioni con chatbot), il costo per messaggio è basso perché ogni richiesta consuma pochi token. Per attività che coinvolgono prompt lunghi o generano risposte lunghe, il costo scala linearmente con il numero di token. Rispetto a GPT-4 (che può essere da 10 a 30 volte più costoso), gpt-3.5-turbo-1106 è economico per volumi elevati. Tuttavia, se un'attività potesse essere risolta con meno token utilizzando un modello più economico, ciò potrebbe essere ancora più conveniente. Il prezzo senza markup di OrcaRouter garantisce che tu paghi solo quanto addebitato da OpenAI.
Su questo modello, OrcaRouter non menziona programmi specifici di caching o sconti. Tutte le richieste vengono fatturate alla tariffa standard del provider. Alcune piattaforme offrono caching delle richieste per ridurre i costi su input ripetuti, ma la documentazione di OrcaRouter non indica una funzionalità del genere per questo modello. Gli utenti dovrebbero pianificare il consumo di token di conseguenza. Per volumi molto elevati, potrebbe valere la pena contattare direttamente OrcaRouter per informarsi su sconti quantità, sebbene nessuno sia pubblicizzato. Il pricing a margine zero di per sé fornisce già una base di costo trasparente.
Per effettuare una richiesta, invia una richiesta POST a https://api.orcarouter.ai/v1/chat/completions con un corpo JSON contenente il campo model impostato su 'openai/gpt-3.5-turbo-1106' e un array messages (con role e content). Includi la tua chiave API OrcaRouter nell'intestazione Authorization (Bearer <key>). I parametri opzionali includono temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream e functions. La risposta segue il formato di chat completion di OpenAI. Esempio utilizzando la libreria Python openai: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Questo modello supporta gli stessi parametri di OpenAI's gpt-3.5-turbo-1106. I parametri chiave includono: messages (array obbligatorio di oggetti con role, content, opzionalmente name), max_tokens (predefinito infinito ma limitato a 4096), temperature (0-2, predefinito 1), top_p (0-1, predefinito 1), n (numero di scelte, predefinito 1), stream (booleano), stop (stringa o array fino a 4 stringhe), presence_penalty (-2 a 2), frequency_penalty (-2 a 2), logit_bias (mappa di ID token al bias), user (stringa per identificazione dell'utente finale), functions (array di oggetti funzione), function_call (auto/none o funzione specifica). Tutti sono supportati tramite OrcaRouter.
La migrazione richiede solo due modifiche al codice esistente basato su OpenAI. Per prima cosa, cambia l'URL di base da https://api.openai.com/v1 a https://api.orcarouter.ai/v1. In secondo luogo, sostituisci la tua chiave API OpenAI con una chiave API OrcaRouter. I formati delle richieste e delle risposte sono identici, quindi non sono necessarie modifiche alla struttura del payload. Dopo aver aggiornato queste due impostazioni, tutta la logica esistente per chat completions, function calling e streaming continuerà a funzionare. Puoi anche utilizzare le stesse librerie client OpenAI (es. Python openai, Node.js openai) passando il nuovo base_url e api_key.
OrcaRouter restituisce codici di stato HTTP standard e messaggi di errore compatibili con l'API di OpenAI. Errori comuni: 401 (non autorizzato), 429 (limite di velocità superato), 500 (errore del server). I limiti di velocità sono imposti da OrcaRouter in base al tuo piano; per i dettagli, consulta la documentazione di OrcaRouter. Poiché il modello sottostante è ospitato da OpenAI, gli errori del provider vengono trasmessi in modo trasparente (ad es., 400 per parametri non validi, 503 per sovraccarico). Si consiglia di implementare il backoff esponenziale per errori 429 e 5xx. Gli errori di streaming sono segnalati da uno stream troncato; ascolta finish_reason nell'ultimo chunk.
Lo snapshot 0125 è una versione più recente di GPT-3.5 Turbo, rilasciata a gennaio 2025. Offre lo stesso prezzo e la stessa modalità solo testo, ma include un cutoff di conoscenza più aggiornato e una possibile migliore coerenza e accuratezza fattuale. Entrambi i modelli condividono la stessa finestra di contesto di 16K e il limite di output di 4K. gpt-3.5-turbo-0125 è generalmente raccomandato rispetto alla versione 1106 per nuovi progetti grazie alla sua freschezza, ma lo snapshot 1106 rimane disponibile per motivi di compatibilità. Non vengono forniti punteggi di benchmark per nessuno dei due modelli oltre a 46.2 MMLU-Pro per 1106; gli utenti possono testare entrambi per il loro caso d'uso specifico.
gpt-4o è il modello più potente di OpenAI che supporta input di testo, immagini e audio, con una finestra di contesto di 128K e un massimo di 16K token in output. Ottiene punteggi significativamente più alti nei benchmark di ragionamento ed è più affidabile per compiti complessi. Tuttavia, è sostanzialmente più costoso: circa 10-15 volte il costo per token rispetto a gpt-3.5-turbo-1106. Per applicazioni in cui non sono richieste alta precisione e multimodalità, gpt-3.5-turbo-1106 offre una migliore efficienza in termini di costi. Se hai bisogno delle capacità avanzate, il passaggio a gpt-4o tramite OrcaRouter è semplice: basta cambiare l'ID del modello in 'openai/gpt-4o'.
Modelli comparabili di altri fornitori includono Claude 3 Haiku di Anthropic (solo testo, velocità e costo simili) e Gemini 1.5 Flash di Google. Ciascuno ha formati API diversi ma possono essere accessibili tramite OrcaRouter. gpt-3.5-turbo-1106 è ampiamente adottato e integrato in molti strumenti. Il suo supporto per la chiamata di funzioni è maturo. Tuttavia, modelli come Claude 3 Haiku possono offrire finestre di contesto più ampie (200K) a prezzi simili, mentre Gemini 1.5 Flash fornisce capacità multimodali. La scelta dipende dalla compatibilità dell'ecosistema, dalle prestazioni specifiche nei benchmark e dai requisiti di latenza. OrcaRouter ti consente di provare diversi modelli con lo stesso formato API.
Scegli gpt-3.5-turbo-1106 quando hai bisogno di un modello di testo affidabile ed economico, ampiamente compatibile con gli strumenti esistenti e che supporti la chiamata di funzioni. È ideale per applicazioni ad alto volume in cui ogni richiesta è relativamente breve e non richiede ragionamenti approfonditi. Evitalo se hai bisogno di input multimodali, una finestra di contesto più ampia o una maggiore accuratezza fattuale su argomenti complessi. Se hai bisogno del taglio conoscitivo più recente, preferisci gpt-3.5-turbo-0125. Per prestazioni ottimali, scegli gpt-4o. Il catalogo modelli di OrcaRouter consente di passare facilmente da un'opzione all'altra senza modifiche al codice.
Compatibile con OpenAI: mantieni il tuo SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Input / 1M token | $1.00 |
| Output / 1M token | $2.00 |
| Valuta | USD |
Stima basata sul prezzo di listino
Solo una stima — il numero effettivo di token dipende dal tokenizzatore del provider.
GET /api/public/models/openai/gpt-3.5-turbo-1106Apri @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106