O gpt-3.5-turbo-1106 da OpenAI via OrcaRouter: contexto de 16K, 46.2 MMLU-Pro, $1/$2 por 1 milhão de tokens, preço sem margem de lucro.
O gpt-3.5-turbo-1106 é um snapshot específico do modelo GPT-3.5 Turbo da OpenAI, disponibilizado em novembro de 2023. É um modelo exclusivo de texto, o que significa que aceita e gera apenas entradas…
Este modelo se destaca em tarefas de geração de texto de uso geral: responder perguntas, manter diálogos, resumir documentos, traduzir textos, gerar textos criativos e fornecer explicações. Ele suporta chamada de funções, permitindo gerar dados estruturados e interagir com ferramentas externas ou APIs com base em esquemas de funções fornecidos. Também pode lidar com conversas de múltiplas voltas com uma janela de contexto de até 16 mil tokens. Para tarefas que exigem alta precisão em consultas factuais, geração de código ou raciocínio estruturado, ele tem bom desempenho, mas pode ocasionalmente produzir resultados menos precisos do que modelos maiores.
A chamada de funções no gpt-3.5-turbo-1106 permite que o modelo gere saídas JSON estruturadas com base nas definições de funções que você fornece na requisição. Quando você inclui uma lista de funções com nomes, descrições e esquemas de parâmetros, o modelo pode decidir chamar uma ou mais funções retornando um objeto function_call. Isso é útil para construir agentes que precisam consultar bancos de dados, chamar APIs ou executar ações. O recurso foi aprimorado no snapshot 1106 em comparação com versões anteriores, tornando-o mais confiável e reduzindo o uso redundante de ferramentas. O OrcaRouter suporta todos os parâmetros de chamada de funções compatíveis com a OpenAI.
Se o seu caso de uso envolve tarefas muito simples com volume muito alto, você pode considerar um modelo ainda mais barato como gpt-3.5-turbo-0125 (mesmo preço, mas mais novo) ou modelos menores de código aberto oferecidos pelo OrcaRouter. Por outro lado, se você precisa de raciocínio significativamente melhor, factualidade, entrada multimodal (imagens, áudio) ou uma janela de contexto maior (128K tokens), considere atualizar para gpt-4o ou gpt-4-turbo. gpt-3.5-turbo-1106 é uma escolha equilibrada para a maioria das aplicações somente texto onde o custo por token é uma preocupação principal.
MMLU-Pro é uma variante do benchmark Massive Multitask Language Understanding que inclui 57 disciplinas com um conjunto de perguntas mais desafiadoras. Uma pontuação de 46,2 indica que o modelo respondeu corretamente a 46,2% das perguntas do teste. Esta é uma pontuação moderada, refletindo o conhecimento geral do modelo em diversos domínios. Para comparação, modelos maiores como GPT-4 normalmente pontuam acima de 80 em benchmarks similares. Essa pontuação ajuda a definir expectativas: gpt-3.5-turbo-1106 é capaz, mas não é estado da arte para raciocínio profundo ou conhecimento especializado.
Nenhuma outra pontuação de benchmark é fornecida para este modelo, mas informações publicamente disponíveis mostram que o gpt-3.5-turbo-1106 tem um desempenho forte em MMLU, HumanEval (geração de código) e tarefas de sumarização em relação à sua classe de tamanho. Ele é geralmente considerado um dos melhores modelos de pesos abertos para sua faixa de custo. Os usuários devem esperar um bom desempenho em tarefas comuns de PNL, mas reconhecer que pode ficar atrás do GPT-4 em raciocínio complexo, matemática e instruções de múltiplas etapas. Quanto à consistência factual, o modelo pode produzir respostas plausíveis, mas incorretas, portanto, recomenda-se verificação para aplicações críticas.
Números específicos de latência não são fornecidos. No entanto, como um modelo somente texto com uma contagem de parâmetros relativamente pequena (em comparação com o GPT-4), o gpt-3.5-turbo-1106 geralmente oferece baixa latência na saída, frequentemente completando respostas curtas em menos de um segundo sob carga moderada. A taxa de transferência pode ser alta, tornando-o adequado para aplicações em tempo real quando combinado com streaming. A infraestrutura do OrcaRouter garante uma conexão confiável com os endpoints da OpenAI. Para as expectativas de latência mais precisas, os usuários devem fazer benchmark de seus próprios casos de uso usando a API do OrcaRouter.
As principais limitações incluem: uma saída máxima de 4.096 tokens, que restringe o comprimento da geração; nenhuma capacidade multimodal (não pode processar imagens ou áudio); uma tendência a alucinar sobre fatos obscuros; e profundidade de raciocínio limitada para problemas complexos. A janela de contexto de 16K do modelo, embora generosa, é menor do que algumas alternativas (e.g., 128K). Ele também tem um corte de conhecimento mais baixo do que versões posteriores (Janeiro de 2023). Em prompts adversariais ou ambíguos, pode produzir saídas tendenciosas ou inseguras. Os desenvolvedores devem implementar proteções adequadas e supervisão humana para uso em produção.
O preço para openai/gpt-3.5-turbo-1106 através do OrcaRouter é cobrado na taxa do provedor sem margem de lucro. Especificamente, tokens de entrada custam $1.00 por 1 milhão de tokens, e tokens de saída custam $2.00 por 1 milhão de tokens. Isso se aplica a todas as solicitações, incluindo streaming. Não há taxas adicionais de plataforma. Os encargos são calculados com base no número de tokens no prompt (entrada) e na resposta gerada (saída). Tanto as solicitações em cache quanto as não armazenadas em cache são cobradas na mesma taxa. Você pode acompanhar o uso através do painel do OrcaRouter.
Para aplicações que exigem muitas interações curtas (como conversas de chatbot), o custo por mensagem é baixo porque cada requisição consome poucos tokens. Para tarefas que envolvem prompts longos ou geram respostas longas, o custo escala linearmente com o número de tokens. Comparado ao GPT-4 (que pode ser 10 a 30 vezes mais caro), o gpt-3.5-turbo-1106 é econômico para volume. No entanto, se uma tarefa puder ser resolvida com menos tokens usando um modelo mais barato, isso pode ser ainda mais custo-efetivo. O precificação de markup zero da OrcaRouter garante que você pague apenas o que a OpenAI cobra.
Não são mencionados programas específicos de cache ou descontos para este modelo no OrcaRouter. Todas as solicitações são cobradas pela taxa padrão do provedor. Algumas plataformas oferecem cache de prompt para reduzir custos com entradas repetidas, mas a documentação do OrcaRouter não indica tal recurso para este modelo. Os usuários devem planejar o uso de tokens de acordo. Para volumes muito altos, pode valer a pena entrar em contato diretamente com o OrcaRouter para perguntar sobre descontos por volume, embora nenhum seja anunciado. O próprio preço sem margem de lucro já fornece uma base de custo transparente.
Para fazer uma solicitação, envie uma requisição POST para https://api.orcarouter.ai/v1/chat/completions com um corpo JSON contendo o campo model definido como 'openai/gpt-3.5-turbo-1106' e um array messages (com role e content). Inclua sua chave de API do OrcaRouter no cabeçalho Authorization (Bearer <key>). Parâmetros opcionais incluem temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream e functions. A resposta segue o formato de chat completion da OpenAI. Exemplo usando a biblioteca openai do Python: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Este modelo suporta os mesmos parâmetros que o gpt-3.5-turbo-1106 da OpenAI. Os principais parâmetros incluem: messages (matriz obrigatória de objetos com role, content, opcionalmente name), max_tokens (padrão infinito, mas limitado a 4096), temperature (0-2, padrão 1), top_p (0-1, padrão 1), n (número de escolhas, padrão 1), stream (booleano), stop (string ou matriz de até 4 strings), presence_penalty (-2 a 2), frequency_penalty (-2 a 2), logit_bias (mapa de IDs de token para viés), user (string para identificação do usuário final), functions (matriz de objetos de função), function_call (auto/none ou função específica). Todos são suportados através do OrcaRouter.
A migração requer apenas duas alterações no seu código existente baseado na OpenAI. Primeiro, altere a URL base de https://api.openai.com/v1 para https://api.orcarouter.ai/v1. Segundo, substitua sua chave de API da OpenAI por uma chave de API do OrcaRouter. Os formatos de requisição e resposta são idênticos, portanto não são necessárias alterações na estrutura do payload. Após atualizar essas duas configurações, toda a lógica existente para conclusões de chat, chamadas de função e streaming continuará funcionando. Você também pode usar as mesmas bibliotecas de cliente da OpenAI (ex.: Python openai, Node.js openai) passando o novo base_url e api_key.
O OrcaRouter retorna códigos de status HTTP padrão e mensagens de erro compatíveis com a API da OpenAI. Erros comuns: 401 (não autorizado), 429 (limite de taxa excedido), 500 (erro do servidor). Os limites de taxa são aplicados pelo OrcaRouter com base no seu plano; para detalhes, consulte a documentação do OrcaRouter. Como o modelo subjacente é hospedado pela OpenAI, os erros do provedor são transferidos de forma transparente (por exemplo, 400 para parâmetros inválidos, 503 para sobrecarga). Recomenda-se implementar backoff exponencial para erros 429 e 5xx. Erros de streaming são sinalizados por um fluxo truncado; ouça finish_reason no último bloco.
O snapshot 0125 é uma versão mais recente do GPT-3.5 Turbo, lançada em janeiro de 2025. Ele oferece o mesmo preço e a mesma modalidade apenas de texto, mas inclui um corte de conhecimento mais recente e, possivelmente, consistência e precisão factual aprimoradas. Ambos os modelos compartilham a mesma janela de contexto de 16K e limite de saída de 4K. O gpt-3.5-turbo-0125 é geralmente recomendado em vez da versão 1106 para novos projetos devido à sua atualidade, mas o snapshot 1106 permanece disponível por questões de compatibilidade. Nenhuma pontuação de benchmark é fornecida para nenhum dos modelos além de 46,2 MMLU-Pro para o 1106; os usuários podem testar ambos para seu caso de uso específico.
gpt-4o é o modelo mais capaz da OpenAI que suporta entradas de texto, imagem e áudio, e possui uma janela de contexto de 128K e máximo de 16K tokens de saída. Ele obtém pontuações significativamente mais altas em benchmarks de raciocínio e é mais confiável para tarefas complexas. No entanto, é substancialmente mais caro: aproximadamente 10 a 15 vezes o custo por token do gpt-3.5-turbo-1106. Para aplicações em que alta precisão e multimodalidade não são necessárias, o gpt-3.5-turbo-1106 oferece melhor eficiência de custo. Se você precisar das capacidades avançadas, atualizar para o gpt-4o através do OrcaRouter é simples: basta alterar o ID do modelo para 'openai/gpt-4o'.
Modelos comparáveis de outros provedores incluem o Claude 3 Haiku da Anthropic (apenas texto, velocidade e custo semelhantes) e o Gemini 1.5 Flash do Google. Cada um tem formatos de API diferentes, mas pode ser acessado via OrcaRouter. O gpt-3.5-turbo-1106 é amplamente adotado e integrado em muitas ferramentas. Seu suporte para chamadas de função é maduro. No entanto, modelos como o Claude 3 Haiku podem oferecer janelas de contexto maiores (200K) com preços semelhantes, enquanto o Gemini 1.5 Flash oferece capacidades multimodais. A escolha depende da compatibilidade com o ecossistema, desempenho em benchmarks específicos e requisitos de latência. O OrcaRouter permite que você experimente diferentes modelos sob o mesmo formato de API.
Escolha gpt-3.5-turbo-1106 quando precisar de um modelo de texto confiável e econômico que seja amplamente compatível com ferramentas existentes e suporte chamadas de função. É ideal para aplicações de alto volume onde cada solicitação é relativamente curta e não exige raciocínio profundo. Evite-o se precisar de entradas multimodais, uma janela de contexto maior ou maior precisão factual em tópicos complexos. Se precisar da data de corte de conhecimento mais recente, prefira gpt-3.5-turbo-0125. Para desempenho máximo, selecione gpt-4o. O catálogo de modelos do OrcaRouter permite alternar facilmente entre essas opções sem alterações no código.
Compatível com OpenAI — mantenha seu SDK
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Entrada / 1M tokens | $1.00 |
| Saída / 1M tokens | $2.00 |
| Moeda | USD |
Estimativa com base no preço de tabela
Apenas uma estimativa — a contagem real de tokens depende do tokenizador do provedor.
GET /api/public/models/openai/gpt-3.5-turbo-1106Abrir @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106