OpenAI's gpt-3.5-turbo-1106 via OrcaRouter: 16K contexto, 46.2 MMLU-Pro, $1/$2 por 1M tokens, precio sin margen.
gpt-3.5-turbo-1106 es una instantánea específica del modelo GPT-3.5 Turbo de OpenAI, publicada en noviembre de 2023. Es un modelo exclusivamente de texto, lo que significa que solo acepta y genera…
Este modelo se destaca en tareas de generación de texto de propósito general: responder preguntas, mantener diálogos, resumir documentos, traducir texto, generar escritura creativa y proporcionar explicaciones. Admite la llamada a funciones, lo que le permite generar datos estructurados e interactuar con herramientas externas o APIs basadas en esquemas de funciones proporcionados. También puede manejar conversaciones de múltiples turnos con una ventana de contexto de hasta 16K tokens. Para tareas que requieren alta precisión en consultas fácticas, generación de código o razonamiento estructurado, se desempeña bien, pero ocasionalmente puede producir resultados menos precisos que modelos más grandes.
La llamada a funciones en gpt-3.5-turbo-1106 permite que el modelo genere salidas JSON estructuradas basadas en las definiciones de funciones que proporciones en la solicitud. Cuando incluyes una lista de funciones con nombres, descripciones y esquemas de parámetros, el modelo puede decidir llamar a una o más funciones devolviendo un objeto function_call. Esto es útil para crear agentes que necesiten consultar bases de datos, llamar a APIs o realizar acciones. Esta característica mejoró en la versión 1106 en comparación con versiones anteriores, haciéndola más confiable y reduciendo el uso redundante de herramientas. OrcaRouter admite todos los parámetros de llamada a funciones compatibles con OpenAI.
Si tu caso de uso implica tareas muy simples con un volumen muy alto, podrías considerar un modelo aún más barato como gpt-3.5-turbo-0125 (mismo precio pero más nuevo) o modelos open-source más pequeños ofrecidos a través de OrcaRouter. Por otro lado, si necesitas un razonamiento significativamente mejor, factualidad, entrada multimodal (imágenes, audio) o una ventana de contexto más grande (128K tokens), considera actualizar a gpt-4o o gpt-4-turbo. gpt-3.5-turbo-1106 es una opción equilibrada para la mayoría de las aplicaciones solo de texto donde el costo por token es una preocupación principal.
MMLU-Pro es una variante del benchmark Massive Multitask Language Understanding que incluye 57 materias con un conjunto de preguntas más difíciles. Una puntuación de 46.2 indica que el modelo respondió correctamente el 46.2% de las preguntas del test. Esta es una puntuación moderada, que refleja el conocimiento general del modelo en diversos dominios. En comparación, modelos más grandes como GPT-4 suelen obtener puntuaciones superiores a 80 en benchmarks similares. Esta puntuación ayuda a establecer expectativas: gpt-3.5-turbo-1106 es capaz, pero no es lo último en razonamiento profundo o conocimiento especializado.
No se proporcionan otras puntuaciones de referencia para este modelo, pero la información disponible públicamente muestra que gpt-3.5-turbo-1106 tiene un rendimiento sólido en MMLU, HumanEval (generación de código) y tareas de resumen en relación con su clase de tamaño. Generalmente se considera uno de los mejores modelos de peso abierto en su categoría de costo. Los usuarios deben esperar un buen rendimiento en tareas comunes de PLN, pero reconocer que puede quedar rezagado frente a GPT-4 en razonamiento complejo, matemáticas e instrucciones de múltiples pasos. En cuanto a la consistencia factual, el modelo puede producir respuestas plausibles pero incorrectas, por lo que se recomienda verificación para aplicaciones críticas.
No se proporcionan números de latencia específicos. Sin embargo, como modelo solo de texto con un número de parámetros relativamente pequeño (en comparación con GPT-4), gpt-3.5-turbo-1106 generalmente ofrece una latencia baja, completando a menudo respuestas cortas en menos de un segundo bajo carga moderada. El rendimiento puede ser alto, lo que lo hace adecuado para aplicaciones en tiempo real cuando se combina con transmisión continua. La infraestructura de OrcaRouter garantiza una conexión confiable a los endpoints de OpenAI. Para obtener las expectativas de latencia más precisas, los usuarios deben realizar pruebas comparativas en sus propios casos de uso utilizando la API de OrcaRouter.
Las limitaciones clave incluyen: un máximo de 4,096 tokens de salida, que restringe la longitud de generación; sin capacidades multimodales (no puede procesar imágenes ni audio); una tendencia a alucinar sobre hechos oscuros; y una profundidad de razonamiento limitada para problemas complejos. La ventana de contexto de 16K del modelo, aunque generosa, es más pequeña que la de algunas alternativas (por ejemplo, 128K). También tiene un corte de conocimiento más bajo que las versiones posteriores (enero de 2023). En avisos adversarios o ambiguos, puede producir resultados sesgados o inseguros. Los desarrolladores deben implementar barreras de seguridad apropiadas y supervisión humana para el uso en producción.
El precio de openai/gpt-3.5-turbo-1106 a través de OrcaRouter se factura a la tarifa del proveedor sin margen de beneficio. Específicamente, los tokens de entrada cuestan $1.00 por 1 millón de tokens, y los tokens de salida cuestan $2.00 por 1 millón de tokens. Esto aplica a todas las solicitudes, incluyendo streaming. No hay tarifas adicionales de plataforma. Los cargos se calculan en función del número de tokens en el prompt (entrada) y la respuesta generada (salida). Tanto las solicitudes en caché como las que no están en caché se facturan a la misma tarifa. Puede realizar un seguimiento del uso a través del panel de OrcaRouter.
Para aplicaciones que requieren muchas interacciones cortas (por ejemplo, conversaciones de chatbot), el costo por mensaje es bajo porque cada solicitud consume pocos tokens. Para tareas que implican indicaciones largas o generan respuestas largas, el costo escala linealmente con el número de tokens. En comparación con GPT-4 (que puede ser 10-30 veces más caro), gpt-3.5-turbo-1106 es económico para volumen. Sin embargo, si una tarea pudiera resolverse con menos tokens usando un modelo más barato, eso podría ser aún más rentable. El precio sin margen de beneficio de OrcaRouter garantiza que solo pagues lo que cobra OpenAI.
No se mencionan programas específicos de almacenamiento en caché o descuentos para este modelo en OrcaRouter. Todas las solicitudes se facturan a la tarifa estándar del proveedor. Algunas plataformas ofrecen almacenamiento en caché de indicaciones para reducir costos en entradas repetidas, pero la documentación de OrcaRouter no indica tal característica para este modelo. Los usuarios deben planificar su uso de tokens en consecuencia. Para volúmenes muy altos, puede valer la pena contactar directamente a OrcaRouter para consultar sobre descuentos por volumen, aunque no se anuncian ninguno. El precio sin margen de beneficio ya proporciona una base de costos transparente.
Para realizar una solicitud, envía una solicitud POST a https://api.orcarouter.ai/v1/chat/completions con un cuerpo JSON que contenga el campo model establecido en 'openai/gpt-3.5-turbo-1106', y un arreglo messages (con role y content). Incluye tu clave API de OrcaRouter en el encabezado Authorization (Bearer <key>). Los parámetros opcionales incluyen temperature, max_tokens, top_p, frequency_penalty, presence_penalty, stop, stream, y functions. La respuesta sigue el formato de finalización de chat de OpenAI. Ejemplo usando la librería openai de Python: client = OpenAI(base_url='https://api.orcarouter.ai/v1', api_key='your_key').
Este modelo admite los mismos parámetros que el modelo gpt-3.5-turbo-1106 de OpenAI. Los parámetros clave incluyen: messages (array requerido de objetos con role, content, opcionalmente name), max_tokens (por defecto infinito pero limitado a 4096), temperature (0-2, por defecto 1), top_p (0-1, por defecto 1), n (número de opciones, por defecto 1), stream (booleano), stop (cadena o array de hasta 4 cadenas), presence_penalty (-2 a 2), frequency_penalty (-2 a 2), logit_bias (mapa de ID de token a sesgo), user (cadena para identificación del usuario final), functions (array de objetos de función), function_call (auto/none o función específica). Todos son compatibles a través de OrcaRouter.
Migration solo requiere dos cambios en tu código existente basado en OpenAI. Primero, cambia la URL base de https://api.openai.com/v1 a https://api.orcarouter.ai/v1. Segundo, reemplaza tu clave de API de OpenAI con una clave de API de OrcaRouter. Los formatos de solicitud y respuesta son idénticos, por lo que no se necesitan cambios en la estructura del payload. Después de actualizar estos dos ajustes, toda la lógica existente para completar chats, llamadas a funciones y transmisión en streaming seguirá funcionando. También puedes usar las mismas bibliotecas cliente de OpenAI (por ejemplo, Python openai, Node.js openai) pasando el nuevo base_url y api_key.
OrcaRouter devuelve códigos de estado HTTP estándar y mensajes de error compatibles con la API de OpenAI. Errores comunes: 401 (no autorizado), 429 (límite de tasa excedido), 500 (error del servidor). Los límites de tasa son aplicados por OrcaRouter según tu plan; para más detalles, consulta la documentación de OrcaRouter. Dado que el modelo subyacente está alojado por OpenAI, los errores del proveedor se transmiten de manera transparente (p. ej., 400 por parámetros inválidos, 503 por sobrecarga). Se recomienda implementar retroceso exponencial para errores 429 y 5xx. Los errores de streaming se indican mediante un flujo truncado; escucha finish_reason en el último fragmento.
La instantánea 0125 es una versión más reciente de GPT-3.5 Turbo, lanzada en enero de 2025. Ofrece el mismo precio y modalidad solo de texto, pero incluye un corte de conocimiento más reciente y posiblemente una consistencia y precisión factual mejoradas. Ambos modelos comparten la misma ventana de contexto de 16K y el límite de salida de 4K. Generalmente se recomienda gpt-3.5-turbo-0125 sobre la versión 1106 para proyectos nuevos debido a su novedad, pero la instantánea 1106 sigue estando disponible por motivos de compatibilidad. No se proporcionan puntuaciones de referencia para ninguno de los modelos más allá del 46.2 MMLU-Pro para 1106; los usuarios pueden probar ambos para su caso de uso específico.
gpt-4o es el modelo más capaz de OpenAI que admite entradas de texto, imagen y audio, y tiene una ventana de contexto de 128K y un máximo de 16K tokens de salida. Obtiene puntuaciones significativamente más altas en pruebas de razonamiento y es más fiable para tareas complejas. Sin embargo, es sustancialmente más caro: aproximadamente 10-15 veces el costo por token de gpt-3.5-turbo-1106. Para aplicaciones donde no se requiere alta precisión y multimodalidad, gpt-3.5-turbo-1106 ofrece una mejor eficiencia de costos. Si necesitas las capacidades avanzadas, actualizar a gpt-4o a través de OrcaRouter es sencillo cambiando el ID del modelo a 'openai/gpt-4o'.
Los modelos comparables de otros proveedores incluyen Claude 3 Haiku de Anthropic (solo texto, velocidad y costo similares) y Gemini 1.5 Flash de Google. Cada uno tiene diferentes formatos de API, pero se puede acceder a ellos a través de OrcaRouter. gpt-3.5-turbo-1106 está ampliamente adoptado e integrado en muchas herramientas. Su soporte para llamadas a funciones es maduro. Sin embargo, modelos como Claude 3 Haiku pueden ofrecer ventanas de contexto más grandes (200K) a precios similares, mientras que Gemini 1.5 Flash proporciona capacidades multimodales. La elección depende de la compatibilidad del ecosistema, el rendimiento en benchmarks específicos y los requisitos de latencia. OrcaRouter le permite probar diferentes modelos bajo el mismo formato de API.
Elige gpt-3.5-turbo-1106 cuando necesites un modelo de texto confiable y rentable, ampliamente compatible con herramientas existentes y que admita llamadas a funciones. Es ideal para aplicaciones de alto volumen donde cada solicitud es relativamente corta y no requiere razonamiento profundo. Evítalo si necesitas entradas multimodales, una ventana de contexto más grande o una mayor precisión fáctica en temas complejos. Si necesitas el corte de conocimiento más reciente, prefiere gpt-3.5-turbo-0125. Para un rendimiento óptimo, selecciona gpt-4o. El catálogo de modelos de OrcaRouter permite cambiar fácilmente entre estas opciones sin modificar el código.
Compatible con OpenAI: conserva tu SDK actual
https://api.orcarouter.ai/v1from openai import OpenAI
client = OpenAI(
base_url="https://api.orcarouter.ai/v1",
api_key="$ORCAROUTER_API_KEY",
)
response = client.chat.completions.create(
model="openai/gpt-3.5-turbo-1106",
messages=[{"role": "user", "content": "Hello"}],
)
print(response.choices[0].message.content)frequency_penaltylogit_biaslogprobsmax_tokenspresence_penaltyresponse_formatseedstopstreamtemperaturetool_choicetoolstop_logprobstop_p| Entrada / 1M tokens | $1.00 |
| Salida / 1M tokens | $2.00 |
| Moneda | USD |
Estimación según precio de lista
Solo una estimación: el número real de tokens depende del tokenizador del proveedor.
GET /api/public/models/openai/gpt-3.5-turbo-1106Abrir @misc{orcarouter_gpt_3_5_turbo_1106,
title = {openai/gpt-3.5-turbo-1106 API},
author = {openai},
year = {n.d.},
howpublished = {OrcaRouter},
url = {https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106}
}openai. (n.d.). openai/gpt-3.5-turbo-1106 API. OrcaRouter. https://www.orcarouter.ai/models/openai/gpt-3.5-turbo-1106