Una tarjeta de noticias generada titulada «Una historia de cliente, dos modelos, cero cifras», con tres insignias que dicen «GPT-6.1 Sol: ruta de producción», «GPT-6 Astra: stand de demostración» y «Cifras publicadas en la historia: ninguna», y el logotipo de OrcaRouter en la esquina inferior derecha.
Guides & Insights

La historia de GPT-6.1 Sol de DevRev es en realidad una historia sobre dónde no está GPT-6 Astra

Autor

Alistair Wren

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

OpenAI publicó esta semana un caso práctico de cliente titulado «DevRev ofrece autoservicio autónomo con GPT-6.1 Sol», y la frase más informativa del texto no trata en absoluto sobre GPT-6.1 Sol. Es aquella en la que se dice que los ingenieros de ventas de DevRev usan GPT-6 Astra para crear demostraciones para los stands de conferencias. El director de tecnología de DevRev, Ahmed Bashir, describe una empresa que ha dividido su conjunto de modelos en dos: el modelo de gama media se encarga de la ruta de soporte en producción, y el modelo de vanguardia se encarga de lo que un posible cliente observa durante noventa segundos. Eso es una prueba más útil que cualquier referencia comparativa del artículo, porque es una decisión de despliegue tomada por alguien que tiene una factura que pagar.

El momento importa. GPT-6.1 Sol se lanzó el 29 de septiembre de 2026 en DevDay, una semana después de GPT-6 Sol, a 2,00 dólares por millón de tokens de entrada y 10,00 dólares por millón de tokens de salida. El propio artículo de DevRev sobre la alianza con OpenAI lleva un sello de actualización del 2 de noviembre de 2026, y la historia del cliente es la primera vez que un servicio de producción con nombre ha puesto el modelo de gama media, en lugar del insignia, en la ruta de cara al cliente. No es un lanzamiento. Es la primera referencia de trabajo.

Lo que DevRev realmente ejecuta

DevRev crea dos productos sobre el mismo sustrato. Computer es el compañero de IA que responde y actúa sobre los datos de negocio; Operator es el agente que ejecuta una acción aprobada o dirige una solicitud a la persona adecuada. Ambos necesitan las mismas tres cosas antes de que se permita que un modelo se acerque a un cliente: contexto de la empresa, permisos que coincidan con el rol de una persona y acciones que se puedan deshacer. El modelo aporta el razonamiento, la planificación y la selección de herramientas. El harness de DevRev aporta el resto, y Agent Studio es donde un cliente describe en conversación cómo debe comportarse una herramienta y luego fija mediante reglas fijas las partes que no deben variar.

Dos propiedades de la historia valen más que el elogio. Las acciones son reversibles. Las respuestas citan sus fuentes. Esos son los dos modos de fallo que impiden que las empresas permitan que un agente cierre un ticket, y DevRev afirma que ambos son comportamiento del producto y no del modelo. Si estás evaluando cualquier agente de autoservicio, esas son las preguntas que hay que hacer, y ningún ranking las responde.

El número que quedará asociado a esta historia es de julio, y no tiene que ver con Sol.

Busca cobertura de DevRev y OpenAI y encontrarás un par de cifras llamativas: 48% más de precisión y 4,4 veces menos tokens por respuesta correcta. Son reales, están publicadas y no tienen nada que ver con GPT-6.1 Sol.

Esas cifras provienen de un comunicado del 9 de julio de 2026 que anunciaba Enterprise-Bench, un benchmark abierto de agentes empresariales que DevRev creó con el Laude Institute y publicó en el harness Harbor. En esa comparación, Computer de DevRev obtuvo un 94,3 % frente a un 63,6 % en el conjunto de datos XL, y usó aproximadamente 5.598 tokens por respuesta correcta frente a 24.461. La comparación fue explícitamente harness contra harness, con ambos sistemas ejecutando el mismo modelo subyacente. DevRev atribuyó la diferencia a su arquitectura de recuperación y memoria compartida, no al modelo subyacente. También se comparó con Claude Code, no con nada que OpenAI lanzara en septiembre.

El caso práctico de OpenAI menciona Enterprise-Bench, y Bashir afirma que GPT-6.1 Sol rinde bien en él. Eso es una afirmación cualitativa. No se da ninguna puntuación, ni un fragmento del conjunto de datos, ni una comparación. Quien acopla los números de julio al relato de noviembre está midiendo otra cosa en un modelo distinto en un trimestre distinto. La lectura honesta es más limitada y, aun así, interesante: DevRev tiene un benchmark que creó precisamente para esta decisión, y se negó a publicar una fila de Sol en él.

Lo que la historia no dice

No hay tasa de resolución, ni volumen de tickets, ni percentil de latencia, ni recuento de tokens, ni precio en la publicación de OpenAI. Para una historia de cliente sobre autoservicio autónomo, eso es todo el marcador lo que falta.

La cifra publicada más cercana es la prueba de concepto de BILL de DevRev, en la que BILL reportó una tasa de resolución mediante IA del 70 % en consultas reales de clientes usando su propia evaluación. Los materiales de DevRev también citan una reducción del 77 % de tokens y una bajada de unos nueve minutos a alrededor de 1,5 minutos en preguntas de varios pasos, medida frente a su propio enfoque anterior. Estos datos son reportados por el proveedor y no han sido reproducidos, y ninguno está vinculado a la generación de modelo que está ahora en producción. Trátalos como la forma de la afirmación, no como su magnitud.

A generated scoreboard titled 'DevRev: what is measured, and what is claimed', with a July column showing 94.3% versus 63.6% accuracy and 5,598 versus 24,461 tokens per answer measured on the Opus 4.8 family, a November column showing no published accuracy, token or resolution figures alongside $2.00/$10.00 for GPT-6.1 Sol and $10.00/$50.00 for GPT-6 Astra, and a takeaway line noting that the July figures measure a harness against a harness.

La restricción del propio Bashir es la que hay que retener: «Estas cosas tienen que poder ejecutarse y completarse por sí solas en segundos, no en minutos». Una interacción de soporte que consume veinte minutos de razonamiento no es autoservicio, sea cual sea su puntuación. Esa frase explica la elección del modelo mejor que cualquier tabla de benchmarks.

La aritmética que puede verificar un servicio de asistencia

Toma un ticket rutinario: 20.000 tokens de entrada de contexto recuperado, 2.000 tokens de salida, incluido el razonamiento. Según el precio de lista de GPT-6.1 Sol, eso es $0.04 de entrada y $0.02 de salida, es decir, unos seis centavos. La misma solicitud en GPT-6 Astra, a $10.00 de entrada y $50.00 de salida, cuesta $0.20 más $0.10, o unos treinta centavos. La misma tarea, cinco veces la factura.

Seis centavos son un mínimo, no una previsión. Los tokens de razonamiento se facturan como salida, los reintentos se facturan dos veces y cualquier bucle de herramientas multiplica ambos. Pero la proporción es lo importante, y sobrevive a las tres salvedades. Las propias cifras de coste que OpenAI reporta como proveedor apuntan en la misma dirección: en Terminal-Bench Science 0.1, OpenAI situó a GPT-6.1 Sol en 5,47 USD por tarea frente a 23,80 USD de GPT-6 Astra y 23,21 USD de Claude Opus 5.5, con Sol obteniendo un 57,02 % con el máximo esfuerzo frente al 68,1 % de Astra. Estás comprando once puntos de capacidad por cuatro veces el dinero, y en una cola de soporte el undécimo punto suele ser una mejor paráfrasis, no un ticket resuelto.

Este es el cálculo sobre el que se construye el modelo de precios de OrcaRouter: el precio de lista del proveedor se traslada sin margen, así que una tarifa como $2.00 y $10.00 es la cifra que pagas, y un cambio de precio del proveedor se aplica el mismo día en lugar de en la próxima renovación del contrato. Ambos modelos están detrás de una sola clave, lo que significa que la división que DevRev ha hecho en su arquitectura —modelo económico en la ruta de volumen, modelo costoso donde la respuesta es el producto— es una decisión de enrutamiento y no una segunda compra. En los pasos donde una llamada incorrecta a una herramienta resulta cara, el failover a un modelo más potente por solicitud marca la diferencia entre una tarde mala y una semana mala.

A screenshot of the OrcaRouter model page for openai/gpt-6.1-sol, dated 2026-09-29, showing a 1M-token context window, 128K maximum output, $2.00 input and $10.00 output per million tokens, a 937 ms median time to first token, an 8.99 s p95, and 382.0M tokens of seven-day traffic.

Por qué el modelo de gama media obtiene la ruta de producción

El instinto es leer esto como una historia de costos. En parte es una historia de latencia. GPT-6.1 Sol funciona con el razonamiento siempre activado en cinco niveles de esfuerzo, de bajo a máximo, con medio por defecto, y no acepta temperature ni top_p en absoluto. Eso elimina la perilla de ajuste a la que recurren la mayoría de los equipos cuando un agente parece lento, y deja el nivel de esfuerzo como regulador. Entre bajo y máximo, la diferencia en el tiempo hasta el primer token de respuesta se mide en minutos, no en milisegundos.

Las cifras independientes se sitúan donde uno esperaría para un modelo en esta categoría. En el Artificial Analysis Intelligence Index v5.0.1, GPT-6.1 Sol obtiene 55 con el máximo esfuerzo, a 56 tokens por segundo, 1,27 USD por tarea de índice completada y 63,7 millones de tokens de salida durante la ejecución. En nuestra propia telemetría de siete días, muestra un tiempo mediano hasta el primer token de 937 ms, una tasa de error del 5,7 % y 39,5 tokens por segundo de salida, que es el tipo de perfil sobre el que se puede construir un flujo de soporte: no es el modelo más rápido disponible, pero es lo bastante predecible como para dimensionar una cola en torno a él.

A screenshot of the Artificial Analysis page for GPT-6.1 Sol at max effort, showing an Intelligence Index of 55, an output speed of 56 tokens per second, 20.3 minutes per index task, $1.27 cost per index task, 63.7M output tokens, and list pricing of $2.00 input and $10.00 output per million tokens.

La ventana de contexto es la otra mitad de la elección. Con 1,050,000 tokens y un límite de salida de 128,000 tokens, un expediente, su historial y el conocimiento recuperado caben en una sola solicitud. Eso es lo que hace posible un agente que razona "a través de datos en vivo" sin una elaborada capa de fragmentación, y es la parte de la hoja de especificaciones de la que realmente depende una tasa de resolución del 70%.

¿Qué haría que esto se convirtiera en un caso de estudio?

Tres cosas harían que esto pasara de ser un logotipo en una página a evidencia sobre la que se pueda planificar. Una tasa de resolución publicada para Operator, sobre un conjunto de datos con nombre, con la tasa de escalado a humanos al lado. Una distribución de latencia en lugar de un promedio, porque el p95 es donde falla el autoservicio. Y una ablación de Sol frente a Astra en Enterprise-Bench, dado que DevRev ya posee el arnés y ya ha demostrado que publicará resultados cuando favorezcan su arquitectura.

Bashir señala dos cosas que quiere a continuación: la Decisions API, para las pequeñas decisiones de juicio que resultan costosas de codificar como reglas pero no necesitan razonamiento profundo, y Ultrafast, el nivel de velocidad 6× de OpenAI a $12.00 de entrada y $60.00 de salida por millón de tokens, adquirible desde el 8 de octubre. Ambas son intentos de comprar latencia sin comprar inteligencia, lo cual es el instinto correcto para una cola de soporte y lo contrario de lo que persigue la mayoría de las hojas de ruta de agentes.

El patrón que hay que observar no es DevRev en concreto. Es que el primer despliegue de producción con nombre de GPT-6.1 Sol colocó el modelo barato donde están los clientes y el modelo caro donde están los posibles clientes. Si eso se convierte en la forma habitual de una pila de agentes empresarial —un caballo de batalla en la ruta de volumen, un buque insignia para la demostración—, entonces la pregunta interesante para todos los proveedores deja de ser qué modelo es el más inteligente y pasa a ser con qué limpieza puedes trasladar una solicitud entre ellos.

Comparados en este artículo2

Detectado en este artículo · Benchmarks: Artificial Analysis · actualizado a diario