SubQ Snap 1.1 empata en el primer lugar del Decision Index al aprender a abstenerse

El modelo más reciente en lo más alto del Artificial Analysis Decision Index v1.0 no es el que más respuestas correctas consigue. SubQ Snap 1.1, publicado por Subquadratic el 22 de octubre de 2026, obtuvo 65 puntos y empató con d1-ultra y Elephant 9B en el primer puesto. Jev 1.14 se sitúa en 57. Lea la letra pequeña que aparece debajo del índice y el motivo del empate no es en absoluto la exactitud bruta: el informe de Artificial Analysis sitúa la exactitud de Snap 1.1 en el 20 %, frente al 32 % de d1-ultra y el 12 % de Elephant 9B. Lo que Snap 1.1 hace mejor que cualquiera de los dos es negarse a responder.

Ese es un resultado de ingeniería real, no un truco de benchmark, pero cambia a quién debería importarle. Un modelo de decisión no es un modelo de chat. Toma un documento y un conjunto fijo de respuestas permitidas —enrutar a esta cola o a aquella, llamar a esta herramienta o rechazarlo, sí o no o escalar— y devuelve una elección con una probabilidad calibrada asociada. La propuesta de Subquadratic desde que la vista previa se lanzó diez días antes ha sido que esta carga de trabajo merece su propia arquitectura en lugar de un LLM general quemando tokens de salida para producir la palabra "reembolso". La versión 1.1 es la primera entrega en la que la afirmación sobre la calibración es lo bastante concreta como para verificarla.

¿Qué cambió realmente entre Snap 1.0 y 1.1?

Esta es una versión de postentrenamiento, no un modelo nuevo. El backbone Subquadratic Sparse Attention, la ventana de 384K tokens y la ruta de entrada de texto e imagen siguen sin cambios respecto de Snap 1.0, que se lanzó el 12 de octubre a 0,05 USD por millón de tokens de entrada. Lo que cambió es cómo se comporta el modelo cuando tiene incertidumbre: el proveedor afirma que 1.1 añade una calibración explícita de la incertidumbre y destila el razonamiento de varios pasos en una sola pasada hacia adelante, en lugar de generar una cadena de pensamiento y después decantarse por una respuesta.

Las cifras que Subquadratic reporta para ese cambio son inusualmente específicas, lo que es tanto bueno como digno de escrutinio. El error de calibración esperado en benchmarks de probabilidad con datos reservados cayó de 0,108 a 0,014. Los errores con alta confianza en preguntas no respondibles bajaron de 294 de 600 a 57 de 600 — la reducción del 81% que la cobertura del lanzamiento sigue citando. Las alucinaciones con exceso de confianza en entradas fuera de distribución cayeron del 99,3% al 12,5%. La concordancia con una regla de decisión óptima de Bayes subió del 83% al 90%. En la suite empresarial de 16 benchmarks del proveedor, el 1.1 promedia 7,2 puntos por encima de Jev 1.14 con un intervalo de confianza del 95% de 6,5 a 7,8, ganando 12, empatando 3 y perdiendo 1, y promedia 5,5 puntos por encima de Snap 1.0.

Todo eso lo reporta el proveedor. Nadie fuera de Subquadratic ha publicado todavía una ejecución de 1.1; los repositorios independientes que existen probaron el modelo de vista previa, y se comentan más abajo.

Cómo un modelo con un 20% de precisión empata en el primer lugar

El Decision Index no puntúa la precisión de forma aislada. Puntúa el resultado de una decisión en condiciones de incertidumbre, lo que significa que una abstención ante una pregunta que el modelo no puede responder vale más que una conjetura con confianza —y mucho más que una conjetura errónea con confianza—. Artificial Analysis informa que la tasa de no alucinación de Snap 1.1, es decir, la frecuencia con la que dijo «no lo sé» ante preguntas que no podía responder correctamente, es del 86 %. Elephant 9B es mayor, del 93 %, y d1-ultra es marginalmente menor, del 85 %. La precisión del 20 % de Snap 1.1 es la intermedia de ese trío, y su puntuación en el índice es idéntica a la de ambos.

Que ese intercambio sea el adecuado depende por completo de cuánto te cuesta aguas abajo una respuesta incorrecta. En un enrutador de tickets de soporte, una derivación errónea y segura envía una reclamación de facturación a la cola de ingeniería y un cliente espera dos días; una abstención lo envía a un paso de triaje humano que cuesta treinta segundos. En una tarea de clasificación masiva de contenido sin intervención humana, la abstención no es más que una fila sin etiquetar y el número de precisión es el que importa. El índice te dice que Snap 1.1 está diseñado para el primer caso. No te dice que sea el clasificador más preciso que puedas comprar, porque no lo es.

El recorte de precios, y el denominador que nadie cita

El otro cambio en 1.1 es el precio: $0.04 por millón de tokens de entrada, un 20% menos que los $0.05 de la vista previa, y los tokens de salida son gratuitos. Esa segunda mitad es la parte que redefine la factura. Un clasificador construido sobre un modelo generativo paga por la respuesta —normalmente una corta, pero los modelos de razonamiento pueden gastar cientos de tokens decidiendo qué emitir—. Snap no tiene salida que pagar, así que una llamada que lee 100K tokens cuesta aproximadamente cuatro décimas de centavo y nada más.

Artificial Analysis presenta la misma cifra por tarea en lugar de por token: unos 30 USD por millón de tareas para Snap 1.1, frente a 32 USD para d1-ultra y 8,4 USD para Elephant 9B. Esa cifra por tarea es la útil, y también es un recordatorio de que el precio de lista por token es una mala forma de comparar un modelo de decisión con cualquier otra cosa. La factura escala con la longitud de la entrada, por lo que una llamada de enrutamiento de 4K tokens y una revisión de contrato de 300K tokens quedan en rangos de coste completamente distintos aunque la tarifa sea idéntica.

Lo que las cifras del proveedor no resuelven

Hay dos cosas que conviene mantener separadas del post de lanzamiento. La primera es el escepticismo. La cobertura de la comunidad sobre los lanzamientos de Subquadratic —incluido el reportaje de BlockBeats que circuló como «AI jack-of-all-trades»— ha cuestionado qué parte del conjunto de afirmaciones es reproducible de forma independiente, y el modelo no tiene pesos abiertos, por lo que no hay ningún checkpoint que alguien de fuera pueda ejecutar. La segunda es que las pruebas independientes que existen se hicieron contra la preview, no contra la 1.1. Una comparación reproducible de jcarlosrodicio encontró que Snap estaba ligeramente por detrás de Jev por debajo de 30K tokens (93,9 % frente a 94,7 %) y muy por detrás en logs de 360K tokens (58,8 % frente al 77,1 % de Jev cuando Jev se fragmentó). Un benchmark independiente de ingeniería de software, snap-vs-jev-swe, encontró que Snap alcanzaba el 87,5 % en localización de archivos de SWE-bench Verified frente a una línea base aleatoria del 10,6 %, y midió cambios de respuesta en el 5,0 % de los elementos cuando se invertía el orden de las opciones.

Esos resultados no contradicen a 1.1 —el trabajo de calibración es exactamente el tipo de cambio que los haría variar—, pero tampoco son evidencia a su favor. También hay una pequeña inconsistencia interna en las cifras publicadas: la cobertura de lanzamiento cita una puntuación de 96.2 en When2Call, mientras que la propia variante de opción múltiple corregida por azar de Subquadratic para el mismo benchmark marca 91.0. Ambas pueden ser ciertas para formatos de tarea distintos; un comprador que compare el 96.2 con la cifra de un competidor debería saber qué variante está consultando.

Dónde se rompe

La columna de pérdidas de la propia suite de 16 benchmarks del proveedor es instructiva. PhishNChips, un conjunto de detección de phishing, queda 22 puntos por detrás de Jev 1.14, y Subquadratic lo atribuye a la calibración del umbral y no a la calidad del ranking: ROC-AUC está aproximadamente igual, 0.91 frente a 0.92. Es un problema solucionable para un equipo dispuesto a ajustar un umbral, e insalvable para un equipo que quería una solución lista para usar. La subárea de conocimiento y razonamiento es la única de cinco en la que Jev lidera de forma clara, 55.1 frente a 50.9. Snap 1.1 es más fuerte donde el conjunto de respuestas es explícito y la evidencia está en el documento: herramientas y automatización (85.3 frente a 74.6), recuperación y clasificación (67.0 frente a 63.1), comprensión del lenguaje (71.6 frente a 63.3).

Quién debería moverse, y quién debería esperar

Pásate si tu decisión es una llamada de enrutamiento, selección de herramientas, escalado o relevancia realizada sobre documentos largos, y una respuesta incorrecta con seguridad cuesta más que un escalado. La ventana de 384K es la razón operativa: una sola pasada sobre un contrato completo, un hilo de tickets o un paquete de registros, sin una capa de fragmentación que construir y sin un pipeline de recuperación que mantener sincronizado. Los equipos que ya ejecutan la vista previa tienen el caso más claro, ya que el precio bajó y la calibración mejoró sin un cambio en la API.

Espera si necesitas texto generado, si el 20 % de precisión en la mezcla de preguntas del benchmark está por debajo de tu umbral, o si necesitas una latencia inferior a 100 ms en una ruta crítica — Subquadratic no publica ninguna cifra de latencia para 1.1, y la medición de terceros de la vista previa situó una llamada de 8K tokens en alrededor de 0,75 segundos. Espera también si necesitas autohospedarte: no hay pesos.

Una nota práctica sobre dónde encaja esto en una pila. SubQ Snap 1.1 se ofrece a través de la propia API y consola de Subquadratic; no está en el catálogo de OrcaRouter, y no vamos a fingir lo contrario. Lo que sí ofrecemos es la capa que hay detrás de la decisión: cuando Snap resuelve una llamada para «usar un modelo», ese modelo es uno de los más de 200 a los que se puede acceder con una sola clave en OrcaRouter, al precio de lista del proveedor con un 0 % de margen y con conmutación por error automática entre proveedores. La capa de decisión y la capa de ejecución fallan de forma independiente, y vale la pena no tener ambas detrás del mismo proveedor.

La cuestión abierta no es si los números de calibración de 1.1 son reales —son lo bastante específicos como para que se vayan a comprobar—, sino si sobreviven a un sistema de evaluación distinto. La formulación del prompt hizo variar la precisión entre 11 y 14 puntos en los benchmarks públicos de Snap, más que la diferencia entre dos modelos cualesquiera del índice. Una mejora de calibración que solo se sostuviera con la propia plantilla de prompt del proveedor sería algo mucho menor de lo que sugiere el lanzamiento.