Una tarjeta de título generada encabezada por «La actualización en la que un número retrocedió», con el subtítulo «Microsoft-Decision-1.1 vs Microsoft Decision 1 — Índice de Decisión v2.1», con cuatro etiquetas que dicen «67.78 vs 62.07», «123 ms vs 274 ms», «49.4% vs 21.7% de abstención» y «6.29% vs 8.64% HLE», una leyenda que dice «con seis semanas de diferencia, el mismo precio por token», y dos bloques de barras grises etiquetados Velocidad y Conocimiento. El logotipo de OrcaRouter está compuesto en la esquina inferior derecha.
Guides & Insights

Microsoft-Decision-1.1 vs Microsoft Decision 1: la actualización en la que un número retrocedió

Autor

jinhao.song

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Todas las cifras publicadas de Microsoft-Decision-1.1 son mejores que las de Microsoft-Decision-1 excepto una, y la excepción es la parte interesante. En el Artificial Analysis Decision Index v2.1, el nuevo modelo obtiene 67,78 frente a 62,07, es 2,2 veces más rápido con 123 ms por tarea frente a 274 ms, y se abstiene de forma mucho más fiable: 49,4 % de no alucinación en AA-Omniscience-Decision frente a 21,7 %. Sin embargo, en las preguntas que el modelo antiguo acertaba, el nuevo acierta menos: 6,29 % de precisión bruta en HLE-MultiChoice v1.1 frente a 8,64 %, y el 47,5 % de las preguntas de AA-Symmetry respondidas de forma consistente frente al 51,7 %. Microsoft-Decision-1.1 no es un Microsoft-Decision-1 estrictamente mejor. Es uno calibrado de forma diferente, y la dirección de esa compensación es lo que determina una decisión de migración.

Los dos modelos están separados por seis semanas. Microsoft-Decision-1 alcanzó la disponibilidad general el 8 de octubre de 2026 como un modelo de puntuación solo de texto postentrenado a partir de Qwen3.5-9B. Microsoft-Decision-1.1 llegó el 17 de noviembre de 2026 en Ignite sobre Gemma 4 26B A4B, una base de mezcla de expertos que Microsoft describe como con suficientes parámetros activos para emitir juicios y, al mismo tiempo, lo bastante pequeña para servir en hardware A100, H100/200 y GB200/300. El mismo precio. El mismo límite de 32K. Los mismos tres tipos de preguntas. Una arquitectura troncal diferente, una clase de latencia diferente y un conjunto de fortalezas que difiere de forma medible.

El cambio del modelo base es la versión.

La versión 1 era un modelo denso de 9 mil millones de parámetros. La versión 1.1 es una mezcla de expertos de 26 mil millones de parámetros con aproximadamente 4 mil millones activos por token, si interpretas el sufijo A4B como lo usa Google en la línea Gemma. Eso no es un reentrenamiento incremental; es una arquitectura diferente, una familia diferente y un conjunto diferente de características de servicio. La publicación de lanzamiento de Microsoft deja claro que el cambio fue una decisión de costo e inteligencia, y lo combina con un motor de inferencia personalizado creado para puntuar en lugar de generar token por token.

Lo que el canje consiguió, en el orden en que lo notaría un comprador:

• Latencia — de 274,25 ms a 123,25 ms por tarea, medida en todo el índice. En el componente individual más rápido, When2Call, el nuevo modelo promedia 94 ms frente a los 230 ms del modelo anterior.

• Calibración: el Decision Score, que es la precisión con la penalización de Brier aplicada, aumentó en cada uno de los cinco componentes de decisión. Omniscience pasó de 54,89 a 60,46; HLE, de 39,42 a 46,11; Paperclip, de 51,82 a 58,67; EvalSafe, de 86,82 a 88,85; When2Call, de 87,95 a 95,08.

• Comportamiento de rechazo: la ausencia de alucinaciones en Omniscience aumentó más del doble, del 21,74 % al 49,40 %. En HLE pasó del 15,05 % al 38,36 %. Para un modelo cuyo único propósito es que se le aplique un umbral, este es el cambio más importante de la lista.

• Modalidad — las imágenes se sumaron al texto y al JSON como entradas aceptadas. El audio y el video siguen rechazándose, y el modelo sigue sin generar explicaciones, justificaciones ni tokens de salida.

• Contexto — sin cambios en 32.768 tokens. Aquí no se movió nada, y vale la pena decirlo sin rodeos porque "1.1" invita a suponer que todo mejoró.

Dónde 1.1 es peor, y por qué el propio enfoque de Microsoft lo predice

Las regresiones no son aleatorias. Se agrupan en los dos componentes que le piden al modelo saber algo en lugar de decidir algo.

En HLE-MultiChoice v1.1, la precisión bruta cayó del 8,64 % al 6,29 % —una caída relativa del 27 % en la proporción de preguntas difíciles respondidas correctamente. El Decision Score aun así subió, de 39,42 a 46,11, porque la confianza del modelo en las respuestas que sí dio pasó a estar mucho mejor ajustada a si esas respuestas eran correctas. Traducido: empeoró al adivinar y mejoró mucho al saber que estaba adivinando. La puntuación compuesta recompensa lo segundo y apenas nota lo primero.

En AA-Symmetry el panorama es más sutil y menos halagador. Symmetry mide si la misma pregunta, reformulada —opciones reordenadas, etiquetas intercambiadas, un sí/no negado— produce la misma respuesta con la misma probabilidad. La versión 1 superó el 51,7 % de las reformulaciones en el nivel de aprobación total; la versión 1.1 supera el 47,5 %. Su puntuación en Symmetry mejoró, no obstante, de 70,42 a 75,72, porque cuando se desvía, ahora se desvía menos. Menos ejecuciones perfectas, errores más pequeños. Es una forma defendible para un evaluador, pero supone una regresión en la única propiedad que se supone que debe garantizar un modelo de decisión: que la formulación no cambie la respuesta.

La presentación principal de Microsoft dijo en voz alta lo que normalmente se calla: estos modelos "explícitamente aún no están ajustados para los problemas más difíciles, como la investigación en ciencia fundamental y el trabajo agéntico de horizonte muy largo", porque ajustarlos para esas capacidades elevaría el precio de cada tarea rutinaria. La Decisión 1.1 es cómo se ve esa política cuando se ejecuta. El benchmark de conocimiento empeoró a propósito, o al menos sin objeciones.

A screenshot of the Artificial Analysis page for Microsoft-Decision-1, dated October 2026, headed 'Release, Decision Index Score, Performance & Price'. The summary states the model is below average on the Decision Index and somewhat expensive, notably slow, supports text input only and carries a 33k-token context window. It scores 62 against a board median of 66, runs at 274 ms per task against a 206 ms median, prices at $0.042 per million input tokens and costs about $143 per million tasks, ranked 20 of 25 on cost. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Lo que no cambió: la tarjeta de precios y el muro de 32K

Ambas versiones indican $0.042 por millón de tokens de entrada en Global Standard, $0.046 en US Data Zone y $0.05 en las implementaciones de EU Data Zone y APAC Data Zone, con la salida facturada a cero porque no hay salida. La frase de Microsoft es «más del doble de rápido al mismo coste», y el precio por token lo respalda exactamente.

El coste medido por tarea dice algo ligeramente distinto. La versión 1 llega a $142,56 por millón de tareas en el índice; la versión 1.1, a $139,64. Una mejora del 2 %, no el doble. La razón es que el coste por tarea es el precio del token multiplicado por la entrada consumida, y el nuevo modelo no consume la mitad de los tokens: responde en la mitad del tiempo. Si tu restricción es un presupuesto de tiempo de reloj o un paso de enrutamiento dentro de la ruta de una solicitud, la mejora es grande y obvia. Si tu restricción es el gasto, la 1.1 no cambia tu factura, y Microsoft nunca afirmó que lo haría.

La otra cifra que no ha cambiado es el límite máximo. Ambos modelos admiten 32,768 tokens, y la documentación de Microsoft para 1.1 repite casi literalmente la frase «entradas de hasta 32K tokens» de la página de la v1. No se documenta compatibilidad con caché para ninguno de los dos, lo que significa que una rúbrica de 200 preguntas se paga por completo en cada llamada, en ambas versiones, en todos los niveles de volumen. Esa es la mayor palanca única sobre la economía de esta categoría y ninguna de las dos versiones la toca.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — the scoreboard'. The 1.1 column reads Decision Index 67.78, speed per task 123 ms, non-hallucination 49.4%, HLE accuracy 6.29%, symmetry pass rate 47.5% and context 32,768 tokens. The Decision 1 column reads Decision Index 62.07, speed per task 274 ms, non-hallucination 21.7%, HLE accuracy 8.64%, symmetry pass rate 51.7% and context 32,768 tokens. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Cómo migrar sin un salto de fe

La forma de la API es lo bastante estable como para que la migración sea en su mayor parte configuración, pero no del todo. Microsoft documenta la llamada v1.1 como un estado más un mapa de preguntas tipadas — noul, choice, score — enviado a /providers/microsoft/v1/systemone en un recurso de Foundry, con el campo model que contiene el nombre de tu implementación en lugar del nombre del modelo. La respuesta devuelve el modelo subyacente, así que una implementación nombrada según tu carga de trabajo puede seguir diciéndote qué versión respondió.

Tres pasos que conviene seguir en orden, en lugar de cambiar el nombre del despliegue y mirar un panel de control:

1. Vuelve a registrar la distribución de confianza de tu conjunto etiquetado, no su exactitud. El cambio del 21,7 % al 49,4 % de no alucinación significa que 1.1 rechazará una proporción sustancialmente mayor de preguntas con el mismo umbral. Si tu canalización trata una respuesta ausente como un fallo grave en lugar de como una señal de enrutamiento, esta actualización parecerá una regresión en producción mientras todos los benchmarks dicen que es una mejora.

2. Vuelve a ajustar el umbral. Un punto de corte elegido según la escala de confianza de la versión 1 se está aplicando a una distribución que ha cambiado. La propia recomendación de Microsoft es validar los umbrales con ejemplos etiquetados antes de automatizar una puerta de control, que es el mismo consejo de siempre y ahora resulta determinante.

3. Prueba la regresión de simetría con tu propia formulación. Si tus prompts se generan a partir de plantillas con un orden variable de opciones —y la mayoría de los prompts de enrutamiento lo son—, la tasa de aprobación total del 47,5 % es la cifra que debe preocuparte, no el compuesto. Duplica veinte de tus preguntas con las opciones reordenadas y mide con qué frecuencia se desplaza el argmax.

Lo que hace que ese tercer paso sea barato es que la abstención tiene adónde ir. Un modelo de decisión que se abstiene solo es útil si aquello a lo que cede puede responder, y esa es la parte del pipeline de la que se encarga OrcaRouter: una única clave para más de 200 modelos con conmutación automática por error, de modo que un resultado de la elección con baja confianza puede enrutarse a un modelo general en lugar de avisar a una persona, y el DSL de enrutamiento puede combinar los dos en una única secuencia de llamadas. Gemma 4 26B A4B —el modelo base dentro de Decision 1.1— está en nuestro catálogo a $0,06 por millón de entrada y $0,33 por millón de salida, al precio de lista del proveedor con un 0 % de margen aplicado, lo que hace que la comprobación de cordura más barata posible ante cualquier decisión sospechosa sea una llamada real a su propio modelo base.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Si mudarse o no

Hay argumentos para quedarse en la versión 1, y son limitados pero reales. Si tu carga de trabajo consiste en preguntas de conocimiento difíciles en las que una respuesta incorrecta es peor que ninguna respuesta —el perfil HLE—, la versión 1 respondió más de ellas. Si tus prompts están plantillados de forma que reordenan las opciones, la versión 1 era más estable ante reformulaciones. Y si ya has ajustado un umbral y lo has validado con datos de producción etiquetados, la nueva distribución de confianza invalida ese trabajo.

Para todos los demás, el caso está claro. El doble de rendimiento al mismo precio por token, una tasa de aprobación de documentos que pasó del 20,9 % al 36,8 %, entrada de imágenes que antes no existía y un modelo que dice «no lo sé» el doble de a menudo justo en las situaciones en las que un compromiso equivocado resulta caro. Esas son las propiedades por las que se compra una capa de decisión. La prueba de conocimientos de la que prescindió no era lo que nadie compraba este modelo para hacer.

La migración, en una línea: pásate a la 1.1 por la latencia y la abstención, vuelve a ajustar tus umbrales esa misma semana y guarda los números de la versión 1 en un cajón para el día en que alguien pregunte por qué el nuevo modelo dejó de responder a una pregunta que el antiguo solía aceptar.