Una tarjeta de título generada con el encabezado 'MAI Decision 1 vs Nimble v3' y el subtítulo 'un evaluador alojado frente a una licencia que no puedes distribuir', dividida en dos paneles redondeados alrededor de un disco 'vs'. El panel izquierdo, 'Microsoft-Decision-1.1', lleva la sublínea 'alojado, por token' y las filas '$0.042 por M de tokens', 'endpoint de Foundry', '67.78 en AA v2.1' y 'términos de uso'; el panel derecho, 'Bespoke-Nimble-9B-v3', lleva 'adaptador descargable', 'CC BY-NC 4.0', 'LoRA de cinco archivos', '56.88 en DI 0.2.1' y 'tu propia GPU'. Un pie de página dice: 'Las dos puntuaciones publicadas provienen de kits de evaluación diferentes, por lo que no son comparables.' El logotipo de OrcaRouter está integrado en la franja blanca debajo de la ilustración.
Engineering & Research

MAI Decision 1 vs Nimble v3: un evaluador alojado frente a una licencia que no puedes distribuir

Autor

jinhao.song

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Lo primero que separa MAI Decision 1 — el modelo que Microsoft lanzó en Ignite como Microsoft-Decision-1.1 — de Nimble v3, registrado en Hugging Face como Bespoke-Nimble-9B-v3, no es un benchmark. Es una cláusula de licencia. Nimble v3 es un adaptador LoRA publicado bajo CC BY-NC 4.0, que la ficha del modelo describe como «no puede utilizarse con fines comerciales». El modelo de Microsoft es un endpoint alojado que se alquila por token, así que la cuestión de la licencia nunca surge y la del autoalojamiento tampoco. Uno de estos se puede poner en un producto; el otro, en un cuaderno. Todo lo demás en esta comparación se deriva de esa bifurcación, incluido por qué sus puntuaciones publicadas no deberían restarse entre sí.

Qué es cada uno en realidad, mecánicamente

Microsoft-Decision-1.1 es una implementación de Foundry, en funcionamiento desde el 17 de noviembre de 2026, entrenada posteriormente por Microsoft sobre Gemma 4 26B-A4B. Usted envía un estado y preguntas escritas a un endpoint de decisión, recibe probabilidades calibradas como respuesta y se le factura $0.042 por millón de tokens de entrada en Global Standard o $0.05 en las zonas de datos de la UE y APAC. No hay descarga, ni vía de ajuste fino, ni opción de autoalojamiento en la ficha del modelo. La latencia es de 123 ms por tarea según la medición de Artificial Analysis; el contexto es de 32.768 tokens de entrada; lee imágenes además de texto.

Nimble v3 es un adaptador PEFT de cinco archivos para Qwen3.5-9B, subido el 30 de septiembre de 2026 sin ningún anuncio, entrada de blog ni nota de lanzamiento por parte de Bespoke Labs. El repositorio contiene un README, una configuración del adaptador, los pesos del adaptador, una configuración de esquema y un archivo gitattributes; esa es la lista completa. El modelo base, el motor de inferencia y la GPU los aportas tú. El repositorio de datasets complementario contiene la ejecución completa de Decision Index, el motor y las instrucciones de reproducción, lo que supone más transparencia de la que ofrecen la mayoría de los proveedores y también más trabajo del que esperan la mayoría de los compradores.

• Pesos — solo alojados, sin descarga frente a un adaptador BF16 de 20 GB que ensamblas sobre Qwen3.5-9B

• Licencia — términos de servicio de Microsoft frente a CC BY-NC 4.0, no comercial, con una base Apache 2.0 que no relaja la restricción del adaptador

• Interfaz — un endpoint de decisión con preguntas tipadas y probabilidades frente a tu propio código de inferencia, vinculado a archivos de prompt y tokens de código de opción mediante hash

• Contexto — 32,768 tokens frente a 32,768 tokens, con las solicitudes demasiado grandes rechazadas en lugar de truncadas

• Imágenes — hasta 8 por pregunta, de 280 a 1.568 píxeles por lado frente a solo texto

• Precio — $0.042 por millón de tokens, solo de entrada, frente a hardware, electricidad y un ingeniero

• Puntuación publicada: 67,78 en AA Decision Index v2.1 frente a 56,88 en Decision Index 0.2.1.

A screenshot of the Hugging Face model card for Bespoke-Nimble-9B-v3, showing the bespokelabs organisation, 15 likes, the PEFT and Safetensors tags, the license: cc-by-nc-4.0 badge, the card text describing the model as a LoRA adapter for Qwen/Qwen3.5-9B that returns a probability for each option, the line 'Decision Index 0.2.1: 56.88' with the pointer to the bespokelabs decision-index repository, and the licence paragraph stating it may not be used for commercial purposes while the base model is Apache 2.0.

Los dos números no están en la misma regla.

Ese último punto es el que se usa de forma abusiva en las publicaciones comparativas, así que vale la pena ser tajante: 56.88 y 67.78 no son comparables. La cifra de Nimble v3 proviene de Decision Index 0.2.1, el kit abierto que Bespoke Labs ejecuta por su cuenta, con su propio arnés y su propia implementación de referencia. El 67.78 de Microsoft proviene de Artificial Analysis Decision Index v2.1, una composición distinta de evaluaciones con pesos diferentes, una función de puntuación diferente y un conjunto diferente de modelos en el campo.

Ambos tableros miden la misma familia de comportamientos: eliges entre opciones acotadas y se te puntúa según la precisión, descontando en función de cuánto falló tu confianza declarada. Pero un compuesto ponderado de seis evaluaciones con un término de simetría no es el mismo instrumento que una ejecución de un kit público, y restar uno del otro produce una «brecha» de 10,9 puntos que es, en su mayor parte, una diferencia de varas de medir. Quien te muestre esa resta es descuidado o te está vendiendo algo.

Lo que se puede decir sin exagerar es direccional. La propia tarjeta de Nimble v3 reporta un solo número y ningún desglose, en una familia cuyo checkpoint anterior publicó una tabla mucho más completa: 90.12% de concordancia con las etiquetas de referencia frente a 93.21% de Jev 1.13.0 en 324 pares contrastivos retenidos, y 75.7% frente a 76.0% en 3,880 decisiones etiquetadas por humanos en trece conjuntos de datos públicos. Esos son los números del primer Nimble, no los de v3, y el proyecto los etiqueta como sus propias mediciones. Decision 1.1, por el contrario, presenta un 67.78 independiente con seis subpuntuaciones publicadas y un Brier de 0.160 en un tablero que también clasifica a sus competidores de la misma manera. Si necesitas un número que puedas defender en una revisión de adquisiciones, solo uno de estos te lo da.

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Nimble v3 — the scoreboard'. The Microsoft-Decision-1.1 column reads Licence Microsoft service terms, Weights hosted only, Deployment Foundry endpoint, Images up to 8 per question, Published score 67.78 on AA v2.1, Price $0.042 per M tokens; the Nimble v3 column reads CC BY-NC 4.0, 20 GB adapter, your own GPU stack, text only, 56.88 on DI 0.2.1, hardware and electricity. The footer reads 'Nimble v3 figures per Bespoke Labs' model card; Decision 1.1 per Artificial Analysis.' The OrcaRouter logo is composited in the white strip below the artwork.

La licencia lo decide todo, y es peor de lo que parece.

CC BY-NC 4.0 en el adaptador significa que no se permite el uso comercial. Eso no es una zona gris sobre la que se pueda razonar, y el truco obvio no funciona: el modelo base, Qwen3.5-9B, es Apache 2.0, y la ficha de Bespoke lo dice explícitamente, pero una base permisiva no flexibiliza un adaptador no comercial, y el adaptador es donde reside el comportamiento de decisión. Quita el adaptador y tendrás un modelo general de 9B que no es un modelo de decisión en absoluto.

Hay un segundo problema del que se habla menos. El repositorio de GitHub del proyecto Nimble no informa licencia alguna a través de la API, lo que significa que el código de entrenamiento y curaduría tampoco tiene términos declarados. Si tu equipo legal pregunta qué puedes hacer con el pipeline que produjo los pesos, la respuesta es que el proyecto no se ha pronunciado.

Contrasta eso con el modelo de Microsoft: no puedes descargarlo, así que no puedes hacer un fork, pero tampoco puedes construir accidentalmente un producto sobre una licencia que prohíbe el producto. Para un equipo que decide entre ambos, el planteamiento práctico es que uno es una compra y el otro es un artefacto de investigación. Si la carga de trabajo es comercial, la comparación termina aquí y el modelo alojado gana por defecto. Si no lo es —un arnés de evaluación interno, un estudio académico, un prototipo que piensas reemplazar—, entonces el adaptador es realmente interesante y su huella de 20 GB significa que se ejecuta en una sola GPU que puede que ya tengas.

Realidad de implementación en cada lado

Ejecutar Nimble v3 correctamente no es cuestión de cargar el adaptador y conversar con él. La tarjeta del conjunto de datos dice explícitamente que el motor construye las indicaciones que su configuración de esquema fija por hash y lee cada solicitud con el patrón de atención con el que se entrenó el modelo; cargar los pesos como un modelo de chat común, o generar texto, no reproduce sus respuestas. El motor se niega a cargar si los archivos de indicaciones o los tokens de código de opción difieren del entrenamiento. Necesitará CUDA, BF16, torch 2.8, transformers 5.17.0, peft y dos kernels de atención, y las solicitudes que superan el límite de contexto se rechazan en lugar de acortarse.

Eso es un compromiso real de ingeniería y te ofrece algo que el modelo alojado no puede: la capacidad de funcionar sin salida de red, en tu propio hardware, con la opción de inspeccionar cada prompt. Para entornos regulados en los que una llamada al modelo no puede salir del edificio, es el único de los dos que siquiera es candidato —y la licencia no comercial aún podría descartarlo, que es la trampa.

En el lado de Microsoft, el costo es distinto y menor. Una implementación de Foundry, un endpoint, un nombre de implementación, una clave o un token de Entra. Coloca el recurso de Foundry junto con tu aplicación si la latencia importa; usa una implementación de zona de datos si la inferencia tiene que permanecer en la región, a $0.05 por millón de tokens en lugar de $0.042. Tu integración es una llamada HTTPS con un cuerpo JSON, y la forma de la respuesta son probabilidades a las que les aplicas un umbral.

• Tiempo hasta la primera llamada — menos de una hora en Foundry frente a una configuración de GPU, una cadena de herramientas fijada y una ejecución de reproducción

• Modo de fallo — un límite de velocidad o una caída de región frente a un CUDA OOM o un desajuste de versión del kernel

• Ruta de actualización — ninguna, el proveedor publica una nueva versión frente a una nueva etiqueta de adaptador que puedes fijar o ignorar

• Vía de salida — ninguna, solo en modalidad alojada, frente a que los pesos permanezcan donde están, sujeto a la licencia

Donde el sucesor complica la historia

Nimble v3 no es el modelo actual de Bespoke Labs, y eso importa a cualquiera que lo evalúe ahora. Nimble-v4-max, subido el 3 de noviembre de 2026, es un ajuste fino completo de Qwen3.8-27B en lugar de un adaptador, publicado con un historial de etiquetas y una tabla de benchmarks: 72,74 en Decision Index 0.3 público, frente a 68,46 en la v4.0, en 43 benchmarks cuyas puntuaciones por benchmark se incluyen en un archivo JSON. Necesita unos 55 GB en BF16 y una GPU de 80 GB. También es CC BY-NC 4.0.

Así que la lectura honesta sobre Nimble v3 hoy es que es la generación anterior de una línea que ya ha avanzado dos veces, y su única puntuación publicada corresponde a una versión del kit que el modelo actual ha dejado atrás. Comparar el buque insignia alojado de un proveedor, de hace tres semanas, con un adaptador subido discretamente y con dos revisiones de antigüedad no es una comparación justa en ninguno de los dos ejes. La cuestión del producto es genuinamente Microsoft-Decision-1.1 frente a Nimble-v4-max, e incluso ahí la respuesta sobre la licencia no cambia.

Una clave, cuando aún estás decidiendo

Ninguno de los dos modelos está en el catálogo de OrcaRouter, y este artículo no va a sugerir lo contrario: Microsoft-Decision-1.1 es exclusivo de Foundry, y un adaptador CC BY-NC no es algo que un router comercial pueda ofrecer. Lo que sí incluye el catálogo es el vecindario, que es donde en realidad comienzan la mayoría de las evaluaciones.

El vecindario sigue siendo útil, porque ambos lados de este enfrentamiento se definen contra el mismo rival. Jev 1.14 es ese rival: Microsoft-Decision-1.1 le saca 1,55 puntos de ventaja en la tabla independiente, y el checkpoint anterior de Bespoke se midió contra Jev 1.13.0 en su propio README. Jev 1.14 responde a $0,042 por millón de tokens de entrada y salida. La base Gemma 4 26B A4B, sobre la que Microsoft hizo el post-entrenamiento, se puede enrutar a $0,25 por millón de entrada y $2,90 de salida. Pon a Jev y a un modelo general sobre tu propio tráfico etiquetado detrás de un único endpoint, con conmutación por error automática, y en una tarde sabrás si un modelo de decisión se gana su lugar en la ruta, antes de un ciclo de compras y antes de comprar una GPU. Si se lo gana, el router se queda delante del modelo de decisión que despliegues, de modo que el límite de peticiones de un proveedor sea un reencaminamiento y no un incidente.

A screenshot of the OrcaRouter model page for typesafe/jev-1.14, showing the OrcaRouter navigation, the models breadcrumb for the typesafe vendor, the model name typesafe/jev-1.14, HF and ZDR badges, a Data retention panel describing Zero Data Retention, and the page's Code samples, Pricing, Performance, Public benchmarks and How it compares sections.

Lo que ese marco de pruebas no te dirá es cómo se comporta Decision 1.1 en sí con tus datos. Para eso necesitas un despliegue de Foundry y tus propias etiquetas, y no hay atajos para el etiquetado.

Cómo elegir

Elija Microsoft-Decision-1.1 si la carga de trabajo es comercial, si desea una puntuación calibrada que pueda presentar ante un panel independiente, si necesita entrada de imágenes o si prefiere alquilar 123 ms en lugar de tener su propia canalización de GPU. Eso abarca a la mayoría de los equipos.

Considera Nimble v3 solo si se cumplen estas tres condiciones: el uso es no comercial, la llamada al modelo no puede salir de tu infraestructura y estás dispuesto a ejecutar el motor propio del proyecto en lugar de un cargador genérico. Si alguna falla, la licencia o la ingeniería ya han tomado la decisión por ti — y si hoy vas a elegir un Nimble, mira primero Nimble-v4-max, porque la única puntuación publicada de v3 es el dato más antiguo de la comparación.

A lo que hay que resistirse es a la tabla ordenada. Un 56,88 frente a un 67,78 parece un veredicto y no lo es; son dos kits diferentes, dos edades diferentes y dos licencias diferentes disfrazados de carrera de caballos. El modelo que se entrega con tu producto es el alojado, y el modelo que se ejecuta en tu laboratorio es el abierto: esa es la verdadera división, y ningún benchmark la mueve.