Una comparación de dos tarjetas generada, encabezada por «UserRepGen-4B vs Intern-Decision-4B: misma base, salidas opuestas», sobre el titular «Ambos son Qwen3.5-4B con ajuste fino. Ninguno escribe el mismo tipo de texto.» La tarjeta izquierda, UserRepGen-4B, enumera: lanzado discretamente el 14 de octubre de 2026; devuelve JSON de task y user_behavior; generación de hasta 1.024 tokens; matemáticas publicadas: ninguna; límite de entrada: 8.192 tokens de prompt; anuncio: ninguno. La tarjeta derecha, Intern-Decision-4B, enumera: lanzado discretamente el 26 de septiembre de 2026; devuelve una probabilidad por opción; generación: ninguna en una sola pasada hacia delante; matemáticas publicadas: Brier 0,347 y ECE 0,065; límite de entrada: rechaza por encima de 8.192; anuncio: ninguno. Un pie de página dice: «Ambos conjuntos de cifras son de los propios proveedores.» El logotipo de OrcaRouter está compuesto en la esquina inferior derecha.
Engineering & Research

UserRepGen-4B vs Intern-Decision-4B: Dos equipos ajustaron el mismo modelo base de 4B y no coincidieron en nada

Autor

Magnus Corvin

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

Dos lanzamientos discretos, con cinco semanas de diferencia, que se ramifican desde el mismo checkpoint. microsoft/UserRepGen-4B se publicó en Hugging Face el 14 de octubre de 2026 como un repositorio de 9,1 GB en bfloat16 sin ningún anuncio; internlm/Intern-Decision-4B apareció el 26 de septiembre de 2026 a las 05:36:37 UTC dentro de una ventana de cuarenta segundos que también produjo un 0,8B y un 2B, igualmente sin anuncio. Ambos son ajustes finos LoRA de Qwen3.5-4B, ambos son solo texto a pesar de llevar una torre de visión que nunca usan, ambos devuelven una estructura rígida en lugar de una respuesta — y no podrían estar más en desacuerdo sobre para qué sirve el modelo. Intern-Decision-4B nunca escribe un token. UserRepGen-4B no escribe nada más que tokens. Todo lo demás en esta comparación se deriva de esa única división.

Uno es un anotador, el otro es un escritor.

La tarjeta de InternLM es inusualmente directa sobre su propia mecánica: «Esta API realiza una puntuación estructurada de candidatos. No llama a generate() ni muestrea texto de forma libre». Le entregas un estado, un esquema de preguntas con nombre y un conjunto de respuestas candidatas. Asigna las opciones a símbolos de un solo token, ejecuta una única pasada forward causal, lee los logits en la posición inmediatamente anterior a cada marcador de posición, aplica una temperatura ajustada de 1.99241824 y devuelve una probabilidad calibrada por opción. Una pasada. Sin muestreo, sin bucle de decodificación, sin texto.

UserRepGen-4B lo invierte. Le entregas una conversación completada. Emite hasta 1,024 tokens de prosa en dos campos JSON —una descripción de tarea y una descripción de comportamiento de usuario— y la tarjeta es igualmente directa en la otra dirección: el modelo "genera representaciones, no turnos de usuario simulados", no ejecuta la tarea del usuario y no es el simulador.

Pon los dos uno al lado del otro y las consecuencias de ingeniería se desprenden de inmediato.

• Lo que vale la salida — Intern-Decision-4B devuelve un número que se puede umbralizar, promediar y auditar. UserRepGen-4B devuelve un párrafo cuya calidad solo puede puntuar un juez LLM, que es exactamente como Microsoft lo evaluó.

• Costo por llamada — una pasada hacia adelante sobre un prompt fijo en comparación con hasta 1.024 tokens generados. Esa es la diferencia entre aproximadamente 44 milisegundos y una ejecución completa de decodificación, y es la razón por la que el modelo de decisión puede estar dentro de un bucle en el que el modelo de representación no puede.

• Dónde reside el significado — InternLM decidió que la respuesta ya debería ser enumerable en el prompt, así que el modelo solo tiene que clasificar. Microsoft decidió que la respuesta está latente en una conversación, así que el modelo tiene que escribirlo. El ranking es acotado y verificable. La escritura es abierta y necesita un juez.

A generated two-column scoreboard headed "UserRepGen-4B vs Intern-Decision-4B - the scoreboard", titled "A scorer and a writer, from one checkpoint". The UserRepGen-4B column reads: output type two-field JSON prose; decoding up to 1,024 new tokens; calibration not published; latency claim not published; input limit 8,192 prompt tokens; eval scale 1-10 LLM judge. The Intern-Decision-4B column reads: output type calibrated distribution; decoding none, one forward pass; calibration Brier 0.347 and ECE 0.065; latency claim 44.16 ms mean on an RTX 4090; input limit refuses above 8,192; eval scale seven suites with a 90.02 average. A footer reads "Vendor-reported; no independent evaluation of either." The OrcaRouter logo is composited bottom-right.

Los techos de entrada, y lo que te dicen sobre las apuestas

Ambas tarjetas publican un límite estricto, y compararlas es la forma más rápida de ver cuán diferente delimitaron los dos equipos el mismo modelo base.

Intern-Decision-4B rechaza el trabajo por encima de 8.192 tokens. Eso es un rechazo, no un truncamiento: una decisión de diseño que dice que el modelo es para decisiones lo bastante compactas como para expresarse por completo en un prompt.

UserRepGen-4B se entrena con una secuencia de 9.216 tokens: hasta 8.192 tokens de prompt que abarcan la conversación, más 1.024 tokens de finalización para la representación. La ficha añade que el uso de contexto extendido más allá de esa longitud «no es compatible con esta versión», y que el rendimiento con contextos largos nunca se evaluó por separado. Así que el mismo techo de 8.192 tokens aparece en ambos lados, alcanzado de forma independiente por dos equipos que presumiblemente no tenían visibilidad del trabajo del otro.

Esa convergencia es el hallazgo útil. Un fine-tune de 4B sobre esta base, a mediados de 2026, es un componente dimensionado para un único prompt bien formado — no un motor de contexto largo. Ambos lanzamientos son honestos al respecto. Ninguno lo oculta tras una ventana anunciada más grande.

Ambos publicaron una historia de calibración, y no son la misma historia.

A headless-browser capture of the Hugging Face model card for internlm/Intern-Decision-4B, showing the InternLM organisation, 86 likes, the image-text-to-text pipeline tag, the qwen3_5 and decision-making tags, and the card's opening line that Intern-Decision-4B is a multimodal structured decision model fine-tuned from Qwen3.5-4B which accepts a shared state, a schema of named questions and optional images and returns an answer distribution for every question in one forward pass. The numbered "How inference works" steps are visible below it.

Aquí es donde el abastecimiento se vuelve delicado, porque las dos evaluaciones no son conmensurables y ninguna se ha reproducido fuera de su propio laboratorio.

Intern-Decision-4B publica un benchmark de siete suites en el que obtiene una media de 90,02 —la mejor fila de su propia tabla, por delante de Intern-Decision-2B con 84,68 y de Intern-Decision-0.8B con 79,38—, todas medidas con los entornos de evaluación de InternLM. También publica la calibración: una puntuación de Brier de 0,347 y un error de calibración esperado de 0,065. Un piloto independiente de 96 casos que usa distribuciones de referencia exactas pasa de 0,628 de Brier y 0,213 de ECE a 0,550 y 0,089 tras aplicarle su temperatura ajustada. Todos y cada uno de esos números son del propio proveedor, y nadie fuera de InternLM los ha verificado.

UserRepGen-4B publica una tabla de fidelidad en una escala de juez de 1 a 10 — 4,95 en best-of-1 y 6,02 en best-of-3, frente a 3,90 y 4,90 para GPT-5.5 usado tal cual y 3,41 y 4,42 para la base sin ajustar. Todos y cada uno de esos números son de la propia Microsoft, producidos con GPT-5.4 mini actuando como simulador, asistente y juez a la vez, y nadie fuera de Microsoft los ha comprobado.

La asimetría que importa no está en las puntuaciones — estas miden cosas diferentes en escalas diferentes. Está en que Intern-Decision-4B publica una regla de puntuación propia frente a distribuciones de referencia conocidas, que es falsable por construcción, mientras que UserRepGen-4B publica una puntuación de juez LLM, que solo es falsable ejecutando un juez diferente. InternLM construyó un modelo que puede auditarse con aritmética. Microsoft construyó uno que tiene que auditarse con otro modelo. Dado que ambos afirman haber superado las líneas base, esa diferencia en auditabilidad es una parte real de aquello entre lo que estás eligiendo.

El hallazgo de privacidad que solo uno de ellos imprime

La ficha de Intern-Decision-4B no contiene ninguna sección de privacidad de relevancia. La de UserRepGen-4B contiene un número que debería hacer reflexionar a cualquier equipo: con más de 147 usuarios, un selector al que se le pide elegir cuál de cuatro conversaciones provino de la misma persona acierta el 51,02 % usando las descripciones de comportamiento del modelo, frente al 44,22 % usando las conversaciones completas sin procesar y el 25 % al azar. La representación comprimida identifica a la persona mejor que el material del que se derivó.

Microsoft lo etiqueta como un riesgo de vinculabilidad y afirma sin rodeos que las representaciones no son datos anonimizados. Ese es el tratamiento correcto, y es una advertencia que se aplica a toda la clase de modelos, incluido el modelo de decisión, cuyas propias entradas son conversaciones sobre las situaciones de las personas. La diferencia es solo que una tarjeta lo dice y la otra no, lo cual no es lo mismo que un modelo sea seguro.

Ninguno es una API, pero la base que comparten es

A headless-browser capture of OrcaRouter's own model page for qwen/qwen3.5-flash, showing the Qwen3.5 Flash heading, Vision, Tools, JSON and Reasoning badges, a description of it as a multimodal chat model optimised for cost with 1M context, prices of $0.10 and $0.40 per million tokens, a 1M-token context with 65k maximum output, and a p50 TTFT of 1.50 seconds.

Ambos son descargas, no endpoints. Intern-Decision-4B se distribuye como una clase DecisionEngine de Python que se carga una vez y se reutiliza, su Space de demostración responde 401, y su enlace de GitHub da 404; UserRepGen-4B se distribuye con un único archivo safetensors sin cuantificar y un example.py. OrcaRouter no incluye ninguno de los dos. Si estás diciendo que cualquiera de los dos está disponible a través de una API alojada hoy, estás describiendo un plan en lugar de un hecho.

Lo que realmente se puede invocar es el checkpoint del que ambos se ramificaron. La familia de Qwen3.5-4B está en nuestro catálogo — Qwen3.5-Flash con más de un millón de tokens de contexto a $0.10 por millón de tokens de entrada y $0.40 por millón de salida, Qwen3.5-35B-A3B a $0.057 y $0.459, Qwen3.5-27B a $0.086 y $0.688 — todos con la misma clave, todos al precio de lista del proveedor sin nada añadido. Eso es útil para la parte del pipeline que no son estos dos modelos: el lado del asistente de una simulación, o el paso de razonamiento en torno a una llamada de decisión, pueden ejecutarse a través de un único endpoint mientras evalúas el ajuste fino localmente.

Cómo elegir

Si tu problema es una pregunta acotada con respuestas enumerables y necesitas un número calibrado diez mil veces por segundo, Intern-Decision-4B es el único modelo aquí que lo hace, y el hecho de que nunca muestree es la característica en lugar de la limitación. Si tu problema es que quieres un simulador que se comporte como un usuario real, UserRepGen-4B es el único modelo aquí entrenado para ello, y el tamaño de su ganancia reportada sobre GPT-5.5 es la razón por la que importa. Nadie debería elegir ninguno de los dos basándose en los números del otro, porque nunca midieron lo mismo. Lo que resolvería la comparación es una única pieza de escrutinio externo sobre cualquiera de las dos fichas — y para dos lanzamientos que se publicaron en total silencio, con semanas de diferencia, ninguno ha tenido ninguna.

Dos lanzamientos silenciosos también son un recordatorio de cuánto de este tipo de modelo se envía sin documentación, y los fallos que siguen se recopilan en el OrcaRouter AI Incident Archive, donde cada entrada lleva sus propias fuentes, gravedad, grado de confianza y indicador de disputa.

Comparados en este artículo1

Detectado en este artículo · Benchmarks: Artificial Analysis · actualizado a diario