Gemini Decisión 1 vs Kev: mil preguntas en una sola llamada, o una receta que puedes reentrenar

La familia Kev de Jared Palmer costó alrededor de $95 en tiempo de H100 en Modal para entrenar, más unos tres centavos de llamadas a la API para los datos de evaluación, y toda la receta está en el repositorio. Gemini Decision 1 cuesta lo que un laboratorio de vanguardia gasta en un modelo que no describirá, y lo que obtienes por ese dinero es un esquema de petición: un endpoint, hasta 1.000 preguntas tipadas contra una única entrada de 262.144 tokens, probabilidades calibradas de vuelta, cero tokens de salida, $0,10 por millón de tokens de entrada. Pon Kev al lado y la comparación no es realmente entre dos modelos. Es entre un dispositivo de puntuación por lotes y una pequeña pieza de maquinaria que puedes desarmar.

Ninguno de los dos proyectos ha publicado una cifra con la que se pueda puntuar al otro, que es lo primero honesto que cabe decir. Google no publicó ninguna tabla de benchmarks con Gemini Decision 1; todas las cifras de rendimiento de este artículo proceden de Artificial Analysis, que sitúa al modelo en 66 en Decision Index v2.1. Kev no aparece en esa tabla en absoluto. Lo que Kev publica, en cambio, es un arnés de pruebas, un conjunto de pruebas bloqueado y sus propias tasas de error, y eso no se puede restar de nada.

Lo que Gemini Decision 1 hace que Kev no puede hacer

Empieza por la brecha de capacidad, porque es la que decide arquitecturas en lugar de puntuaciones. Gemini Decision 1 evalúa hasta 1.000 preguntas independientes frente a una única entrada compartida en una sola pasada hacia adelante. Las preguntas no pueden verse entre sí, añadir o quitar una no cambia las demás, y la entrada compartida se cobra una sola vez.

Esa última cláusula es el producto. Un ticket de soporte verificado contra cuarenta reglas de política es una solicitud, una lectura del ticket, cuarenta respuestas calibradas. En un modelo por pregunta —que es lo que Kev es, en el sentido de que la cabeza puntúa cada opción contra la pregunta en una fila—, las mismas cuarenta comprobaciones son cuarenta pasadas por el estado, tanto si las agrupas como si no. Las propias cifras de servicio de Kev concretan el costo: 18,1 milisegundos para seis preguntas sobre un estado corto en una H100, 12,9 milisegundos en caché, 14,3 GB residentes. Seis preguntas, no mil.

La superficie de entrada difiere de la misma manera:

• Modalidad — Gemini Decision 1 lee texto, imagen, vídeo, audio y PDF; Kev lee texto. Una grabación de llamada o un formulario escaneado es un problema de preprocesamiento para Kev y una entrada nativa para Gemini Decision 1.

• Contexto — 262.144 tokens para Gemini Decision 1 entre la entrada y las preguntas; Kev ofrece hasta 65.536 con al menos 8.192 por pregunta, pero solo valida hasta 8.192, y así lo indica su tarjeta.

• Abstención — Gemini Decision 1 devuelve probabilidades limitadas a 0.01–0.99 con un campo de confianza, por lo que una respuesta de baja confianza es visible sin una opción independiente. Kev devuelve un softmax sobre las opciones que proporciones, lo que significa que la abstención es la opción que nombres más un umbral que establezcas.

• Pesos — ninguno para Gemini Decision 1; un endpoint alojado en la Gemini Developer API en v1beta, con un nivel gratuito de 200 solicitudes por minuto y 10.000 por día. Apache-2.0 para Kev, con un adaptador LoRA de rango 16 sobre una base Qwen3.5 congelada y una cabeza de puntero, en tamaños de 0,8B, 4B y 9B.

Lo que Kev hace que Gemini Decision 1 no puede

Kev te permite cambiar el modelo. No se trata de darle un prompt distinto, sino de reentrenar el comportamiento de decisión con tus propias etiquetas, por una cantidad de dinero que puedes poner en un informe de gastos.

La construcción es deliberadamente modesta: una base Qwen3.5 congelada, un adaptador de rango 16 de unos 33,8 millones de parámetros entrenables y una pequeña cabeza de puntero que puntúa el token de cierre de cada opción contra el token final de la pregunta. Como la base permanece congelada, el coste marginal de un nuevo dominio de decisión es del tamaño de un adaptador, no del tamaño de un modelo fundacional. Puedes mantener una base en memoria e intercambiar adaptadores según el dominio, una forma de despliegue que ningún endpoint alojado expresa.

Lo que Kev publica sobre sí mismo es lo bastante específico como para discutirlo, lo cual es más raro de lo que debería ser:

• Transfer-v4, bloqueado fuera de dominio — precisión 0.838, Brier 0.224, ECE 0.017.

• Breadth-v1, 14 conjuntos de datos reservados, 3.089 preguntas — precisión 0,690, ECE 0,029.

• Documents-v1 — 0,903. Hard-v1 — 0,803. MMLU-Pro con diez opciones — 0,565.

• Aritmética de fechas — 0,65 con precisión de día, señalada por el autor como el área más débil, con una bandera del preprocesador ofrecida como solución parcial y sin que se afirme una nueva medición.

Esas son las mediciones del propio autor en su propio banco de pruebas, y la ficha dice que la calibración es una única temperatura dentro de la distribución, así que la cobertura se degrada fuera del dominio y el orden de las opciones puede cambiar una respuesta. Es una autoevaluación creíble, no un resultado auditado. Aun así, es una escala que puedes intentar reproducir esta noche, lo cual es más de lo que se puede decir de la mayoría de las cifras de proveedores en esta categoría.

¿Por qué los dos números en la mesa nunca se encuentran?

La tentación es poner la precisión de transferencia de 0,838 de Kev junto al 66 de Gemini Decision 1 y anunciar un ganador. Resístete, por tres razones.

Los instrumentos miden cosas distintas. El Decision Index puntúa la precisión menos la penalización de Brier por la confianza asociada a la respuesta, y se agrega a lo largo de seis evaluaciones, el 45 % de las cuales se basa en datos privados. La cifra transfer-v4 de Kev es precisión simple sobre un conjunto bloqueado que reunió el autor, con Brier y ECE informados al lado en lugar de incorporados al resultado principal.

Las mezclas de tareas no son las mismas. El componente más grande del índice, AA-Paperclip con un 30%, son quince respuestas de todo o nada por documento: una forma a la que la prueba documents-v1 de Kev se aproxima, pero que no replica.

Y los denominadores difieren. Una puntuación de índice es un compuesto ponderado en el que se recompensa la abstención; una cifra de precisión es la proporción de preguntas en las que la opción con mayor probabilidad era la correcta. Un modelo puede superar a otro en una y perder en la otra sin que ninguna de las dos sea incorrecta.

La afirmación defendible es limitada: Gemini Decision 1 está en la mitad de la tabla entre los modelos de decisión alojados con 66, noveno de dieciocho, con un primer puesto en los componentes de conocimiento y una tasa de aprobación de documentos de todo o nada del 33%; Kev es un adaptador de clase 4B cuyo autor reporta una sólida calibración en el dominio y una débil aritmética de fechas. Cualquiera que te diga que uno es mejor está extrapolando.

Cuánto cuesta realmente ejecutar cada uno

La economía de Gemini Decision 1 es fácil de calcular y difícil de aceptar a gran volumen. A 0,10 $ por millón de tokens de entrada, Artificial Analysis mide 345 $ por millón de tareas: el modelo más caro de la mitad superior de la tabla, sin caché de contexto, sin Batch API y sin inferencia Flex ni Priority. Las entradas compartidas repetidas se contabilizan íntegramente en cada solicitud. Un barrido nocturno de un millón de tickets vuelve a leer el documento de políticas un millón de veces.

La economía de Kev tiene la forma opuesta: casi gratis por llamada una vez pagada la GPU, y el costo real está en las horas que dedicas a crear etiquetas, entrenar adaptadores y validarlos. La cifra de ~$95 de Palmer cubre la ejecución de entrenamiento, no el etiquetado. Si tus reglas de enrutamiento difieren de las de un juez genérico —y así es—, ese costo de etiquetado te compra lo que ningún modelo de decisión alojado vende: un evaluador que codifica tu política en lugar de aproximarla.

Hay un tercer costo que decide más proyectos que cualquiera de los dos precios: la velocidad de iteración. Los límites de Gemini Decision 1 están documentados y son fijos, así que un cambio de comportamiento es reescribir un prompt y volver a ejecutar tu conjunto de evaluación. El de Kev es reentrenar un adaptador, lo cual es barato en cómputo y no lo es en proceso. Para un equipo con un solo dominio y alto volumen, el reentrenamiento vale la pena. Para un equipo con doce dominios y sin ingeniero de ML, el endpoint alojado gana en horas de ingeniería incluso a $345 por millón de tareas.

Si el pipeline en torno a la decisión es donde realmente pasas el tiempo

OrcaRouter no incluye ninguno de los dos modelos. Kev son pesos Apache-2.0 que ejecutas tú mismo, y Gemini Decision 1 es un endpoint que solo devuelve probabilidades en la propia API de Google; ninguno es un destino de chat-completions, y no pretendemos lo contrario. El modelo de decisión de nuestro catálogo es typesafe/jev-1.14 de TypeSafe, con 66.23 en la misma tabla, para equipos que quieren una llamada de puntuación con la misma clave que todo lo demás.

La mitad del pipeline para la que estamos construidos es la que está aguas arriba de la decisión: generar la respuesta candidata, escribir la rúbrica, resumir el ticket antes de que se puntúe. Esa llamada es donde cambias de modelo con más frecuencia y donde un segundo contrato con un proveedor cuesta más, y es la que se ejecuta a través de un único endpoint con más de 200 modelos, precio de lista del proveedor transferido con un 0 % de margen, y conmutación por error automática cuando un proveedor se degrada. Si estás sopesando Kev frente a un evaluador alojado, ejecuta la mitad de redacción a través de nosotros y mantén reversible la decisión de puntuación; así, la elección que hagas hoy sobre un adaptador de $95 no se convertirá en una migración más adelante.

La decisión entre las dos decisiones

Elige Gemini Decision 1 cuando la decisión sea una entrada y muchas reglas, cuando la entrada sea audio, vídeo o un PDF, cuando mil comprobaciones en una sola pasada facturada cambien tu modelo de costes y cuando te baste con confiar en una calibración que no ajustaste. Acepta que estás comprando una caja negra a precios de entrada de un laboratorio de vanguardia y sin descuento por lotes.

Elige Kev cuando la decisión sea una entrada y unas pocas preguntas tecleadas, cuando el texto sea lo bastante corto como para validarlo dentro de 8.192 tokens, cuando tu política sea lo bastante específica como para que un juez genérico la aproxime mal y cuando poseer el artefacto importe más que poseer el endpoint. Acepta que ahora eres responsable de la calibración, la aritmética de fechas y la sensibilidad al orden de las opciones de las que te advierte la tarjeta.

Lo único que esta comparación no debería hacer es producir una tabla de clasificación. No hay un instrumento común, ni un conjunto de tareas compartido, ni una reproducción de ninguna de las dos cifras por parte de un tercero. Lo que sí puedes hacer esta semana es pasar 200 de tus propios elementos etiquetados por ambos y comparar las tasas de aprobación y las curvas de confianza: un trabajo de una mañana que te dirá más que la próxima revisión de la clasificación.