GLM-Legal: el agente legal de Z.ai obtiene un 19,2 % en Harvey LAB, y comienza como una beta a la que te postulas

Z.ai publicó GLM-Legal el 12 de octubre de 2026, y la cifra con la que abre es el 19,2 %. Esa es la tasa de aprobación total del modelo en Harvey LAB, una evaluación del flujo de trabajo de despachos de abogados creada por el proveedor de IA jurídica Harvey en 24 áreas de práctica, y es la cifra más fiable del lanzamiento precisamente porque parece poco impresionante. Un modelo jurídico que supera menos de una tarea de cada cinco en un banco de pruebas serio se está evaluando con un estándar que su propio proveedor no suavizó. La parte más débil es todo lo que lo rodea: los otros dos benchmarks principales, LegalBench y PLawBench, se describen como equiparables a "modelos frontera de código cerrado" sin nombrarlos y no incluyen ninguna cifra. GLM-Legal se basa en GLM-5.3-Flash, el modelo fundacional multimodal de Z.ai de 320B totales y 18B activos, y ahora mismo la forma de conseguirlo es un formulario en la página de consultas del proveedor, no una clave de API.

Esa combinación —una cifra real, calificada con honestidad, más dos afirmaciones de paridad sin cuantificar— es la forma entera de este lanzamiento, y merece la pena desglosarla antes que cualquier otra cosa.

Lo que dice el 19,2% en Harvey LAB, y lo que no

Harvey LAB califica con aprobación total. Una tarea cuenta para el modelo solo si cada paso acierta: los problemas correctos identificados, las disposiciones correctas citadas, el análisis defendible, la salida formateada según las especificaciones. Esa es una barrera más dura que la de un benchmark con crédito parcial, y es la razón por la que el número absoluto es bajo, no por la que el modelo es débil. Z.ai lo presenta como confirmación de una «ejecución de tareas de extremo a extremo fiable sin degradación intermedia»; en un régimen de aprobación total, eso es lo único que puede significar una tarea aprobada.

La comparación que ofrece Z.ai es contra su propio modelo base, y afirma que GLM-Legal mejora 12,5 puntos porcentuales. Si se lee junto al titular, la aritmética es cruda:

• GLM-Legal en Harvey LAB — 19,2 % de aprobación total, en 24 áreas de práctica, según Z.ai.

• Puntuación implícita del modelo base — aproximadamente un 6,7%, ya que Z.ai indica que la diferencia es de 12,5 puntos y la base es GLM-5.3-Flash.

• Independencia — ninguna. Ambas cifras son de Z.ai, medidas en la propia ejecución de Z.ai, y ningún tercero las ha reproducido.

• El papel de Harvey — Harvey creó el benchmark; el anuncio no especifica si fue Harvey quien realizó la evaluación o si lo hizo Z.ai.

Esa última línea es la brecha honesta. «Construido por Harvey» y «puntuado por Harvey» son afirmaciones distintas, y solo se formula la primera. Una mejora de 12,5 puntos sobre un modelo base es un orden de magnitud plausible para el mid-training de dominio más RL —así se ve la especialización jurídica cuando funciona—, pero hasta que alguien ajeno a Z.ai vuelva a ejecutar el harness, es una cifra de proveedor, y debería citarse como tal.

Las dos afirmaciones sin número asignado

LegalBench abarca el análisis de contratos, los expedientes de fusiones y las opiniones judiciales; PLawBench abarca la consulta jurídica china, el análisis de casos y la redacción de documentos bajo rúbricas detalladas. La afirmación de Z.ai sobre el primero es que GLM-Legal los analiza "con la precisión de los mejores modelos frontera de código cerrado", y sobre el segundo, que "alcanza la paridad con los principales sistemas frontera".

Ambas afirmaciones son cualitativas. Ninguna viene con una puntuación, un intervalo de confianza ni un comparador identificado por nombre. Eso no es razón para no creerlas —GLM-5.3-Flash es una base sólida, y un derivado especializado en un dominio de una base sólida a menudo alcanza la paridad en razonamiento de dominio—, pero una afirmación de paridad a la que no se le puede poner un número es imposible de verificar por diseño, y las dos afirmaciones cuantitativas del comunicado se refieren al mismo benchmark. Un lector que compare este lanzamiento con el de un competidor debería advertir que el comunicado es, en realidad, un resultado medido más dos argumentados.

Qué cambió realmente el entrenamiento

El detalle metodológico importa más aquí que en un ajuste fino de dominio típico, porque GLM-Legal es una especialización a nivel de pesos en lugar de un producto de recuperación. Z.ai no lanzó un índice de jurisprudencia; cambió el modelo. Dos etapas:

• Entrenamiento intermedio — corpus legales ampliados de alta calidad, que enseñan reglas legales y marcos interpretativos dentro de un contexto de dominio denso, para fortalecer la cadena deductiva desde los hechos hasta las reglas y las conclusiones.

• Post-entrenamiento — aprendizaje por refuerzo en lo que Z.ai llama "decenas de miles de entornos legales realistas", donde el modelo aprende a planificar un análisis, avanzar un flujo de trabajo y producir un entregable bajo restricciones concretas.

La parte inusual es el bucle en torno a la etapa de post-entrenamiento. Z.ai describe el harness del agente —la capa de orquestación en tiempo de ejecución que prepara el contexto, conecta las herramientas y enruta la retroalimentación de la ejecución— como coevolucionando con el modelo en lugar de permanecer fijo debajo de él. Los casos límite que surgieron durante el entrenamiento expusieron cuellos de botella del harness; los refinamientos del harness expusieron al modelo a restricciones de ejecución más realistas. El propósito declarado es detener el fallo clásico de los modelos de dominio, donde se añade conocimiento pero no el comportamiento del flujo de trabajo.

Que eso se generalice es exactamente lo que pone a prueba el 19,2 % de aprobación total. Es una afirmación sobre la fiabilidad, no sobre el conocimiento, y es lo que corresponde medir en un despliegue legal.

Las tres demos, leídas con atención

La entrada del blog muestra a GLM-5.3-Flash y GLM-Legal respondiendo a las mismas tres indicaciones una al lado de la otra. La comparación está redactada por el proveedor y las indicaciones fueron elegidas por el proveedor, así que demuestra menos de lo que demostraría una comparación directa, pero las divergencias son lo suficientemente específicas como para ser informativas.

Revisión del contrato. La tarea es un contrato de servicios de software para un cliente que cambia de proveedor. El consejo del modelo base es razonable y general: acortar el plazo de preaviso, lograr que el proveedor devuelva los datos y los entregables ya pagados, y añadir la obligación de cooperar con el proveedor sustituto. El consejo de GLM-Legal tiene la misma forma, pero concreta las cifras: reducir el preaviso de resolución por conveniencia de 60 a 30 días, eliminar por completo el plazo de subsanación en caso de incumplimientos de las obligaciones en materia de propiedad intelectual, confidencialidad o seguridad de los datos, exigir la devolución de los productos de trabajo tanto si se han pagado como si no, y añadir hasta 90 días de asistencia en la transición a las tarifas vigentes del proveedor en ese momento. Esa es la diferencia entre una lista de comprobación y una propuesta de enmiendas. Z.ai afirma que AutoClaw aplica esas ediciones en el documento de Word como cambios registrados y comentarios.

Análisis de la evidencia. Cuarenta documentos de una disputa por un proyecto de software. El modelo base detecta la contradicción entre el informe del cliente del 30 de septiembre, que afirma un 60 % de finalización, y la instantánea interna de aproximadamente el 41 %, y afirma correctamente que los documentos “podrían respaldar” la posición del cliente. GLM-Legal vincula la advertencia interna del 8 de septiembre de que el hito no podía cumplirse honestamente, la instantánea del 41 % y una instrucción de un directivo para ocultar el riesgo y seguir facturando en una única teoría de encubrimiento, y luego cita las cláusulas del acuerdo maestro de servicios sobre que el pago no implica renuncia de derechos y sobre garantías subsistentes como la razón por la que el pago continuado no resuelve la disputa. El modelo base encontró los hechos; GLM-Legal construyó el argumento y nombró los elementos de la reclamación que aún deben probarse.

Investigación de cumplimiento. Un sitio web que se lanza en Singapur, Malasia e Indonesia con seguimiento, marketing por correo electrónico y almacenamiento en la nube en el extranjero. El modelo base produce una lista de tareas previas al lanzamiento competente. GLM-Legal produce una priorizada con ganchos legales — SG PDPA s26, MY PDPA s129, ID PDP Law Arts 55–56 — y separa los controles compartidos de las preguntas específicas de cada mercado.

Las citas de leyes son la parte que un abogado puede verificar en una tarde, y son la razón por la que vale la pena leer las demos. La parte que no muestran es cómo se comporta el modelo en un asunto en el que la respuesta correcta es que el cliente está equivocado.

Acceso: un formulario ahora, AutoClaw después

No hay ningún precio publicado ni un endpoint público. El llamado a la acción de Z.ai es «Únete a la beta de GLM-Legal», dirigido a despachos de abogados, empresas de tecnología legal, equipos internos y profesionales independientes, con acceso a la API mediante una solicitud en la página de consulta del proveedor. El párrafo de AutoClaw está escrito en futuro —«pronto podrás poner estas capacidades a trabajar en AutoClaw»—, por lo que la plataforma de agente de escritorio es una integración próxima, no una ya disponible, y Z.ai no se compromete a una fecha para ninguna de las dos.

Si quieres desarrollar hoy sobre el modelo subyacente, la distinción honesta es que la base está disponible y la variante legal no. GLM 5.3 Flash está en el catálogo de OrcaRouter al precio de lista de Z.ai sin ningún margen añadido — $0.15 por millón de tokens de entrada y $0.50 por millón de tokens de salida, con las lecturas de caché a $0.030 —, así que un cambio de precio del proveedor en ese modelo se refleja de nuestro lado el mismo día, y no al final de un ciclo de contrato. Una sola clave da acceso a más de 200 modelos, y la conmutación por error automática significa que puedes apuntar una ruta de staging al modelo base sin apostar por ella una ruta de producción. Todo lo que en las tres demos no dependa del post-entrenamiento legal — reestructurar un conjunto de cláusulas que tú aportes, dar formato a la salida según una plantilla de la firma, generar una lista de verificación para una primera revisión — puedes prototiparlo ahora en GLM 5.3 Flash y cambiar el id del modelo cuando se abra la beta. Todo lo que dependa de la especialización no puedes prototiparlo, porque la especialización es la parte que está detrás del formulario.

¿Qué cambiaría esta historia?

Tres cosas, en orden de importancia. Un número para LegalBench y PLawBench: las afirmaciones de paridad son las que soportan la carga para cualquiera que elija un modelo legal, y actualmente son las menos comprobables. Una ejecución independiente de Harvey LAB, idealmente una en la que Harvey, y no Z.ai, controle el harness. Y un precio, porque un modelo de dominio que cuesta significativamente más por asunto que su modelo base tiene que ganarse esa diferencia en la tasa de aprobación total, y no en el acabado.

Ninguno de los tres ha llegado. Lo que sí ha llegado es un modelo genuinamente especializado construido sobre una base de 18B activos, con un único benchmark ejecutado bajo un estándar de calificación lo suficientemente estricto como para que 19,2 % resulte creíble, y un proceso de acceso que indica que el proveedor aún no tiene la confianza suficiente como para incluirlo en una tarjeta de tarifas.

Para un equipo jurídico que decide qué hacer con el anuncio de esta semana, la respuesta es probablemente la misma que con cualquier lanzamiento condicionado a una solicitud: leer las demostraciones para detectar los modos de fallo que revelan, comprobar uno mismo las citas de la normativa y construir el flujo de trabajo circundante sobre un modelo al que realmente se pueda llamar hoy, de modo que cambiar un id de modelo sea toda la migración.

conmutación por error automática significa que puedes dirigir una ruta de staging hacia el modelo base sin arriesgar una ruta de producción en ello.