Tencent UI-Mate-27B: El agente GUI de peso abierto que reclama silenciosamente un lugar en lo más alto de WindowsAgentArena

On August 14, 2026, Tencent's HY Frontier Multimodal Agent Team pushed three checkpoints to Hugging Face under the tencent/ organization — UI-Mate-27B, a smaller UI-Mate-9B, and the demonstration-guided UI-Mate-democua-27B. Four days later there is still no announcement anywhere: no launch post, no press release, no product tweet. What shipped instead is unusually complete for a silent drop: a project page, a GitHub repository with a working harness, and an arXiv paper submitted two days ago that calls the larger model a new open-weight state of the art in desktop GUI control.

Everything in this piece comes from the model cards, the GitHub repo, the project page, and that paper — none of it has been independently reproduced yet. The checkpoints have zero downloads on Hugging Face as of this writing, which means we are likely among the first people outside Tencent to take them seriously on paper. Here is what is actually knowable from the repos, and what stays unconfirmed until someone else runs it.

Contents

• What shipped, and what hasn't been announced

• What UI-Mate-27B actually is

• The feature that's different: demonstration-guided execution

• The numbers — all of them vendor-reported

• Where those numbers would sit — if they hold

• How to run it

• The stack around a new GUI agent

• What to watch next

• FAQ

Qué se ha lanzado, y qué no se ha anunciado

Tencent published UI-Mate-27B (27 billion parameters, Apache-2.0, safetensors in BF16) on August 14, 2026, alongside the 9B sibling and the demonstration-guided checkpoint UI-Mate-democua-27B. The two 27B checkpoints are built on Qwen3.6-27B — itself an Apache-2.0 multimodal model released in April 2026 — which means the entire stack, base and fine-tune, is commercially usable. The repos carry last-modified timestamps from this week — the demo-guided checkpoint was touched as recently as today — so Tencent has been actively working on them.

Qué es público hasta ahora:

• The UI-Mate-27B, UI-Mate-9B, and UI-Mate-democua-27B weights on Hugging Face, each with a model card, evaluation tables, and a serving recipe.

• Una página del proyecto en ui-mate.github.io con un video de demostración, una guía de uso y una aplicación de macOS Apple Silicon (DMG v0.2.4).

• El repositorio de GitHub (github.com/Tencent/UI-Mate) que contiene el prompt oficial, el analizador de respuestas y el entorno de interacción — la tarjeta indica explícitamente que esto es "un checkpoint de agente más que un modelo de chat visual independiente" y se recomienda el entorno para cualquier uso real.

• Un preprint de arXiv (2608.15930), presentado el 16 de agosto, titulado "UI-Mate: Avanzando en Agentes GUI Fundacionales de Peso Abierto con Demostraciones en Contexto."

What is not public yet: Tencent itself has said nothing — this is a repo-first release, not a launch. The demonstration-guided variant that the project page had listed as not yet public now has live weights on Hugging Face: the tencent/UI-Mate-democua-27B repo, created on the same August 14 push, is explicitly tagged as the family's demonstration-guided checkpoint — a distinct model, not a rebrand of the 27B. There is still no hosted API anywhere. That matters: the only way to run UI-Mate today is to download the weights and serve them yourself.

Lo que UI-Mate-27B realmente es

UI-Mate-27B es un agente GUI fundacional para «trabajo de horizonte largo a través de aplicaciones y sistemas operativos». Observa capturas de pantalla en vivo, razona sobre el estado visible y emite acciones estructuradas de teclado y ratón para la interacción nativa con el escritorio. El entrenamiento consiste en un ajuste fino supervisado seguido de aprendizaje por refuerzo en línea en entornos GUI ejecutables: el modelo aprendió conduciendo realmente escritorios, no solo a partir de capturas de pantalla estáticas.

The action space is the part developers will care about: mouse, keyboard, scrolling, waiting, user interaction, and task completion, with outputs compatible with pyautogui. The model reasons in a normalized 1000×1000 coordinate space and the reference agent rescales its predictions back to the real screenshot resolution, so actions survive display-scaling differences between machines. The model's own README recommends serving it with vLLM behind an OpenAI-compatible endpoint.

La característica distintiva: ejecución guiada por demostración

La mayoría de los agentes GUI aceptan una sola entrada: una instrucción. UI-Mate acepta una segunda que es realmente rara en un checkpoint abierto: una demostración. "Muestra el flujo de trabajo una vez. Deja que el agente lo adapte a la tarea en cuestión", como dice la página del proyecto.

El mecanismo no es vídeo en contexto ni un guion de acción fija. Una demostración registra capturas de pantalla inmediatamente antes y después de cada acción de teclado o puntero, y la canalización luego normaliza el rastro en una representación coherente de acción y fotograma, lo anota con observaciones, intención, acciones y evidencia de verificación, y lo segmenta en subtareas con nombre y criterios de finalización. En el momento de la inferencia, eso se convierte en un flujo de trabajo compacto inyectado para la subtarea activa, pero la captura de pantalla en vivo sigue siendo la fuente autoritativa durante todo el proceso, de modo que cuando el estado de la aplicación difiere de la demostración, el modelo replanifica en lugar de reproducir.

Tencent has made the checkpoint behind this workflow its own public model: the UI-Mate-democua-27B card pairs instruction-only and one-demonstration results on the same evals, and its tool schema adds a subtask_complete action — the mechanism behind those named subtasks. On the OSWorkerBench self-demo subset, one demonstration lifts strict success from 17.17 to 35.35 and progress from 67.85 to 81.14; on the OSWorld subset, progress goes from 40.27 to 65.75; on the GameDev eval set, the average score goes 76.76 to 81.15 while the average trajectory length drops from 303.6 to 253.1 steps — the demo shortens the task as well as improving it. The card reports the demonstration improved 28 of the 33 self-demo tasks and solved four tasks that score zero without guidance. The caveat is the same one that runs through this whole article: these are the team's own paired evals, averaged over three to five runs, and nobody has reproduced them.

Los números — todos ellos reportados por el proveedor

Ejecución exclusiva por instrucciones, directamente desde la tarjeta del modelo:

• Puntuación media de OSWorld-Verified — 77.0

• Puntuación promedio de WindowsAgentArena — 66.2

• OSWorkerBench éxito estricto — 41.00

• Progreso de OSWorkerBench — 76.86

OSWorkerBench is itself one of the three contributions in the paper: a new benchmark of 100 long-horizon office tasks across 41 applications, with 33 self-demo and 45 variant-demo subsets. It is a new evaluation, so there is no prior art to compare those two scores against. Against its own base model, UI-Mate-27B is claimed to beat Qwen3.6-27B by 17.7 points of strict success and 24.5 points of progress on OSWorkerBench — which is the cleanest apples-to-apples number in the whole release, since both models would run through the same harness.

Cada cifra anterior es la evaluación del propio equipo. Aún no hay puntuaciones independientes, ni reejecuciones de terceros, y con cero descargas, tampoco reproducciones de la comunidad. Trata cada número aquí como una afirmación, no como un hecho.

Dónde se ubicarían esos números — si se mantienen

WindowsAgentArena is the one that would be a genuine headline. The best publicly reported WAA results earlier in 2026 clustered around 61.0 (a modular system called VLAA-GUI, April 2026); the open-weight EvoCUA-32B from Meituan sat at 56.5, and ByteDance's closed UI-TARS-2 was in the low-to-mid 50s on the same board. A 66.2 on UI-Mate-27B's own eval would put it above everything that had been reported on this benchmark this year — open or closed. That is a strong claim, and it needs an independent rerun.

OSWorld-Verified con 77.0 es un resultado sólido, pero no constituye un nuevo récord de pesos abiertos en la tabla pública. En la instantánea del ranking de OSWorld-Verified de principios de agosto de 2026, el modelo de pesos abiertos Holo3-35B-A3B aparece con 82.6, con varios modelos cerrados de frontera por encima (Qwen3.8 Max con 86.1, Claude Mythos 5 y Claude Fable 5 con 85.0, Claude Opus 4.8 con 83.4). Por lo tanto, la palabra «state of the art» del artículo es una afirmación sobre su propio entorno de evaluación, no un hecho establecido — los distintos harnesses, los analizadores de acciones y la deriva en los autoinformes hacen que el 77.0 frente al 82.6 sea una cuestión que solo una reevaluación independiente puede resolver. Para contextualizar lo que significa un modelo abierto de 27B que logra 77.0: se situaría por encima de la línea base de experto humano de ~72.4 y por encima de varios sistemas de frontera más grandes en esa misma tabla, incluidos Claude Opus 4.6 con 72.7 y Kimi K2.6 con 73.1.

Tencent no es nuevo en este terreno — en febrero de 2026 lanzó POINTS-GUI-G, un modelo de anclaje de GUI de 8B, en mayo presentó el asistente Marvis OS, y en junio contribuyó al proyecto de uso informático GUICrafter. UI-Mate es una línea distinta orientada específicamente al control total del escritorio, y es el primer agente de GUI de Tencent que se publica como modelo fundacional abierto, en lugar de un componente de anclaje o un producto.

Cómo ejecutarlo

The model is designed for vLLM, and the model card gives the exact command — vllm serve tencent/UI-Mate-27B with tensor-parallel size 2 and the OpenAI-compatible chat template. One practical detail stands out: the agent retains five screenshots in context by default, so the server must admit at least six images per prompt because the newest screenshot arrives before the oldest is collapsed. The recommended flag is --limit-mm-per-prompt with six images and zero video. The demonstration-guided checkpoint serves the same way — its card names vLLM and SGLang behind an OpenAI-compatible endpoint.

Una vez servido, una clase de agente de Python (UIMateAgent) toma una captura de pantalla y una instrucción, y devuelve la respuesta junto con acciones estructuradas, reescalando las coordenadas de 1000×1000 de vuelta a tu resolución. La página del proyecto también ofrece una app para macOS Apple Silicon para el modo guiado por demostración, que es la forma más fácil de probar el flujo de trabajo "show it once" sin tener que construir el andamiaje tú mismo. La licencia es Apache-2.0 en todo, por lo que se permiten el uso local, el ajuste fino y la integración comercial.

Dos advertencias deben acompañar a cualquier instrucción de "cómo ejecutarlo" para un agente de uso de computadora, y ambas provienen de la propia ficha del modelo. Utilice entornos aislados o desechables. Exija confirmación humana antes de cualquier acción sensible, supervise la trayectoria y no trate un éxito reportado por el modelo como prueba de que el resultado previsto realmente ocurrió. Los agentes de interfaz gráfica pueden hacer clics equivocados, y la inyección de instrucciones a través del contenido en pantalla es un modelo de amenaza real, no una hipótesis.

El stack alrededor de un nuevo agente de GUI

None of the UI-Mate checkpoints are on OrcaRouter yet — the family is days old with zero downloads, and its base model Qwen3.6-27B is not either. There is no hosted API, so if you want to run one this week, you are serving vLLM yourself. That is fine for a lab, but it is the wrong shape for production.

A production computer-use pipeline is rarely one checkpoint. It is a planner model deciding the next intent, a grounding or vision model reading the screen, the GUI agent itself, and a cheap fallback when a sub-step fails — and those pieces are all served models, even when the GUI agent is local. That mix is exactly what a routing layer is for: one API across 200+ hosted models, provider list price passed through at 0% markup, and automatic failover so a transient outage on one provider does not stall a long agent run. The routing DSL also lets you compose several models into a single call — a planner up front, a cheap verifier at the end — without stitching providers together in your own code. The honest summary is simple: the agent that drives the desktop is local, but the models that decide what to do around it are routable, and trying brand-new unproven checkpoints safely is precisely what failover is for.

Qué ver a continuación

Cuatro cosas cambiarían el panorama para UI-Mate-27B, en orden aproximado de importancia:

• Una repetición independiente de OSWorld-Verified y WindowsAgentArena. La cifra de WAA en particular es o un gran avance o un artefacto del entorno de pruebas, y solo una evaluación externa determina cuál de los dos.

• El informe técnico formal. La cita actual es un marcador de posición, y el artículo completo presumiblemente revelará los detalles del motor de datos que el resumen solo esboza.

• Anuncio propio de Tencent. Una publicación que prioriza el repositorio como esta suele preceder a algo: una integración con Marvis, una oferta alojada o un impulso más amplio hacia los modelos abiertos.

• A hosted API. All three checkpoints' weights are public now, but nothing is served anywhere — no Tencent endpoint, no third-party inference provider — so self-hosting remains the only route, and only a Tencent announcement or a provider pickup changes that.

Preguntas frecuentes

¿Qué es Tencent UI-Mate-27B?

UI-Mate-27B is an Apache-2.0, 27-billion-parameter foundation GUI agent from Tencent's HY Frontier Multimodal Agent Team, fine-tuned from Qwen3.6-27B. It watches live desktop screenshots, reasons over them, and outputs pyautogui-compatible mouse and keyboard actions. It was quietly released on Hugging Face on August 14, 2026 — alongside the 9B sibling and the demonstration-guided UI-Mate-democua-27B — with no announcement, and its benchmarks are entirely vendor-reported so far.

¿En qué se diferencia la ejecución guiada por demostración de reproducir un script?

En lugar de ejecutar una macro grabada, UI-Mate trata una demostración como un flujo de trabajo subtitulado y estructurado en subtareas que se inyecta como guía. La captura de pantalla en vivo sigue siendo la fuente autoritativa, por lo que cuando el diseño, el contenido o el estado de la aplicación difieren de lo mostrado, el modelo replanifica en lugar de reproducir coordenadas obsoletas. Ese es el mecanismo detrás del supuesto salto del 17.2 al 35.4 de éxito estricto en el subconjunto de autodemostración, y sigue siendo una afirmación del proveedor hasta que alguien la reproduzca.

¿Es UI-Mate-27B realmente el estado del arte para agentes GUI de peso abierto?

Eso depende por completo de la configuración de evaluación. Su WindowsAgentArena 66.2 superaría los mejores resultados WAA reportados públicamente a principios de 2026, pero su OSWorld-Verified 77.0 se sitúa por debajo del Holo3-35B-A3B de peso abierto, con 82.6 en la tabla pública. El artículo lo califica como un nuevo estado del arte de peso abierto; una repetición independiente en un entorno de pruebas consistente es la única forma de saberlo.

¿Puedo ejecutar UI-Mate-27B hoy?

Yes, if you serve it yourself: download the weights from Hugging Face — the 27B general checkpoint, the 9B, or the demonstration-guided UI-Mate-democua-27B — run the vLLM command from the model card (tensor-parallel size 2, six images per prompt), and drive it with the Python agent or the macOS app. There is no hosted API, and none of the checkpoints are on OrcaRouter yet — which, for models this new and this unverified, is a reasonable reason to keep them in an isolated environment for now.

The right read on UI-Mate-27B is not "the winner" but "worth watching." A 27B open model claiming a WAA lead and shipping a one-shot demonstration workflow is a meaningful datapoint in a year where open-weight computer-use agents have gone from a joke to within reach of the frontier. Now that the demonstration-guided checkpoint is public weights rather than a project-page placeholder, the "show it once" workflow is something you can actually run. Tencent has been careful about releases before, and this one has the shape of a work-in-progress made public. Run it in a sandbox, rerun the benchmarks, and keep the announcement watch going — the interesting part of this story is still ahead.