騰訊 UI-Mate-27B：低調的開放權重 GUI 代理，奪得 WindowsAgentArena 頂尖席位

2026年8月14日，騰訊的HY Frontier多模態智能體團隊在Hugging Face的tencent/組織下發布了三個檢查點——UI-Mate-27B、較小的UI-Mate-9B，以及演示引導的UI-Mate-democua-27B。四天後，任何地方仍沒有公告：沒有發布文章、沒有新聞稿、也沒有產品推文。對於一次低調發布來說，此次推出的內容異常完整：一個項目頁面、一個帶有可用測試框架的GitHub儲存庫，以及兩天前提交的arXiv論文——該論文稱這個較大的模型是桌面GUI控制領域中新的開放權重（open-weight）最佳水準。

這篇文章的一切內容都來自模型卡、GitHub 儲存庫、專案頁面和那篇論文——至今沒有任何部分被獨立複現。截至撰寫本文時，這些檢查點在 Hugging Face 上的下載次數為零，意味著我們很可能是騰訊以外第一批在紙面上認真看待它們的人。以下是在儲存庫中實際可得知的內容，以及那些在其他人實際執行之前仍無法確認的部分。

目錄

• 已發布的內容，以及尚未公布的內容

• UI-Mate-27B 實際上是什麼

• 與眾不同的功能：示範引導執行

• 這些數字——全部皆為廠商報告

• 這些數字會位於何處——如果它們成立

• 如何執行它

圍繞新GUI代理的技術棧

• 接下來要看什麼

• 常見問題

已發布的，以及尚未公布的

騰訊於2026年8月14日發布了UI-Mate-27B（270億參數、Apache-2.0授權、BF16 safetensors格式），與9B兄弟模型及示範引導檢查點UI-Mate-democua-27B一同發布。這兩個27B檢查點皆以Qwen3.6-27B為基礎建構，而Qwen3.6-27B本身是2026年4月發布的Apache-2.0多模態模型，代表從基礎模型到微調模型的整個技術堆疊都可商用。這些儲存庫的最後修改時間戳記顯示更新發生在本週，其中示範引導檢查點甚至到今天都還有改動，可見騰訊一直在積極投入開發。

目前為止已公開的資訊：

• UI-Mate-27B、UI-Mate-9B 和 UI-Mate-democua-27B 的權重可在 Hugging Face 上取得，每個都附有模型卡、評估表格和服務配方。

• 位於 ui-mate.github.io 的專案頁面，包含示範影片、使用指南，以及 macOS Apple Silicon 應用程式（DMG v0.2.4）。

• GitHub 儲存庫（github.com/Tencent/UI-Mate）包含官方提示詞、回應解析器與互動框架——卡片上明確說明這是「agent checkpoint 而非獨立的視覺對話模型」，並建議任何實際應用都應使用該框架。

• 一篇arXiv預印本（2608.15930），於8月16日提交，標題為「UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations」。

尚未公開的部分：騰訊本身沒有發表任何聲明——這是先以儲存庫（repo）發布，而非正式發表。專案頁面原本列為尚未公開的 demonstration-guided 變體，現在已在 Hugging Face 上提供權重：tencent/UI-Mate-democua-27B 儲存庫於 8 月 14 日的同一次推送中建立，被明確標記為該系列的 demonstration-guided checkpoint——這是一個獨立的模型，並非 27B 的重新命名。目前仍然沒有任何託管 API。這點至關重要：目前執行 UI-Mate 的唯一方式，就是下載權重並自行部署。

UI-Mate-27B 實際上是什麼

UI-Mate-27B 是一個基礎 GUI 代理，專為「跨應用程式與作業系統的長期任務」而設計。它觀察即時截圖，對可見狀態進行推理，並輸出結構化的鍵盤與滑鼠動作，以進行原生桌面互動。訓練過程先是監督式微調，接著在可執行的 GUI 環境中進行線上強化學習——該模型是透過實際操作桌面來學習，而非僅依賴靜態截圖。

動作空間是開發者會關心的部分：滑鼠、鍵盤、捲動、等待、使用者互動與任務完成，其輸出與 pyautogui 相容。該模型在標準化的 1000×1000 座標空間中進行推理，參考代理程式會將其預測重新縮放回實際的螢幕截圖解析度，因此動作能克服不同機器之間的顯示縮放差異。模型自身的 README 建議使用 vLLM 在 OpenAI 相容端點後方提供服務。

與眾不同的功能：示範引導執行

大多數 GUI 代理程式只接受一種輸入：指令。UI-Mate 則接受第二種輸入，這種輸入在開放檢查點中確實罕見——即示範。正如專案頁面所言：「展示一次工作流程，讓代理程式根據當前任務進行調整。」

The mechanism is not video-in-context or a fixed action script. A demonstration records screenshots immediately before and after each keyboard or pointer action, and the pipeline then normalizes the trace into a consistent action-and-frame representation, annotates it with observations, intent, actions, and verification evidence, and segments it into named subtasks with completion criteria. At inference time that becomes a compact workflow injected for the active subtask — but the live screenshot stays authoritative throughout, so when the application state differs from the demo, the model re-plans rather than replaying.

騰訊已將此工作流程背後的檢查點作為其自身的公開模型：UI-Mate-democua-27B 模型卡片在同一組評估上將僅指令與單一示範的結果配對呈現，且其工具架構新增了 subtask_complete 動作——此即那些具名子任務背後的機制。在 OSWorkerBench 的 self-demo 子集上，單一示範將嚴格成功率從 17.17 提升至 35.35，進展從 67.85 提升至 81.14；在 OSWorld 子集上，進展從 40.27 提升至 65.75；在 GameDev 評估集中，平均分數從 76.76 提升至 81.15，而平均軌跡長度則從 303.6 步降至 253.1 步——示範在改善任務的同時也縮短了任務。該模型卡片報告顯示，示範改善了 33 個 self-demo 任務中的 28 個，並解決了四個在無引導下得分為零的任務。但如同貫穿全文的提醒：這些是該團隊自身的配對評估，取三到五次運行的平均值，且尚未有人複現。

這些數字——全部皆由廠商回報

僅依指令執行，直接來自模型卡：

• OSWorld-Verified 平均分數 — 77.0

• WindowsAgentArena 平均分數 — 66.2

• OSWorkerBench 嚴格成功 — 41.00

• OSWorkerBench 進度 — 76.86

OSWorkerBench is itself one of the three contributions in the paper: a new benchmark of 100 long-horizon office tasks across 41 applications, with 33 self-demo and 45 variant-demo subsets. It is a new evaluation, so there is no prior art to compare those two scores against. Against its own base model, UI-Mate-27B is claimed to beat Qwen3.6-27B by 17.7 points of strict success and 24.5 points of progress on OSWorkerBench — which is the cleanest apples-to-apples number in the whole release, since both models would run through the same harness.

上方的每個圖表都是{{1}}團隊自己的評估。目前{{2}}還沒有獨立評分，{{3}}沒有第三方重跑，{{4}}也因為零下載而{{5}}沒有社群重現。請將這裡的每個數字視為{{6}}一種主張，而非事實。

Where those numbers would sit — if they hold

WindowsAgentArena is the one that would be a genuine headline. The best publicly reported WAA results earlier in 2026 clustered around 61.0 (a modular system called VLAA-GUI, April 2026); the open-weight EvoCUA-32B from Meituan sat at 56.5, and ByteDance's closed UI-TARS-2 was in the low-to-mid 50s on the same board. A 66.2 on UI-Mate-27B's own eval would put it above everything that had been reported on this benchmark this year — open or closed. That is a strong claim, and it needs an independent rerun.

OSWorld-Verified 的 77.0 成績雖然亮眼，但並非公開排行榜上新的開放權重紀錄。在 2026 年 8 月初的 OSWorld-Verified 排行榜快照中，開放權重的 Holo3-35B-A3B 以 82.6 名列其中，其上方還有數個前沿封閉模型（Qwen3.8 Max 86.1，Claude Mythos 5 與 Claude Fable 5 85.0，Claude Opus 4.8 83.4）。因此，論文所稱的「最先進」只是針對其自身評測設置的主張，而非定論——不同的評測框架、動作解析器與自行上報的漂移，都讓 77.0 與 82.6 的比較只能靠獨立重跑來判定。若要知道一個 27B 開放模型取得 77.0 代表什麼：它會高於約 72.4 的人類專家基線，也高於同一排行榜上數個更大的前沿系統，包括拿下 72.7 的 Claude Opus 4.6 與 73.1 的 Kimi K2.6。

騰訊對這個領域並不陌生——它在 2026 年 2 月推出了 POINTS-GUI-G（一個 8B GUI 接地模型），於 5 月發表了 Marvis OS 助手，並在 6 月對 GUICrafter 電腦使用專案做出貢獻。UI-Mate 是一條獨立產品線，專門針對完整的桌面控制，也是騰訊首個以開放基礎模型形式推出的 GUI 代理，而非接地組件或產品。

如何執行它

此模型專為 vLLM 設計，模型卡提供了確切指令——`vllm serve tencent/UI-Mate-27B`，搭配張量並行大小 2 與 OpenAI 相容的聊天模板。有一個實務細節格外突出：Agent 預設會在上下文中保留五張截圖，因此伺服器在每個提示詞（prompt）中至少必須允許六張圖片，因為最新的截圖會在最早那張被收合之前送達。建議的旗標是 `--limit-mm-per-prompt`，設定為六張圖片與零影片。示範引導的檢查點以相同方式提供服務——其模型卡指明在 OpenAI 相容端點背後使用 vLLM 與 SGLang。

啟動後，Python 代理類別（UIMateAgent）會接收擷圖與指令，回傳回應與結構化動作，並將 1000×1000 的座標重新縮放回您的解析度。專案頁面也提供了適用於 macOS Apple Silicon 的應用程式，支援示範引導模式；這是嘗試「展示一次」工作流程最簡單的方式，無需自行建置測試框架。全程採用 Apache-2.0 授權，因此允許本機使用、微調及商業整合。

任何「如何執行電腦使用代理」的說明都應附上兩項警告，且兩者皆來自模型卡本身。請使用隔離或一次性環境。在進行任何敏感操作前要求人類確認，監控操作軌跡，切勿將模型回報的成功視為預期結果實際發生的證明。GUI 代理可能誤點，而透過螢幕內容進行的提示注入是真實的威脅模型，而非假設性問題。

圍繞新 GUI 智能體的技術棧

UI-Mate 的所有檢查點都還沒上 OrcaRouter——這系列才推出幾天、下載數為零，其基礎模型 Qwen3.6-27B 也還沒有。目前沒有託管 API，所以如果你想這週跑一個，就得自己用 vLLM 服務。這在實驗室還行，但對生產環境來說形態不對。

生產級電腦使用管線很少只有單一檢查點。它是由一個規劃模型來決定下一步意圖、一個接地或視覺模型來讀取螢幕、GUI 代理本身，以及在子步驟失敗時的一個廉價後備方案——而這些元件全都是部署的模型，即使 GUI 代理是在本機執行。這種混合架構正是路由層的用武之地：透過單一 API 存取 200 多個託管模型、以 0% 加價直接轉嫁供應商列表價格，以及自動故障轉移，確保單一供應商的暫時性中斷不會拖垮長時間的代理執行。路由 DSL 還能讓你把多個模型組合成單一呼叫——前端放規劃模型、末端放廉價驗證器——不必在自己程式碼中拼接各家供應商。誠實的結論很簡單：驅動桌面的代理是本機的，但圍繞它決定該做什麼的模型是可路由的，而安全地試用全新未經驗證的檢查點，正是故障轉移的用途所在。

接下來要看什麼

有四件事會改變 UI-Mate-27B 的局面，依重要性粗略排列如下：

• An independent rerun of OSWorld-Verified and WindowsAgentArena. The WAA figure in particular is either a big deal or a harness artifact, and only an outside eval settles which.

• 正式的技術報告。目前的引用是佔位符，而完整的論文預計將揭露摘要僅簡略勾勒的資料引擎細節。

• Tencent's own announcement. A repo-first drop like this usually precedes something — a Marvis integration, a hosted offering, or a broader open-model push.

• 託管 API。目前三個檢查點的權重都已公開，但並未在任何地方提供服務——沒有騰訊端點，也沒有第三方推論供應商——因此自行託管仍是唯一途徑，只有騰訊發布公告或供應商接手才能改變現狀。

常見問題

什麼是 Tencent UI-Mate-27B？

UI-Mate-27B 是一個採用 Apache-2.0 授權、擁有 270 億參數的基礎 GUI 代理（agent），由騰訊 HY Frontier 多模態代理團隊打造，並從 Qwen3.6-27B 微調而成。它能即時觀看電腦桌面截圖、對畫面進行推理，並輸出與 pyautogui 相容的滑鼠和鍵盤操作。該模型於 2026 年 8 月 14 日靜默上架 Hugging Face——與 9B 姊妹模型及示範引導的 UI-Mate-democua-27B 一同發布——而且完全沒有對外公告，目前其基準測試數據也全部來自廠商自行報告。

示範引導執行與重播腳本有何不同？

Instead of executing a recorded macro, UI-Mate treats a demonstration as a captioned, subtask-structured workflow injected as guidance. The live screenshot stays authoritative, so when the app layout, content, or state differs from what was shown, the model re-plans rather than replaying stale coordinates. That is the mechanism behind the claimed jump from 17.2 to 35.4 strict success on the self-demo subset — and it is still a vendor claim until someone reproduces it.

Is UI-Mate-27B really state of the art for open-weight GUI agents?

That depends entirely on evaluation setup. Its WindowsAgentArena 66.2 would top the best publicly reported WAA results from earlier in 2026, but its OSWorld-Verified 77.0 sits below the open-weight Holo3-35B-A3B at 82.6 on the public board. The paper calls it a new open-weight state of the art; an independent rerun on a consistent harness is the only way to know.

Can I run UI-Mate-27B today?

Yes, if you serve it yourself: download the weights from Hugging Face — the 27B general checkpoint, the 9B, or the demonstration-guided UI-Mate-democua-27B — run the vLLM command from the model card (tensor-parallel size 2, six images per prompt), and drive it with the Python agent or the macOS app. There is no hosted API, and none of the checkpoints are on OrcaRouter yet — which, for models this new and this unverified, is a reasonable reason to keep them in an isolated environment for now.

對 UI-Mate-27B 的正確解讀不是「贏家」，而是「值得關注」。一個 27B 的開放權重模型宣稱在 WAA 取得領先，並搭配一個一次性示範工作流程，這在開放權重的電腦使用代理從玩笑話發展到觸手可及前沿的這一年裡，是很有意義的資料點。如今，示範引導的檢查點已是公開權重，而非專案頁面上的佔位符，「示範一次」的工作流程是你真的可以實際執行的。騰訊過去在發布上一直很謹慎，而這次的發布帶有將進行中的工作公開的樣貌。在沙盒中執行它、重新跑基準測試，並持續留意後續公告——這個故事的精采部分還在後頭。