騰訊 UI-Mate-27B：低調的開放權重 GUI 代理，奪得 WindowsAgentArena 頂尖席位

2026年8月14日，騰訊的HY Frontier多模態智能體團隊在Hugging Face的tencent/組織下發布了三個檢查點——UI-Mate-27B、較小的UI-Mate-9B，以及演示引導的UI-Mate-democua-27B。四天後，任何地方仍沒有公告：沒有發布文章、沒有新聞稿、也沒有產品推文。對於一次低調發布來說，此次推出的內容異常完整：一個項目頁面、一個帶有可用測試框架的GitHub儲存庫，以及兩天前提交的arXiv論文——該論文稱這個較大的模型是桌面GUI控制領域中新的開放權重（open-weight）最佳水準。

這篇文章的一切內容都來自模型卡、GitHub 儲存庫、專案頁面和那篇論文——至今沒有任何部分被獨立複現。截至撰寫本文時，這些檢查點在 Hugging Face 上的下載次數為零，意味著我們很可能是騰訊以外第一批在紙面上認真看待它們的人。以下是在儲存庫中實際可得知的內容，以及那些在其他人實際執行之前仍無法確認的部分。

目錄

• 已發布的內容，以及尚未公布的內容

• UI-Mate-27B 實際上是什麼

• 與眾不同的功能：示範引導執行

• 這些數字——全部皆為廠商報告

• 這些數字會位於何處——如果它們成立

• 如何執行它

圍繞新GUI代理的技術棧

• 接下來要看什麼

• 常見問題

已發布的，以及尚未公布的

騰訊於2026年8月14日發布了UI-Mate-27B（270億參數、Apache-2.0授權、BF16 safetensors格式），與9B兄弟模型及示範引導檢查點UI-Mate-democua-27B一同發布。這兩個27B檢查點皆以Qwen3.6-27B為基礎建構，而Qwen3.6-27B本身是2026年4月發布的Apache-2.0多模態模型，代表從基礎模型到微調模型的整個技術堆疊都可商用。這些儲存庫的最後修改時間戳記顯示更新發生在本週，其中示範引導檢查點甚至到今天都還有改動，可見騰訊一直在積極投入開發。

目前為止已公開的資訊：

• UI-Mate-27B、UI-Mate-9B 和 UI-Mate-democua-27B 的權重可在 Hugging Face 上取得，每個都附有模型卡、評估表格和服務配方。

• 位於 ui-mate.github.io 的專案頁面，包含示範影片、使用指南，以及 macOS Apple Silicon 應用程式（DMG v0.2.4）。

• GitHub 儲存庫（github.com/Tencent/UI-Mate）包含官方提示詞、回應解析器與互動框架——卡片上明確說明這是「agent checkpoint 而非獨立的視覺對話模型」，並建議任何實際應用都應使用該框架。

• 一篇arXiv預印本（2608.15930），於8月16日提交，標題為「UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations」。

尚未公開的部分：騰訊本身沒有發表任何聲明——這是先以儲存庫（repo）發布，而非正式發表。專案頁面原本列為尚未公開的 demonstration-guided 變體，現在已在 Hugging Face 上提供權重：tencent/UI-Mate-democua-27B 儲存庫於 8 月 14 日的同一次推送中建立，被明確標記為該系列的 demonstration-guided checkpoint——這是一個獨立的模型，並非 27B 的重新命名。目前仍然沒有任何託管 API。這點至關重要：目前執行 UI-Mate 的唯一方式，就是下載權重並自行部署。

UI-Mate-27B 實際上是什麼

UI-Mate-27B 是一個基礎 GUI 代理，專為「跨應用程式與作業系統的長期任務」而設計。它觀察即時截圖，對可見狀態進行推理，並輸出結構化的鍵盤與滑鼠動作，以進行原生桌面互動。訓練過程先是監督式微調，接著在可執行的 GUI 環境中進行線上強化學習——該模型是透過實際操作桌面來學習，而非僅依賴靜態截圖。

動作空間是開發者會關心的部分：滑鼠、鍵盤、捲動、等待、使用者互動與任務完成，其輸出與 pyautogui 相容。該模型在標準化的 1000×1000 座標空間中進行推理，參考代理程式會將其預測重新縮放回實際的螢幕截圖解析度，因此動作能克服不同機器之間的顯示縮放差異。模型自身的 README 建議使用 vLLM 在 OpenAI 相容端點後方提供服務。

與眾不同的功能：示範引導執行

大多數 GUI 代理程式只接受一種輸入：指令。UI-Mate 則接受第二種輸入，這種輸入在開放檢查點中確實罕見——即示範。正如專案頁面所言：「展示一次工作流程，讓代理程式根據當前任務進行調整。」

該機制並非影片情境（video-in-context），也不是固定的動作腳本。示範過程會在每次鍵盤或指標動作之前與之後立即擷取螢幕截圖，接著管線將軌跡標準化為一致的「動作與幀」表示法，並以觀察、意圖、動作與驗證證據加以標註，再依完成條件將其分割為具名稱的子任務。推論時，該表示法會轉為注入目前子任務的簡潔工作流程——但即時螢幕截圖在整個過程中仍保有權威性，因此當應用程式狀態與示範不同時，模型會重新規劃而非重放。

騰訊已將此工作流程背後的檢查點作為其自身的公開模型：UI-Mate-democua-27B 模型卡片在同一組評估上將僅指令與單一示範的結果配對呈現，且其工具架構新增了 subtask_complete 動作——此即那些具名子任務背後的機制。在 OSWorkerBench 的 self-demo 子集上，單一示範將嚴格成功率從 17.17 提升至 35.35，進展從 67.85 提升至 81.14；在 OSWorld 子集上，進展從 40.27 提升至 65.75；在 GameDev 評估集中，平均分數從 76.76 提升至 81.15，而平均軌跡長度則從 303.6 步降至 253.1 步——示範在改善任務的同時也縮短了任務。該模型卡片報告顯示，示範改善了 33 個 self-demo 任務中的 28 個，並解決了四個在無引導下得分為零的任務。但如同貫穿全文的提醒：這些是該團隊自身的配對評估，取三到五次運行的平均值，且尚未有人複現。

這些數字——全部皆由廠商回報

僅依指令執行，直接來自模型卡：

• OSWorld-Verified 平均分數 — 77.0

• WindowsAgentArena 平均分數 — 66.2

• OSWorkerBench 嚴格成功 — 41.00

• OSWorkerBench 進度 — 76.86

OSWorkerBench 本身就是論文中三項貢獻之一：一個涵蓋 41 個應用程式、100 項長時程辦公室任務的新基準測試，包含 33 個自示範子集與 45 個變體示範子集。這是一項全新的評估，因此沒有既有的成果可以作為這兩個分數的比較基準。相對於其自身的基礎模型，UI-Mate-27B 宣稱在 OSWorkerBench 上以嚴格成功率 17.7 分、進展 24.5 分的差距勝過 Qwen3.6-27B——這是整個發布中最純粹的同類互比數字，因為兩個模型都在相同的測試框架下運行。

上方的每個圖表都是{{1}}團隊自己的評估。目前{{2}}還沒有獨立評分，{{3}}沒有第三方重跑，{{4}}也因為零下載而{{5}}沒有社群重現。請將這裡的每個數字視為{{6}}一種主張，而非事實。

那些數字會落在哪裡——如果它們站得住腳的話

WindowsAgentArena 才是真正能登上頭條的消息。2026 年初公開報導的最佳 WAA 成績約落在 61.0（一個名為 VLAA-GUI 的模組化系統，2026 年 4 月）；美團的開放權重 EvoCUA-32B 為 56.5，而字節跳動的封閉式 UI-TARS-2 在同一榜單上落在 50 分中低段。在 UI-Mate-27B 自己的評測上拿到 66.2，將使它超越今年這個基準上所有已公開的成績——無論開放或封閉。這是個很強的主張，需要獨立重跑驗證。

OSWorld-Verified 的 77.0 成績雖然亮眼，但並非公開排行榜上新的開放權重紀錄。在 2026 年 8 月初的 OSWorld-Verified 排行榜快照中，開放權重的 Holo3-35B-A3B 以 82.6 名列其中，其上方還有數個前沿封閉模型（Qwen3.8 Max 86.1，Claude Mythos 5 與 Claude Fable 5 85.0，Claude Opus 4.8 83.4）。因此，論文所稱的「最先進」只是針對其自身評測設置的主張，而非定論——不同的評測框架、動作解析器與自行上報的漂移，都讓 77.0 與 82.6 的比較只能靠獨立重跑來判定。若要知道一個 27B 開放模型取得 77.0 代表什麼：它會高於約 72.4 的人類專家基線，也高於同一排行榜上數個更大的前沿系統，包括拿下 72.7 的 Claude Opus 4.6 與 73.1 的 Kimi K2.6。

騰訊對這個領域並不陌生——它在 2026 年 2 月推出了 POINTS-GUI-G（一個 8B GUI 接地模型），於 5 月發表了 Marvis OS 助手，並在 6 月對 GUICrafter 電腦使用專案做出貢獻。UI-Mate 是一條獨立產品線，專門針對完整的桌面控制，也是騰訊首個以開放基礎模型形式推出的 GUI 代理，而非接地組件或產品。

如何執行它

此模型專為 vLLM 設計，模型卡提供了確切指令——`vllm serve tencent/UI-Mate-27B`，搭配張量並行大小 2 與 OpenAI 相容的聊天模板。有一個實務細節格外突出：Agent 預設會在上下文中保留五張截圖，因此伺服器在每個提示詞（prompt）中至少必須允許六張圖片，因為最新的截圖會在最早那張被收合之前送達。建議的旗標是 `--limit-mm-per-prompt`，設定為六張圖片與零影片。示範引導的檢查點以相同方式提供服務——其模型卡指明在 OpenAI 相容端點背後使用 vLLM 與 SGLang。

啟動後，Python 代理類別（UIMateAgent）會接收擷圖與指令，回傳回應與結構化動作，並將 1000×1000 的座標重新縮放回您的解析度。專案頁面也提供了適用於 macOS Apple Silicon 的應用程式，支援示範引導模式；這是嘗試「展示一次」工作流程最簡單的方式，無需自行建置測試框架。全程採用 Apache-2.0 授權，因此允許本機使用、微調及商業整合。

任何「如何執行電腦使用代理」的說明都應附上兩項警告，且兩者皆來自模型卡本身。請使用隔離或一次性環境。在進行任何敏感操作前要求人類確認，監控操作軌跡，切勿將模型回報的成功視為預期結果實際發生的證明。GUI 代理可能誤點，而透過螢幕內容進行的提示注入是真實的威脅模型，而非假設性問題。

圍繞新 GUI 智能體的技術棧

UI-Mate 的所有檢查點都還沒上 OrcaRouter——這系列才推出幾天、下載數為零，其基礎模型 Qwen3.6-27B 也還沒有。目前沒有託管 API，所以如果你想這週跑一個，就得自己用 vLLM 服務。這在實驗室還行，但對生產環境來說形態不對。

生產級電腦使用管線很少只有單一檢查點。它是由一個規劃模型來決定下一步意圖、一個接地或視覺模型來讀取螢幕、GUI 代理本身，以及在子步驟失敗時的一個廉價後備方案——而這些元件全都是部署的模型，即使 GUI 代理是在本機執行。這種混合架構正是路由層的用武之地：透過單一 API 存取 200 多個託管模型、以 0% 加價直接轉嫁供應商列表價格，以及自動故障轉移，確保單一供應商的暫時性中斷不會拖垮長時間的代理執行。路由 DSL 還能讓你把多個模型組合成單一呼叫——前端放規劃模型、末端放廉價驗證器——不必在自己程式碼中拼接各家供應商。誠實的結論很簡單：驅動桌面的代理是本機的，但圍繞它決定該做什麼的模型是可路由的，而安全地試用全新未經驗證的檢查點，正是故障轉移的用途所在。

接下來要看什麼

有四件事會改變 UI-Mate-27B 的局面，依重要性粗略排列如下：

• 對 OSWorld-Verified 和 WindowsAgentArena 的獨立重跑。尤其是 WAA 的數據，要麼意義重大，要麼只是測試框架的假象，只有外部評測才能確定是哪一種情況。

• 正式的技術報告。目前的引用是佔位符，而完整的論文預計將揭露摘要僅簡略勾勒的資料引擎細節。

• 騰訊自己的公告。這種先發布倉庫的做法通常預示著接下來會有動作——Marvis 整合、託管服務，或是更廣泛的開放模型推廣。

• 託管 API。目前三個檢查點的權重都已公開，但並未在任何地方提供服務——沒有騰訊端點，也沒有第三方推論供應商——因此自行託管仍是唯一途徑，只有騰訊發布公告或供應商接手才能改變現狀。

常見問題

什麼是 Tencent UI-Mate-27B？

UI-Mate-27B 是一個採用 Apache-2.0 授權、擁有 270 億參數的基礎 GUI 代理（agent），由騰訊 HY Frontier 多模態代理團隊打造，並從 Qwen3.6-27B 微調而成。它能即時觀看電腦桌面截圖、對畫面進行推理，並輸出與 pyautogui 相容的滑鼠和鍵盤操作。該模型於 2026 年 8 月 14 日靜默上架 Hugging Face——與 9B 姊妹模型及示範引導的 UI-Mate-democua-27B 一同發布——而且完全沒有對外公告，目前其基準測試數據也全部來自廠商自行報告。

示範引導執行與重播腳本有何不同？

與其執行錄製的巨集，UI-Mate 將示範視為一種帶有字幕、以子任務結構化的工作流程，並將其作為引導注入。即時截圖仍具權威性，因此當應用程式版面、內容或狀態與當初顯示的不同時，模型會重新規劃，而不是重播過時的座標。這就是所謂在自我示範子集上從 17.2 提升至 35.4 嚴格成功率的背後機制——而在有人重現之前，這仍然是廠商的宣稱。

UI-Mate-27B 真的是開放權重 GUI 代理中最先進的嗎？

這完全取決於評估設定。其 WindowsAgentArena 66.2 分數將位居 2026 年初公開報告的最佳 WAA 結果之上，但其 OSWorld-Verified 77.0 分數則低於公開排行榜上開放權重模型 Holo3-35B-A3B 的 82.6。論文稱之為新的開放權重最先進成果；唯有在一致的測試環境中獨立重跑，才能一探究竟。

我今天可以執行 UI-Mate-27B 嗎？

是的，如果您自己提供伺服：從 Hugging Face 下載權重——27B 通用檢查點、9B，或示範引導的 UI-Mate-democua-27B——執行模型卡中的 vLLM 命令（tensor-parallel 大小 2，每個提示六張圖片），並使用 Python 代理程式或 macOS 應用程式來驅動它。目前沒有託管 API，而且這些檢查點都尚未出現在 OrcaRouter 上——對於這麼新且未經驗證的模型來說，暫時將它們保留在隔離環境中是合理的。

對 UI-Mate-27B 的正確解讀不是「贏家」，而是「值得關注」。一個 27B 的開放權重模型宣稱在 WAA 取得領先，並搭配一個一次性示範工作流程，這在開放權重的電腦使用代理從玩笑話發展到觸手可及前沿的這一年裡，是很有意義的資料點。如今，示範引導的檢查點已是公開權重，而非專案頁面上的佔位符，「示範一次」的工作流程是你真的可以實際執行的。騰訊過去在發布上一直很謹慎，而這次的發布帶有將進行中的工作公開的樣貌。在沙盒中執行它、重新跑基準測試，並持續留意後續公告——這個故事的精采部分還在後頭。