LLaDA-UI, 조용히 출시되다: inclusionAI의 Diffusion GUI 에이전트, 이제 다운로드 가능

LLaDA-UI — inclusionAI가 개발한 약 167억 개 파라미터 규모의 mixture-of-experts(MoE) GUI 에이전트 — 가 2026년 9월 6일 아무런 발표도 없이 Hugging Face에 등장했다. 이 모델이 다시 눈여겨볼 만한 이유는 침묵이 아니라 그 뒤에 숨은 메커니즘에 있다. 컴퓨터 사용(computer-use) 연구를 주도하는 자기회귀(autoregressive) 비전-언어 모델들은 다음 행동을 토큰 하나씩 작성하지만, LLaDA-UI는 확산(diffusion) 방식으로 단계마다 행동 토큰 블록 전체를 노이즈 제거한 다음에야 답을 확정한다. 개발사는 이를 실용적이고 오픈 가중치(open-weight)를 갖춘 확산 GUI 에이전트라고 소개한다. 아래의 모든 내용은 그 정체에 따라 표시되어 있다: 직접 확인할 수 있는 저장소(repository)의 사실, 연구소 밖에서는 아무도 재현하지 못한 기술 보고서의 주장, 그리고 여전히 진정으로 해결되지 않은 공백(gap)들 — 그중 가장 대표적인 것이 라이선스 누락이다.

출시 시점이 중요한 이유는 이것이 이제 하나의 패턴이기 때문이다. inclusionAI는 LLaDA 계열 확산 언어 모델을 개발한 Ant Group 산하 연구소로, LLaDA-Image와 LLaDA-Image-Turbo 이미지 체크포인트를 공개한(9월 4일) 같은 주에 LLaDA2.2-mini 에이전트 모델(9월 5일)을 공개했고, 9월 6일에는 inclusionAI/LLaDA-UI 저장소를 생성했다. 사흘 동안 세 개의 모델 제품군이 나왔지만, 그 어느 것에도 출시를 알리는 게시물이 선행하지 않았다. LLaDA-UI의 경우, 실제 출시의 증거는 바로 저장소 자체다. safetensors 가중치가 존재하고 로드 가능하며, 추론 코드와 SGLang 서빙 레시피가 함께 제공되고, 기술 보고서와 프로젝트 페이지도 존재한다. 다만 공급업체의 발표도, 라이선스도 없으며 — 이 글을 쓰는 시점에 다운로드 수가 여전히 한 자릿수인 상황에서 — 더 넓은 세상이 아직 이를 알아차렸다는 조짐도 없다.

배송되었지만 발표되지 않음

inclusionAI/LLaDA-UI 저장소는 9월 6일 05:08 UTC에 생성되었으며, 자리 표시자가 아니라 완전하고 독립적인 모델 배포본입니다. 트리에는 21개의 파일이 있습니다: 총 약 169억 개의 파라미터에 해당하는 7개의 BF16 safetensors 샤드(모델 카드에는 약 167억 개로 반올림 표기), 토크나이저 및 설정 파일, 그리고 중요한 것은 모델 자체의 Python 소스(modeling_llada2_vl_moe.py 및 configuration_llada2_vl.py)입니다. 해당 아키텍처는 llada2vl 모델 유형 아래 LLaDA2MoE_VLForConditionalGeneration으로 등록되며, 이러한 파일들이 저장소 내부에 포함되어 있기 때문에 이는 기본 Transformers 아키텍처가 아닙니다. 즉, 로드하려면 저장소를 클론하거나 허브의 원격 코드 경로를 통해 사용자 지정 코드를 가져와야 합니다.

리포지토리가 담고 있지 않은 것 역시 그 자체로 정보를 준다. 모델 카드에는 라이선스 태그가 없고 트리에도 LICENSE 파일이 없어서, 상업 팀이 가장 먼저 묻는 표준 질문 — 이 가중치로 무엇을 할 수 있는가? — 에는 아직 답이 없다. 논문은 GitHub 리포지토리 안에 PDF로 배포되는 기술 보고서로서 프로젝트 페이지에서 링크로 연결되어 있다. arXiv에는 아직 올라오지 않았다(페이지에는 여전히 "SOON"이라고 적혀 있다). 그리고 우리가 찾을 수 있는 추론 제공 업체 중 이 모델을 서빙하는 곳은 없다. Hugging Face 카드에는 배포된 추론 제공자가 없다고 나와 있으며, 이는 현재 LLaDA-UI가 API를 통해 호출할 수 있는 것이 아니라 다운로드하여 자체 호스팅하는 릴리스라는 뜻이다. 우리도 이 모델을 호스팅하지 않는다. 이 글의 어떤 내용도 우리가 호스팅한다는 주장으로 읽혀서는 안 된다.

이미지 모델처럼 디코딩하는 GUI 에이전트

디자인이 곧 이야기이므로, LLaDA-UI가 비교 대상인 자기회귀(autoregressive) GUI 모델들과 어떻게 다른지를 정확히 짚어볼 가치가 있다. 전형적인 컴퓨터 사용 모델(Qwen2.5-VL-7B나 Qwen3-VL-8B, 또는 호스팅형 컴퓨터 사용 제품의 기반 VLM)은 스크린샷과 지시문을 받아 액션 문자열이 완성될 때까지 왼쪽에서 오른쪽으로 토큰을 하나씩 예측한다. 따라서 지연 시간은 응답의 토큰 수에 비례한다. 반면 LLaDA-UI는 전체 응답을 처음에는 마스킹되어 있다가 점진적으로 노이즈가 제거되는 하나의 블록으로 취급한다. 각 디코딩 단계는 여러 토큰을 병렬로 정제하며, 고정된 단계 수(기준 스크립트는 블록 길이 32에 32단계를 사용)를 거치고 나면 추론과 행동이 결합된 전체 문자열이 드러난다. 이는 그 연구소가 이미지 생성에서 취했던 것과 동일한 개념적 접근을 GUI 행동에 적용한 것이다.

내부적으로 이 스택은 네이티브 해상도의 비전 인코더, 공간 프로젝터, 확산 언어 모델로 구성되어 있습니다. 비전 인코더는 SigLIP에서 초기화된 ViT로서 2D 회전 위치 임베딩이 적용되며 스크린샷의 원본 화면 비율로 실행됩니다. 카드가 IMAGE_MAX_PIXELS를 12,845,056으로 설정하므로 다운스케일링 전 입력은 약 12.8메가픽셀이 됩니다. 이는 조밀한 데스크톱 UI의 작은 클릭 대상에 중요한 의미가 있습니다. 그 출력은 공간적으로 4:1로 그룹화되어 2계층 MLP 프로젝터를 통과한 뒤 언어 백본으로 전달되는데, 그 언어 백본이 바로 LLaDA2.0-mini MoE 확산 언어 모델입니다. 따라서 Hugging Face 사이드바에 표시되는 '17B params'는 혼합 전문가(mixture-of-experts) 모델이며, 각 순방향 패스에서 파라미터의 일부만 활성화됩니다. 그래서 아래에서 설명할 지연 시간이 그럴듯하게 들리는 이유도 여기에 있습니다.

이 학습 레시피는 서류상으로는 이례적으로 경제적이어서 주목할 만하다. 기술 보고서에 따르면, 멀티모달 백본은 약 1,450억 개의 토큰으로 세 단계 커리큘럼을 거쳐 사전 학습되었다. 즉, 짧은 프로젝터 전용 정렬 단계, 그다음 지각 위주의 전체 모델 단계와 추론 위주의 전체 모델 단계가 이어진 뒤, UI-Venus 프로젝트에서 확보한 600만 개 이상의 샘플로 GUI 에이전트 지도 미세 조정이 수행되었다. 이 샘플들은 100개 이상의 중국어 모바일 애플리케이션, 70개 이상의 영어 모바일 애플리케이션 외에도 데스크톱 및 웹 데이터를 망라한다. 개발사 측은 1,450억 개의 토큰은 자기회귀(autoregressive) 계열 경쟁 모델들이 소비한 양의 일부에 불과하다고 설명한다(보고서는 Qwen2.5-VL의 4.1조 개와 Qwen3-VL의 2.2조 개를 인용). 토큰 수와 데이터 구성은 어디까지나 연구소의 자체 주장으로 간주해야 한다. 독립적으로 확인할 수 있는 것은 모델이 존재하고 실제로 실행된다는 사실뿐이다.

그것이 실제로 방출하는 것

LLaDA-UI에는 두 가지 출력 모드가 있으며, 그 차이는 파이프라인에 어떻게 연결하느냐에 따라 중요합니다. grounding 모드에서 모델은 단일 포인트, 즉 대상에 대해 [0, 999] 범위로 정규화된 정수 좌표(예: [742, 186])를 반환하며, 참조 스크립트는 이 값을 스크린샷의 너비와 높이에 곱할 0~1 분수로도 출력합니다. 요청된 대상이 이미지에 없는 경우 모델은 위치를 지어내지 않고 [-1, -1]로 답하도록 훈련됩니다. 이는 에이전트 루프에서 작지만 중요한 신뢰성 속성입니다. 에이전트/내비게이션 모드에서 모델은 추론 태그와 구조화된 액션을 차례로 생성합니다.

<think>검색창은 페이지 상단, 로고 아래에 있습니다.</think><action>Click(box=(742, 186))</action>

동작 어휘는 플랫폼(모바일, 데스크톱, 웹)별로 정의되며, 필드 이름과는 달리 box는 사각형이 아니라 단일 상호작용 좌표를 담고 있습니다. think/action 분리는 모델이 클릭을 실행하기 전에 현재 화면에서 결정을 근거 지을 수 있게 해주며, 좌표 기반 출력은 결과가 별도의 파서가 해석해야 하는 자유 형식 지침이 아닌, 기계가 파싱 가능한 형태로 유지되도록 합니다.

표시된 벤치마크 주장

기술 보고서의 핵심 결과는 확산 GUI 모델이 자기회귀 모델을 그들만의 영역에서 이겼다는 일련의 주장입니다. 여기서는 공급업체가 보고한 대로 기술 보고서와 프로젝트 페이지에서 정확히 재인용하며, 이 중 어떤 것도 독립적으로 재현되지 않았습니다. 아래 수치는 별도로 명시되지 않는 한 LLaDA-UI 대비 Qwen3-VL-8B의 비교입니다:

• ScreenSpot-Pro (grounding) — LLaDA-UI 52.9 vs Qwen3-VL-8B 52.7, 근소한 우위.

• AndroidWorld (모바일 에이전트) — LLaDA-UI 53.5 vs Qwen3-VL-8B 47.9.

• MobileWorld (모바일 에이전트) — LLaDA-UI 25.6 vs Qwen3-VL-8B 9.4, 보드에서 가장 큰 격차.

• WebVoyager(웹 에이전트) — LLaDA-UI 56.9 vs Qwen3-VL-8B 45.2.

이들은 보고된 6개 GUI 벤치마크 중 4개입니다. 보고서는 LLaDA-UI가 나머지 두 개에서는 Qwen3-VL-8B를 앞서지 못한다는 점을 솔직히 인정합니다. ScreenSpot-V2는 근소한 차이이며, OSWorld-Verified는 여전히 격차로 남아 있습니다. 저자들은 이는 작은 대상을 포함한 매우 큰 스크린샷에서의 성능 저하 때문이라고 분석합니다. 이전 모델인 Qwen2.5-VL-7B와 비교해서는 그 주장이 무조건적입니다. 보고된 6개 벤치마크 모두에서 승리합니다. 속도에 대한 주장도 있습니다. 실험실은 동일한 하드웨어에서 캐시되지 않은 서빙 실행을 쌍으로 진행해 측정한 결과, LLaDA-UI는 응답당 4.8~6.4초가 걸렸고, Qwen3-VL-8B는 17~53초가 걸렸습니다. 이는 웹 입력에서 평균 3.58배, 데스크톱에서 6.83배, 모바일에서 8.95배의 속도 향상으로 인용됩니다. 보고서에 따르면 호출당 더 많은 토큰을 생성함에도 병렬 블록 디코딩이 답변이 더 길 때조차 벽시계 시간에서 우위를 지니기 때문입니다.

레이턴시 주장도 정확도 수치와 마찬가지로 회의적으로 바라봐야 한다. 확산 디코딩의 병렬 블록 이점은 기계적으로 실제이며, 효과의 방향——응답당 순차 단계가 더 적다는 점——은 아키텍처의 작동 방식과 일치한다. 그러나 3.6배에서 9배의 속도 향상은 해당 모델을 구축한 사람들이 자신들이 선택한 하드웨어에서 측정한 것이며, 아직 독립적으로 재현되지 않았다. 정확도 격차도 중요하다: OSWorld-Verified는 이 분야에서 현실적인 데스크톱 에이전트 테스트에 가장 가까운 것이며, 바로 그 지점에서 저자들이 모델이 어려움을 겪는다고 말하는 곳이 작은 대상이 있는 대형 스크린샷이다. 모바일과 웹에서는 뛰어나지만 조밀한 데스크톱 UI에서는 실수가 발생하는 GUI 에이전트는 일반적인 강점 프로필이 아니라 특정한 강점 프로필이다.

실행 방법과 아직 빠진 것이 무엇인지

직접 LLaDA-UI를 사용해 보고 싶다면, 가중치(weights) 확보가 첫 단계입니다. 체크포인트는 BF16 기준 약 32GB입니다. 참조 환경은 Python 3.10, PyTorch 2.5.1, Transformers 4.51.0, FlashAttention 2.7.4.post1이며, 퀵스타트는 --gen-length 32 --steps 32 --block-length 32 설정으로 단일 이미지 grounding 패스를 실행합니다. 서빙은 SGLang을 통해 가능하지만, 연구소 자체 런처를 통해서만 가능합니다. 저장소에는 serve_llada_ui.sh와 클라이언트 스크립트가 포함되어 있는데, 이들은 LLaDA-UI 특유의 멀티모달 디퓨전 패치를 전제로 하며, 모델 카드에는 표준 SGLang 설치 환경에서는 시작할 수 없다고 명시되어 있습니다. 대형 스크린샷의 경우 기본 --max-length 값인 8192를 올려야 할 수도 있습니다. 이 모델은 저장소를 클론하고, 자신의 CUDA 환경에 맞춰 FlashAttention을 빌드하고, 디퓨전 디코드를 디버깅하는 데 익숙한 사람을 위한 모델입니다. 아직 한 줄 명령으로 호출되는 API는 아닙니다.

네 가지가 갖춰지면 독자가 LLaDA-UI로 할 수 있는 일이 달라지겠지만, 이 글을 쓰는 시점 현재 그중 어떤 것도 일어나지 않았다. 명시적 라이선스가 선언되면 지금은 답이 없는 상업적 이용 문제가 정리될 것이다. arXiv 등재는 저장소 안의 기술 보고서를 인용 가능하고 동료 검토 대상이 될 수 있는 자료로 바꿔 줄 것이다. ScreenSpot-Pro와 WebVoyager 수치를 독립적으로 재현하는 작업은 이 아키텍처의 실제 역량을 저자들의 평가와 갈라놓을 것이다. 그리고 실제로 모델을 서비스하는 제공업체가 나타나면 32GB 다운로드와 GPU 없이도 테스트할 수 있게 된다. 그 마지막 단계가 실현되고 나면 라우팅 문제는 일상적인 문제가 된다. 즉, 여러 모델 카탈로그에 하나의 API 키로 접근하고, 제공업체의 표시 가격을 마크업 없이 통과시키며, 사흘 된 체크포인트가 프로덕션 경로에 단독으로 놓이지 않도록 자동 장애 조치(failover)가 이뤄진다. 그때까지 LLaDA-UI는 주목할 만한 이례적으로 흥미로운 오픈 웨이트(open weights)다. 실제 벤치마크 주장을 지닌 확산 기반 GUI 에이전트이자, 구체적이고 정직하게 공개된 약점을 가졌으며, 오늘날 대부분의 팀이 도입할 수 있게 해 줄 법적·운영적 토대는 하나도 없다는 점에서 그렇다. 저장소에서 라이선스와 논문이 나오는지, 그 순서대로 지켜보라.