Xiaomi-Lens-0, 기성 트랜스포머에 편입되려 하지만 — 걸림돌은 자체 마스크 디코더

오늘 12:01 UTC에 50028번 풀 리퀘스트가 huggingface/transformers를 대상으로 열렸습니다. 저장소에서 가장 극적이지 않은 제목, "Add Xiaomi-Lens-0"이라는 제목으로 말이죠. 이는 스텁이 아닙니다. diff는 19개 파일과 4,251줄의 추가로 이어지는데, 그중 2,199줄은 단일 모델링 파일이고, 여기에 552줄의 테스트와 143줄짜리 문서 페이지가 더해집니다. 별것 아닌 부분은 그 상태입니다 — 열려 있고, 리뷰되지 않았으며, 병합되지 않았습니다. 흥미로운 부분은 그 뒤에 있는 모델인데, 이 모델은 출시 게시물도 없이 엿새째 Hugging Face에 올라와 있습니다. Xiaomi-Lens-0은 Qwen3.5-4B를 기반으로 구축된 4B 멀티모달 모델로, 영역 마스크를 토큰으로 씁니다. 그 실질적 결과는 좁지만 분명합니다. 이런 변경이 출시되기 전까지는 기본 Transformers 클래스로는 이 모델을 전혀 로드할 수 없습니다.

그 간극, 즉 모델이 다운로드 가능한 상태와 모델이 평범한 상태 사이의 간극은 앞으로 몇 주가 판가름할 것이다. 아래의 모든 내용은 Xiaomi가 공개한 것과 프레임워크 PR이 제안하는 것을 구분한다. 왜냐하면 이 둘은 서로 다른 수준의 확실성을 지니고 있으며, 지금까지의 보도는 이 둘을 함께 뭉뚱그려 왔기 때문이다.

Xiaomi가 실제로 출시한 것, 그리고 그 시기

그 공개는 닷새에 걸쳐 조각조각 이루어졌는데, 그것이 이번 발표가 제품 출시라기보다 연구 결과 공개처럼 읽힌 이유 중 하나다.

• 논문 — "Xiaomi-Lens-0 Technical Report", arXiv:2610.23279, 2026년 10월 16일 제출, 10월 19일 개정.

• 가중치와 코드 — 10월 21일 SeerRay-Lab/Xiaomi-Lens-0을 Hugging Face에 공개하며, GitHub에는 이에 대응하는 추론 저장소도 함께 공개합니다.

• 라이선스 — 가중치에는 Apache 2.0이 적용되며, 기본 Qwen3.5-4B 가중치도 Apache 2.0입니다. 모델 카드에서는 기본 모델을 Alibaba Cloud의 것으로, 수정 사항을 Xiaomi의 것으로 명시하고 있습니다.

• 팀 — Xiaoai Plus와 Xiaomi의 시각 이해 그룹인 SeerRay 팀으로 크레디트에 표기됩니다.

• 크기 — 제목, 논문, 카드 문구 전반에서 4B; Hugging Face 메타데이터는 BF16에서 5B 파라미터를 보고한다. Xiaomi는 이 불일치를 설명하지 않으며, 정직하게 해석하면 "4B"는 언어 백본을 가리키고 비전 타워가 포함된 전체 체크포인트는 더 높은 수치로 나온다는 뜻이다.

• 호스팅 — 카드 사이드바에는 해당 모델이 어떤 추론 제공자에 의해서도 배포되지 않았다고 표시됩니다. 자사 API도 없고 호출할 수 있는 호스팅 엔드포인트도 없습니다.

• 반응 — 가중치가 공개된 지 6일 만에 Hugging Face 저장소에서 최근 한 달간 다운로드 723회와 좋아요 25개를 기록했습니다.

제가 찾지 못한 것은 출시였습니다: Xiaomi 블로그 글도, 팀이 올린 스레드도, 제품 페이지도 없었습니다. 보도는 기술 보고서와 가중치가 공개된 뒤 나온 업계 기사로 거슬러 올라갑니다. 이는 모델의 시점을 특정하려는 사람에게 중요합니다 — 10월 16일은 논문이고, 10월 21일은 아티팩트이며, 둘 다 발표가 아닙니다.

마스크는 두 번째 모델이 아니라 하나의 토큰입니다

비전-언어 모델에서 픽셀 마스크를 얻는 일반적인 방법은 모델에 세그멘터를 덧붙이는 것입니다. 언어 측에서 박스나 포인트를 얻어 SAM 스타일 디코더 같은 것에 넘기고, 그 대가로 두 번째 네트워크와 두 번째 가중치 세트, 두 번째 순전파 비용을 치릅니다.

Xiaomi-Lens-0는 그것을 건너뜁니다. 모델은 특수 <|mask|> 토큰을 생성하며, 이 토큰의 은닉 상태, 즉 논문에서 시각적 잠재 표현이라고 부르는 값은 비전 인코더의 패치 그리드에 대한 쿼리로 사용됩니다. 단일 Transformer 정제 레이어, 선형 투영, 각 패치와의 내적, 그다음 두 번의 전치 컨볼루션 업샘플링 단계와 시그모이드가 이어집니다. 패치 특징은 공간 병합 이전에 추출되므로 그리드가 여전히 세밀하게 유지되며, 이미지당 한 번만 계산되어 응답의 모든 마스크 토큰에서 재사용됩니다.

학습은 2단계로 진행되며, 아키텍처가 분명해지면 별로 놀랄 만한 점은 없다. 1단계에서는 백본을 고정하고 사내 데이터와 Objects365, LVIS, PACO, PhraseCut, RefCOCO 계열 데이터로 마스크 디코더만 학습한다. 2단계에서는 표준 다음 토큰 목적식과 픽셀 BCE 및 Dice를 결합한 마스크 손실을 사용해 백본과 디코더를 공동으로 미세 조정한다.

신경 쓸 만한 결과는 파라미터 절약이 아닙니다. 그것은 마스크가 최종 답변에서만이 아니라 내부 추론에도 나타날 수 있다는 점입니다. Xiaomi는 사고의 연쇄가 영역을 참조하고 진행하면서 마스크를 내보내는 근거 기반 추론 트레이스로 학습합니다. 그래서 4B 모델이 "이 둘 중 제가 집어야 할 것은 어느 쪽인가"라는 질문에 마지막 문장에만이 아니라 중간 단계에도 마스크를 붙여 답할 수 있습니다.

벤치마크 표를 제대로 읽기

헤드라인 숫자는 강력하며, 모두 샤오미의 것입니다. 오늘 기준으로 Artificial Analysis 등재도, 아레나 순위도, 제3자 재현도 없습니다. 다음 내용은 측정된 사실이 아니라, 유난히 상세한 부록이 딸린 벤더의 주장으로 취급하십시오.

• Referring segmentation — 8개 RefCOCO / RefCOCO+ / RefCOCOg 분할 전반에서 평균 cIoU 81.4로, Qwen3-VL-Seg 4B의 78.6에 비해 높습니다. Xiaomi 자체 표에서 동일한 8개 분할에 대해 평균을 낸 SAM 3는 약 71.7입니다.

• 참조 이해(Referring comprehension) — Qwen3.5-4B 백본 대비 Prec@0.5에서 평균 5.6포인트 향상, RefCOCO+는 7.6포인트 상승.

• COCO 2017에서의 다중 인스턴스 그라운딩 — 평균 F1 63.9로, GroundingPI의 63.0과 Qwen3-VL 4B의 46.5를 앞섰습니다.

• 추론 분할 — ReasonSeg Test에서 68.0 gIoU, 비교 모델 중 최고.

• 체화된 지시 — RoboRefIt TestA에서 87.0 gIoU.

• 계산 — CountQA에서 50.6, 백본의 43.8에서 6.8 상승.

그중 두 가지는 다시 살펴볼 만합니다. 주변에 떠도는 요약들이 그것들을 납작하게 뭉개 버리기 때문입니다.

첫 번째는 COCO 다중 인스턴스 그라운딩입니다. Xiaomi-Lens-0은 평균 F1에서 GroundingPI를 앞서지만, 느슨한 IoU 0.50 임계값에서는 실제로 뒤집니다 — 80.4 F1 대 81.2입니다. 승리는 엄격한 쪽에서 나옵니다: IoU 0.95에서 27.4 F1 대 22.8입니다. 이는 질적으로 의미 있는 차이입니다. 이 모델은 더 많은 마스크가 아니라 더 타이트한 마스크를 생성하며, 느슨한 겹침만 확인하는 파이프라인은 그 개선을 보지 못할 것입니다.

두 번째는 LensBench로, 샤오미가 모델과 함께 공개한 1,200개 단위, 4,800개 명령어로 구성된 벤치마크입니다. 일반, 항공, 주행, 파노라마 이미지를 아우르며 사람의 검수를 거쳤고, RefCOCO를 벗어나 작업하는 사람에게 이번 릴리스에서 가장 유용한 자료입니다. 동시에 이 모델이 가장 돋보이지 않는 테스트이기도 합니다. 일반 이미지에서는 Qwen3.8-Max가 74.2 cIoU로 선두이며 Xiaomi-Lens-0은 63.9입니다. 암시적 명령어에서는 이 모델이 Qwen3.8-Max, GPT-5.6-Sol, Gemini-3.6-Flash, Seed-2.1-Pro에 이어 5위입니다. 샤오미가 자사 모델이 석권하지 못하는 벤치마크를 공개한 것은, 완벽한 성적표보다 더 가치 있는 일입니다.

4B 모델이 실제로 실패하는 지점

실패 방식은 무작위가 아니다. 그것은 대상을 이름으로 지칭하는 설명과 그것을 암시하는 설명 사이의 간극이다.

• 명시적에서 암시적으로 — LensBench에서 mask cIoU는 71.4에서 54.7로, box Prec@0.5는 85.0에서 70.0으로 떨어집니다.

• 파노라마 장면의 다중 타깃 — 논문에서 가장 성능이 낮은 구간으로, box Prec@0.5는 81.3에서 48.7로, cIoU는 71.8에서 48.9로 떨어집니다.

• 작고 가려지거나 모호한 영역 — 이 카드는 이러한 경우 예측이 객체를 놓치거나 부정확한 상자 및 마스크를 생성할 수 있음을 분명히 밝히고 있습니다.

• 계산 — CountQA에서 50.6은 6.8포인트 향상이며, 예의는 좋아졌지만 여전히 사실상 동전 던지기 수준이다.

제품에 이걸 연결하는 사람이라면 누구나 부딪히게 될 기계적인 주의점도 있습니다. 마스크는 원본 파일이 아니라 프로세서의 이미지 캔버스에서 디코딩됩니다. 추론 전에 크기를 조정하고 매핑을 반전하는 것을 잊으면, 마스크는 올바른 형태로 돌아오지만 잘못된 위치에 놓입니다. 이 카드에는 크기 조정과 좌표 매핑을 보존하라고 나와 있지만, 그렇게 하지 않으면 어떻게 되는지는 나와 있지 않으며, 그 답은 조용히 지나가고 그럴듯해 보이는 오류입니다.

풀 리퀘스트가 변경하는 것과 변경하지 않는 것

PR 50028은 10월 23일부터 진행 중이며 — 커밋은 네 개이고, 마지막 커밋은 풀 리퀘스트가 열리기 약 1분 전에 올라왔습니다. 이 PR은 구성 파일, 모듈형 파일, 2,199줄의 모델링 파일, 프로세서, 가중치 변환 스크립트, 모델·이미지 프로세서·토크나이저용 자동 매핑, 문서 페이지, 그리고 552줄의 테스트를 추가합니다. CI 봇이 이미 xiaomi_lens0에 대한 느린 테스트 스위트를 요청했습니다. 리뷰는 0건입니다.

병합되면 세 가지가 달라집니다. 로딩 방식은 Xiaomi 저장소를 대상으로 `pip install -e .`를 실행하는 대신 AutoModel과 AutoProcessor를 사용하는 방식이 됩니다. 모델은 사람들이 실제로 읽는 문서에 등재됩니다. 그리고 체크포인트를 다루기 전에 Transformers 클래스가 존재한다고 전제하는 생태계 도구 — 양자화, 어댑터, 학습 프레임워크 — 를 사용할 수 있게 됩니다.

병합되더라도 네 가지는 변하지 않는다. 여전히 bfloat16과 FlashAttention-2를 지원하는 CUDA GPU가 필요하다. 여전히 호스팅 엔드포인트가 없다. 마스크 디코딩은 여전히 일반 생성 호출이 아니라 프로세서를 통해 실행된다. 그리고 수치는 오늘날과 마찬가지로 벤더가 보고한 그대로 유지된다. 프레임워크 포팅은 평가가 아니라 패키징 이벤트이기 때문이다.

상태에 대해서도 솔직하게 말할 필요가 있습니다. 열린 PR은 기능이 아닙니다. Transformers는 자체적인 주기로 병합되며, 유지관리자들은 아직 의견을 내지 않았고, 이 정도 규모의 포팅은 일반적으로 반영되기까지 여러 차례의 과정을 거칩니다. 오늘 “Xiaomi-Lens-0가 이제 Transformers에서 작동한다”라고 쓰는 사람은 한 번의 병합만큼 틀린 셈입니다.

이번 주에 그것을 운영하는 데 필요한 것

공식 경로는 Xiaomi 자체 패키지이며, 실제 GPU 장비를 전제로 합니다.

• 설정 — Python 3.10 이상, bfloat16 및 FlashAttention-2를 지원하는 CUDA를 준비한 다음, 추론 리포지토리 안에서 pip install -r requirements.txt와 pip install -e .를 실행하세요.

• 단일 이미지 — infer.py는 체크포인트, 이미지, 텍스트 쿼리, 출력 경로를 입력받아 주석이 표시된 이미지와 생성된 텍스트를 작성합니다.

• 출력 형식 — 상자는 <bbox> 태그 내에서 0–1000 범위로 정규화되며, 마스크는 <mask> 태그 내에서 <|mask|> 토큰으로 출력되고, 사고 블록 내부의 모든 내용은 최종 오버레이에서 제외됩니다.

• 서빙 — vLLM 지원은 존재하지만, 텍스트 생성은 포트 8000, 마스크 디코딩은 포트 8001에서 실행되는 두 개의 같은 위치에 배치된 서비스로 운영됩니다. 클라이언트는 바이트 대신 이미지 경로를 전달하기 때문에 동일한 머신에 있습니다. MAX_PIXELS를 재정의하는 경우 두 서비스 모두 같은 값을 사용해야 합니다.

두 가지 커뮤니티 경로가 존재하며 어느 것도 샤오미의 것이 아닙니다. xiaomi-lens-mnn이라는 PyPI 패키지는 torch 의존성 없이 CPU에서 fp16 또는 int8로 MNN 상에서 추론을 재구현하며, 비공식 ComfyUI 노드 팩은 공식 코드와 비교해 비트 단위로 동일한 출력을 보고합니다. 둘 다 유용한 신호입니다 — 특히 MNN 포팅은 아키텍처가 단순히 감싸기만 하는 것이 아니라 재구현할 수 있을 만큼 단순하다는 점을 시사하기 때문입니다.

Xiaomi는 VRAM 수치도, 지연 시간 측정치도, 처리량 수치도 공개하지 않는다. 4B 모델에서 문제는 가중치가 아니다. 고해상도의 비전 타워와 마스크 디코딩 패스가 문제이며, 둘 중 어느 것도 공개된 비용이 없다. 이를 기준으로 플릿 규모를 산정하기 전에 측정하라.

이번 주에는 누가 다운로드해야 합니까?

자연어 설명에서 픽셀 단위로 정확한 마스크가 필요하고 하드웨어를 제어할 수 있다면, 이 모델은 허용적 라이선스 아래에서 이용할 수 있는 더 나은 4B 옵션 중 하나이며 가중치도 게이트되지 않습니다. 명시적 지시 관련 수치는 몇 배 더 큰 모델들과도 경쟁력이 있고, 이 아키텍처는 파이프라인에서 두 번째 네트워크 전체를 제거하며, Apache 2.0 덕분에 법률 검토도 짧습니다.

오늘 당장 호스팅형 세그멘테이션 엔드포인트가 필요하다면, 이것은 그게 아닙니다. Xiaomi-Lens-0은 OrcaRouter 카탈로그에 없습니다 — 우리는 이를 제공하지 않으며, 여기 어떤 내용도 그와 반대로 주장하는 것으로 읽혀서는 안 됩니다. 우리가 제공하는 것은 비교 세트입니다. 진짜 질문이 4B 오픈 모델이 여러분의 이미지에서 호스팅형 비전 모델을 이기는지 여부라면, 정직한 방법은 Lens-0을 로컬에서 실행하고 호스팅 쪽은 하나의 키로 호출하는 것입니다. Qwen3-VL-8B-Instruct, 예를 들어, 백만 입력 토큰당 $0.18, 백만 출력 토큰당 $0.70에 이용할 수 있으며, 공급자 정가로 마크업 없이 그대로 전달됩니다. 그리고 같은 키로 카탈로그의 나머지에도 접근할 수 있습니다. 두 번째 의견이 필요하거나 한 공급자가 성능이 저하될 때 자동 장애 조치가 필요하다면 말이죠. 여러분의 데이터로 수행하는 그 비교는 논문의 어떤 표보다도 더 가치 있습니다.

이 평가를 바꿀 수 있는 것은 무엇입니까

대략 중요도가 높은 순서대로 네 가지.

PR 50028의 병합입니다. 연구 산출물을 일반적인 Python 환경에서 로드할 수 있는 것으로 바꿔 주기 때문입니다. Xiaomi가 아닌 누군가가 LensBench 또는 RefCOCO에서 수행한 독립적인 평가입니다. 현재 수치는 저자가 한 명뿐이고, 논문 자체의 취약한 슬라이스들은 평균이 실제 분산을 가리고 있음을 시사하기 때문입니다. vLLM 또는 SGLang에서 두 서비스 구성을 하나의 엔드포인트로 축소하는 네이티브 마스크 경로입니다. 이는 데모와 배포의 차이입니다. 그리고 누구든 제공하는 호스팅 오퍼링입니다. 그러면 모델이 프로젝트가 아니라 하나의 항목이 될 것입니다.

그때까지 정확한 설명은 이렇습니다: Xiaomi-Lens-0은 실제로 다운로드 가능한 Apache-2.0 4B 모델로, 분할(segmentation)에 대해 독특하고 잘 문서화된 접근 방식을 갖추고 있고, 출시된 지 엿새 되었으며, 강력한 벤더 수치와, 모델을 미화하지 않는 공개 벤치마크, 그리고 아직 출시된 것이 아니라 제안 단계인 프레임워크 포트를 갖추고 있습니다. 이는 "Xiaomi가 방금 Segment Anything 킬러를 내놓았다"거나 "병합되기 전까지는 볼 것이 없다"는 말보다 아는 것이 더 유용합니다.