SingVL_S1_4B vs LFM2.5-VL-3B: 문단에 대한 확률

다음과 같은 질문은SingVL_S1_4B가 LFM2.5-VL-3B를 이기는지에 관한 것인데, 이는 잘못된 질문이며, 그 질문에 굳이 답하는 것이 일주일을 낭비하는 가장 빠른 방법이다. 이 모델 중 하나는 이미지에 관한 문단을 써 내고, 다른 하나는 당신이 건네는 각 선택지에 대해 확률을 반환할 뿐 스스로는 한 단어도 내놓지 않는다. 그 차이는 리더보드에서 결판낼 품질 격차가 아니다. 그것은 어떤 벤치마크를 참조하기도 전에, 당신의 파이프라인 중 어느 것이 어느 모델을 사용할 수 있는지를 결정한다. 따라서 정직한 비교는 반대 방향으로 진행된다: 당신의 코드가 받아야 하는 것에서 시작해, 어느 모델이 그것을 만들어 낼 수 있는지 보라.

두 가지 서로 다른 반환 타입

Liquid AI의 LFM2.5-VL-3B는 일반적인 의미의 비전-언어 모델입니다. 이미지와 질문을 주면 토큰 단위로 답변을 생성하므로, 장면을 설명하거나 다중 턴 대화를 이어가고, 함수를 호출하며, 레이아웃 주석과 함께 한 페이지의 텍스트를 전사하거나, 지정한 객체의 바운딩 박스를 반환할 수 있습니다. 이 모델은 2026년 8월 12일 공개되었고, LFM2.5-2.6B 언어 백본과 SigLIP2 NaFlex 비전 인코더를 기반으로 구축되었으며, 온디바이스 배포를 명시적으로 겨냥합니다. Apple M5 Max에서 3.3GB 미만의 메모리로 초당 228토큰을 처리하며, 네이티브 체크포인트와 함께 GGUF, ONNX, MLX 빌드가 공개되었습니다.

inclusionAI의 SingVL_S1_4B는 2026년 11월 11일에 조용히 업로드되었으며, 한 가지 일을 단일 순전파로 수행합니다. 여기에 상태(텍스트, JSON, 최대 4개의 이미지)와 이름이 지정된 질문들의 사전을 주면, 각 질문은 유형(선택, "noul" 레이블 아래의 예/아니오, 또는 순서가 있는 2~10단계 점수)과 후보 답변들을 선언합니다. 모델은 후보별 확률을 반환합니다. 샘플링 단계도, 설정할 temperature도, 파싱할 출력도 없습니다. 모델 카드 자체도 API 예제에 이르기까지 처음부터 끝까지 그 용어로 작성되어 있습니다.

엔드포인트가 반환해야 하는 것이 "인보이스는 Acme에서 발행되었고 날짜는 3월이며 총액은 1,240.00입니다"라면, LFM2.5-VL-3B는 이를 할 수 있지만 SingVL_S1_4B는 할 수 없습니다. 엔드포인트가 {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}}를 반환해야 한다면 그 반대입니다. 이것이 결정의 전부이며, 아래의 모든 내용은 그 경계에 관한 것입니다.

표 없이 나란히 보는 스펙 시트

• 매개변수 — SingVL_S1_4B는 총 9.1GB인 두 개의 샤드에 걸쳐 BF16 기준 약 4.54B이며, LFM2.5-VL-3B는 3.1B로 2.6B 언어 백본을 갖추고 있습니다.

• 출력 — SingVL_S1_4B는 단일 포워드 패스에서 옵션별 확률을 반환합니다; LFM2.5-VL-3B는 생성된 텍스트, 도구 호출 또는 구조화된 레이아웃 주석을 반환합니다.

• 컨텍스트 — SingVL_S1_4B는 텍스트만 있을 때 입력 토큰 65,536개를 수용하지만, 이미지가 첨부되면 10,000개로 줄어듭니다. LFM2.5-VL-3B는 엔드투엔드로 32,768개 토큰을 표방합니다.

• 요청당 이미지 — SingVL_S1_4B는 최대 4개로 제한되며, 프로세서 최대치는 이미지당 1,806,336픽셀입니다. LFM2.5-VL-3B는 단일 및 다중 이미지 입력을 받고 큰 이미지를 512×512 패치와 썸네일로 분할합니다.

• 언어 — LFM2.5-VL-3B는 아랍어부터 베트남어까지 15개 언어를 나열합니다. SingVL_S1_4B의 카드에는 언어에 관한 주장이 전혀 없습니다.

• 라이선스 — LFM2.5-VL-3B는 LFM Open License v1.0에 따라 배포되며, 양자화된 파생 모델이 이미 유통되고 있습니다. 반면 SingVL_S1_4B는 라이선스 필드도, LICENSE 파일도 없이 배포됩니다.

• 배포 — LFM2.5-VL-3B는 네이티브, GGUF, ONNX 및 MLX 빌드를 제공하며, WebGPU 데모와 vLLM, SGLang, llama.cpp 경로도 있습니다. SingVL_S1_4B는 저장소를 복제한 뒤 자체 FastAPI 서버를 8173번 포트에서 실행하는 것을 의미합니다.

• 생태계 — LFM2.5-VL-3B는 8월부터 Hub에 있었고 커뮤니티 양자화와 포팅이 이루어졌습니다. SingVL_S1_4B는 작성 시점 기준 출시된 지 하루 된 모델이었으며 다운로드 수는 0이었습니다.

그중 두 줄은 겉보기보다 훨씬 결정적입니다. 첫 번째는 라이선스 줄입니다. 라이선스가 없는 저장소는 누구에게도 재배포하거나 출하할 권리를 부여하지 않으며, “공급업체가 아직 말하지 않았다”는 것은 컴플라이언스 검토에 넣을 수 있는 허가가 아닙니다. 두 번째는 배포 줄입니다. 휴대폰에서 실행되는 ONNX 빌드와 CUDA 장치를 요구하는 Python 서버는 파라미터 수가 무엇을 말하든 여러분의 아키텍처에서 같은 자리를 두고 경쟁하지 않습니다.

벤치마크 수치를 뺄 수 없는 이유

두 카드는 이름이 겹치는 데이터셋에 대한 점수를 보고하는데, 그 겹침은 함정이다. SingVL_S1_4B는 RealWorldQA에서 82.17, BLINK에서 72.11, MMMU-Pro vision에서 50.17, InfographicVQA에서 96.31을 보고한다. LFM2.5-VL-3B는 RealWorldQA에서 73.1, BLINK에서 61.5, MMMU Pro에서 30.5, ChartQA에서 81.3을 보고한다. 나란히 놓으면 일방적인 압승처럼 보인다. 그러나 그것은 그 무엇에 대한 비교도 아니다.

첫 번째 이유는 응답 방식입니다. 모든 SingVL_S1_4B 수치는 제공된 선택지 집합을 점수화하고 가장 높은 확률의 선택지를 고르는 방식으로 산출되는데, 이는 채점자가 나중에 대조해야 하는 자유 형식 답변을 생성하는 것보다 근본적으로 더 쉬운 작업입니다. Decision Index는 바로 이 점을 측정하며 그렇게 명시합니다. 점수는 우연 보정되어 있어 추측에는 아무 점수도 없지만, 모델은 여전히 문자열을 생성할 필요가 없고 다른 누군가가 작성한 후보들의 순위만 매기면 됩니다. 같은 질문에 처음부터 답하는 생성 모델은 차트의 같은 점수를 얻기 위해 더 많은 일을 하는 것입니다.

두 번째 이유는 누가 그것을 실행했는가입니다. 두 세트 모두 벤더가 보고한 것이며, 각 벤더 자체 하네스에서 나온 것입니다. 어느 쪽도 중립적인 연구소에 의해 재현된 적이 없습니다. SingVL_S1_4B는 게다가 나온 지 하루밖에 되지 않았고, Decision Index의 공개 재현 키트에 제출된 것이 없습니다 — 해당 카드에는 재현 키트를 만드는 지침이 포함되어 있는데, 이는 의도를 보여줄 뿐 아무것도 증명하지 않습니다. LFM2.5-VL-3B는 석 달 동안 사람들이 실행해 왔는데, 이는 감사된 수치와는 같지 않지만 적어도 그 수치가 낯선 사람들에 의해 검토되었다는 것을 의미합니다.

셋째는 버전 드리프트다. LFM2.5-VL-3B의 자체 카드는 OCRBench v2 수치를 영어 전용 하위 집합 기준으로 표시한다. SingVL_S1_4B의 InfographicVQA 행은 자체 정규화 방식을 가진 스위트 내에서 보고된다. 같은 데이터셋 이름을 가진 두 수치라도 하위 집합이 다르면 같은 수치가 아니며, 정직한 방법은 그 둘을 빼기를 멈추는 것이다.

효율성 주장은 오직 한쪽의 몫이다.

LFM2.5-VL-3B의 핵심은 정확도가 아니라 메모리 한도 내 처리량입니다. 3.3GB 미만에서 M5 Max에서는 초당 228토큰, Ryzen AI Max+ 395에서는 116토큰, Galaxy S26 Ultra에서는 20토큰입니다. 마지막 수치가 제품 설계에서 중요한데, 이는 기기에서 실행되는 기능과 왕복 통신이 필요한 기능을 가르는 차이이기 때문입니다. SingVL_S1_4B 저장소에는 이에 필적하는 주장이 없고, 그런 주장을 뒷받침할 양자화 빌드도 없습니다. 제공되는 것은 BF16 샤드와 서버 스크립트뿐입니다.

반대 측면은 단일 순방향 패스가 생성 모델이 따라올 수 없는 비용 구조를 가진다는 점이다. 한 질문에 대한 네 가지 선택지를 채점하는 것은 한 번의 패스이고, 200토큰 설명을 생성하는 것은 200번의 순차적 패스이다. 과제가 진정한 분류 — 이 문서가 영수증인가, 이 프레임에 사람이 있는가, 이 리스팅이 규정을 준수하는가 — 라면 SingVL_S1_4B의 설계는 결정당 더 저렴해야 하며, 파서가 견뎌야 하는 문장이 아니라 임계값이 작동할 수 있는 보정된 숫자를 반환한다. 그 이점은 구조적이며 벤더의 벤치마크가 맞는지에 달려 있지 않다. 또한 연구실 밖의 누구도 이를 측정한 적이 없으므로, 사실이 아니라 기대치로 다루어야 한다.

알아보는 데 드는 비용

LFM2.5-VL-3B는 오늘 오후 노트북에서 평가할 수 있습니다. MLX 빌드는 Apple silicon에서 실행되고, GGUF 빌드는 llama.cpp를 통해 CPU에서 실행되며, 다운로드하기 전에 먼저 살펴보고 싶다면 호스팅된 플레이그라운드도 있습니다. 전환 비용은 구성 파일의 모델 식별자 하나이며, 위험은 가중치가 라이선스되어 있고 형식이 표준이라는 사실로 인해 제한됩니다.

SingVL_S1_4B에는 GPU 하나와 설정에 반나절이 든다. Python 3.12, 사용 중인 카드에 맞는 PyTorch 빌드, 저장소 자체의 요구 사항, 사용 가능한 포트가 필요하다. 이 서버는 단일 경로 — POST /v1/systemone — 를 제공하며 평면적인 JSON 본문을 사용하는데, 연구용 산출물로서는 이례적으로 연결하기 쉽고, 모델 카드에는 텍스트와 이미지 요청 모두에 대해 작동하는 curl 예제가 실려 있다. 다만 기존 OpenAI 형식 클라이언트를 여기에 연결할 수는 없다. 그런 형식이 아니기 때문이다. 이 엔드포인트는 Decision Index 평가 키트를 위해 설계되었고, 그 키트도 이 엔드포인트를 위해 설계되었다.

그 비대칭성은 "무엇을 먼저 시도해야 할까"에 대한 실질적인 답입니다. 확률을 반환하는 모델이 파이프라인에 도움이 되는지 아직 입증하지 못했다면, 저렴한 실험은 이미 서비스 중인 대상에 이 패턴을 실행해 보는 것입니다. OrcaRouter는 TypeSafe Jev 1.14를 백만 입력 토큰당 $0.042에 제공하며 하나의 키로, 이는 한 시간 안에 자체 작업을 벤치마크할 수 있는 작동하는 결정 엔드포인트입니다, 호스팅할 체크포인트도, 에스컬레이션할 라이선스 문제도 없습니다. SingVL_S1_4B는 그곳에서 사용할 수 없습니다 — 호스팅 제공자가 전혀 없습니다 — 따라서 오늘 실제로 할 수 있는 비교는 "이 특정한 새 체크포인트가 이기는가"가 아니라 "내 데이터에서 타입 지정 결정 점수가 생성보다 나은가"입니다. 두 번째에 비용을 쓰기 전에 첫 번째 답을 먼저 얻으세요.

각자가 속한 곳

• 반드시 읽고 인용해야 하는 문서 — LFM2.5-VL-3B. 이 모델은 레이아웃 레이블과 함께 전사 결과를 생성하며, OCR 항목은 점수가 아니라 실제 역량입니다.

• {{1}}화면, 양식 및 GUI{{/1}} — LFM2.5-VL-3B. ScreenSpot-v2에서 80.7점과 이전 세대 대비 그라운딩 개선이 이번 릴리스의 핵심입니다.

• 휴대폰이나 노트북에서 실행되는 것 — LFM2.5-VL-3B, 그리고 대안은 서버가 필요하므로 비교 자체가 성립하지 않습니다.

• 비싼 호출 앞에 두는 게이트 — 어느 쪽이든, 그리고 호스팅할 수 있다면 SingVL_S1_4B의 형태가 더 잘 맞습니다. 게이트에는 확률이 필요하기 때문입니다.

• 고정된 분류 체계에 대한 다중 레이블 트리아지 — 원칙적으로 SingVL_S1_4B. 이 모델의 선택형 및 점수형 질문 유형은 분류 체계에 직접 대응되지만, 생성 모델은 프롬프트와 후처리를 통해 다시 분류 체계로 제약되어야 합니다.

• 모더레이션 — 어느 쪽도 노력 없이는 안 된다. SingVL_S1_4B 자체 카드는 스킬 프롬프트가 적용될 때 혐오 밈 행이 71.64에서 43.28로 급락하는 것을 보여 주는데, 이는 거짓 음성의 비용이 큰 바로 그 영역에서 프롬프트 민감성에 관한 경고입니다.

• 이번 분기 상용 배포 — LFM2.5-VL-3B, 라이선스 근거만으로도.

아직 측정되지 않은 부분

흥미로운 질문은 어느 모델이 더 나은가가 아니다. 둘은 같은 경쟁에 있지 않기 때문이다. 질문은 비전 백본 위에 훈련된 45억 매개변수 분류기가, 레이블과 신뢰도만 있으면 되는 좁은 작업 범위에서 범용 비전 모델과 맞먹을 수 있느냐다. 만약 그럴 수 있다면 많은 파이프라인의 비용 구조가 달라진다. 단일 순전파는 생성된 문단 하나와는 비용 차원이 다르기 때문이다. inclusionAI 밖에서는 아직 아무도 모른다. 저장소는 하루밖에 되지 않았고, 라이선스는 비어 있으며, 벤치마크는 연구소 자체의 것이다.

한편 범용 모델은 사용 가능하고, 라이선스가 있으며, 양자화되어 있고, 문서화되어 있으며, 휴대폰에서 실행할 수 있을 만큼 빠릅니다. 팀이 이 중 무엇을 프로덕션에 투입할지 물으면, 지금으로서의 답은 지루한 쪽이고, 흥미로운 쪽은 저장소가 붙은 하나의 가설입니다.