LFM3-Omni-2B vs LFM2.5-VL-3B: 더 적게 보는 후속 모델

Liquid AI의 최신 멀티모달 모델은 대체한 모델보다 시각 성능이 더 나쁘다. RealWorldQA에서 LFM3-Omni-2B는 66.68점을 기록하고 LFM2.5-VL-3B는 73.1점을 기록한다. MMStar에서는 55.67점 대 63.3점이다. RefCOCO 지시 표현 포인팅에서는 73.55점 대 87.9점이다. MMBench에서는 73.68점 대 81.0점이다. 두 모델이 모두 보고한 다섯 개 벤치마크 중 네 개에서는 더 오래되고 더 큰 비전 전용 체크포인트가 더 우수하며, 그 격차는 노이즈가 아니다 — 항목에 따라 7점에서 14점 사이다. 두 모델 간 라우팅에 플랫폼 수수료가 추가되어서는 안 된다. 0% 마크업 공급자 목록 가격은 변경 없이 그대로 전달된다.

그것은 스캔들이 아닙니다. 더 작은 네트워크에 여러 작업을 한 번에 수행하도록 요청할 때 벌어지는 일이며, 이 두 체크포인트 중 하나를 선택하려는 누구에게나 가장 유용한 단 하나의 사실입니다. LFM3-Omni-2B는 비전 제품을 위한 업그레이드 경로가 아닙니다. 그것은 우연히 같은 패밀리 이름을 공유하는 다른 제품입니다.

서로 다른 작업을 수행하는 두 모델

혼란스러운 것은 이해할 만합니다. 두 모델이 같은 아이디어의 연속된 세대처럼 보이기 때문입니다. 둘 다 Liquid AI에서 나왔고, 둘 다 온디바이스 배포를 위해 만들어졌으며, 둘 다 비추론형이고, 둘 다 LFM Open License v1.0을 계승하며, 대략 동일한 메모리 예산을 겨냥합니다. LFM2.5-VL-3B는 2026년 8월 12일 비전-언어 전문 모델로 출시되었습니다. 2.6B 텍스트 백본에 400M SigLIP2 NaFlex 인코더를 결합한 모델로, 총 매개변수는 약 3.1B입니다.

2026년 10월 27일에 공개된 LFM3-Omni-2B는 애니투애니(any-to-any) 모델입니다. 텍스트, 이미지, 사운드트랙이 있거나 없는 비디오, 16kHz 오디오를 입력받아 텍스트, 24kHz 음성 또는 둘 다를 반환합니다. 비전은 전체 작업이 아니라 네 가지 입력 경로 중 하나입니다. 파라미터 예산은 3.1B에서 2.17B로 줄었지만 작업 수는 하나에서 네 개로 늘었으며, 그 계산 결과가 드러나는 곳은 비전 점수입니다.

• 매개변수 — LFM3-Omni-2B의 경우 2.17B dense이며, LFM2.5-VL-3B의 약 3.1B와 비교되는데, 이 중 400M은 비전 인코더입니다.

• 입력 — 텍스트, 이미지, 비디오 및 16kHz 오디오 vs 텍스트, 이미지 및 비디오.

• 출력 — 텍스트 및 24kHz 음성 대 텍스트 전용.

• 컨텍스트 — 32,768 토큰 vs 32,768 토큰. 동일하며, 둘 다 입력과 출력을 합산합니다.

• 비전 예산 — 이미지당 2,048개의 비전 토큰, 네이티브 해상도 대 네이티브 해상도 512픽셀 패치 및 썸네일 경로.

• 포지셔닝 — 4개 모델 파이프라인을 대체하는 옴니와 OCR, UI 이해 및 시각적 질의응답을 위한 전용 VLM의 비교.

• 라이선스 — 두 경우 모두 LFM Open License v1.0이며, 상업적 사용을 규율하는 매출 기준액도 포함됩니다.

숫자가 실제로 겹치는 곳

서로 다른 연구소의 모델 간 벤치마크 비교는 대개 정직하지 않다. 평가 하네스가 다르기 때문이다. 이번 비교는 대부분보다 더 깔끔하다. 두 체크포인트 모두 같은 회사에서 동일한 비추론 모드로 평가했고, 둘 다 동일한 데이터셋 다섯 개를 보고한다. 그렇다고 해서 숫자들이 독립적이 되는 것은 아니다 — 실제로 독립적이지 않다 — 하지만 적어도 서로 비교 가능하게 만들어 주는데, 교차 연구소 표에서는 좀처럼 그렇지 않다.

• RealWorldQA — LFM3-Omni-2B는 66.68, LFM2.5-VL-3B는 73.1입니다. 일상 장면 질문에서 6.4포인트 하락했습니다.

• MMStar — 55.67 대 63.3. 데이터 오염에 저항하도록 설계된 벤치마크에서 7.6포인트 하락.

• MMBench — 73.68 대 81.0. 광범위한 멀티모달 역량에서 7.3포인트 하락.

• RefCOCO 포인팅 — 73.55 대 87.9. 이미지에서 이름이 지정된 객체를 찾는 작업에서 14.4포인트 하락으로, 전체 세트 중 가장 큰 격차입니다.

• DocVQA — 92.47 대 91.1. 예외: LFM3-Omni-2B는 문서 질의응답에서 1.4점 앞선다.

DocVQA 결과는 이것이 단순한 "새 모델이 더 나쁘다"는 이야기로 끝나지 않게 해 주는 부분이다. 문서 텍스트는 통합 모델이 고해상도로 한 페이지를 읽고 이를 한 번의 패스로 추론하는 능력이 파이프라인을 이길 수 있는 작업이며, 동시에 Liquid의 이미지당 2,048토큰 상한이 가장 큰 타격을 줄 것으로 예상되는 작업이기도 하다. 그럼에도 옴니 모델이 거기서 이긴다는 점은 시각 성능 저하가 모든 작업에 걸쳐 균일하지 않다는 것을 시사한다. 그것은 공간 및 참조 작업에 집중되어 있는데, 이는 전용 시각 처리 능력이 더 적은 모델이 어려움을 겪을 것으로 예상하는 바로 그 지점이다.

추가 모달리티에 드는 비용

오디오 경로는 공짜가 아니며, 이 카드는 비용이 어디에서 발생하는지 유난히 명확하게 보여준다. 32K 컨텍스트는 모든 모달리티에 걸쳐 공유된다. 초당 2프레임으로 384프레임을 처리하는 비디오는 질문을 던지기도 전에 윈도우의 대부분을 소비한다. 이미지는 각각 2,048개의 시각 토큰으로 제한되며, 이는 사진 속의 빽빽한 텍스트를 읽기 위한 대략적인 해상도 상한이다. 비전 전용 모델은 동일한 32K 컨텍스트를 갖지만 그중 어느 것도 오디오에 쓸 필요가 없다.

음성 출력은 벤치마크와는 전혀 무관한 두 번째 고려 사항을 더합니다. LiquidCodec은 생성된 토큰을 실시간보다 빠르게 24kHz 오디오로 변환하며, 이것이 스트리밍 음성 응답을 가능하게 합니다. 그러나 모델 카드는 텍스트 출력용 SGLang 서빙만 문서화하고 있으며, 음성 분기가 어떻게 서빙되는지는 설명하지 않습니다. 자체 인프라에서 음성 답변이 필요하다면 모델의 그 절반에 대한 참조 구현이 누락되어 있습니다. LFM2.5-VL-3B와 비교해 보십시오. 이 모델에는 1년치 툴링이 뒷받침되어 있습니다 — GGUF, MLX, vLLM, SGLang, ONNX, 그리고 3.3GB 미만의 메모리에서 M5 Max 상에서 초당 228토큰이라는 보고가 있습니다.

성숙도는 벤치마크 항목 하나가 아니지만, 배포를 결정한다. 오늘 어디서나 실행되는 모델이 내일 단일 경로에서만 실행되는 모델보다 낫다. 단, 추가 모달리티가 바로 당신이 그곳에 있는 이유라면 예외다.

선택하는 방법

스크린샷을 읽거나, 문서를 파싱하거나, 객체를 가리키거나, 카메라 피드에 대해 질문에 답하는 작업이라면 LFM2.5-VL-3B가 더 나은 모델이며, 중요한 항목에서는 격차가 크게 벌어진다. 특히 14포인트 RefCOCO 격차는 로보틱스나 UI 자동화 사용 사례에서 논의를 끝내기에 충분하다. 대안이 2.17B 모델이 용량의 3분의 1을 귀와 입에 쓰는 상황이라면 3.1B 파라미터라는 점은 손해가 아니다.

작업이 사람이 기기에게 말하고 기기가 다시 말하는 것을 포함한다면 — 키오스크, 휴대폰 어시스턴트, 손이 바쁜 현장 도구 — LFM3-Omni-2B는 LFM2.5-VL-3B가 어떤 파라미터 수에서도 할 수 없는 일을 하고 있습니다. 이는 더 나쁜 비전 모델을 선택하는 것이 아니라, 네 개의 모델을 하나로 합치는 선택이며, 그 합침의 대가로 비전 성능 저하를 받아들이는 것입니다.

벤치마크 표가 분명히 보여주는 세 번째 선택지가 있습니다: 둘 다 실행하는 것입니다. 프레임에는 비전 전문 모델을, 대화에는 옴니 모델을 쓰는 것이죠. 이는 체크포인트 두 개와 BF16 기준 약 7.4 GB이며, 여전히 중급 GPU 한 대의 메모리 안에 들어갑니다. OrcaRouter의 라우팅 DSL은 바로 이런 조합을 위해 존재합니다 — 하나의 엔드포인트에서 이미지와 텍스트 요청은 전문 모델로, 음성 요청은 옴니 모델로 보내는 규칙을 두고, 어느 경로든 실패하면 자동 페일오버하는 방식입니다. 현재 우리 카탈로그에는 두 체크포인트 모두 없으므로, 이는 약속이라기보다 하나의 패턴입니다. 요점은 "어떤 모델"이라는 질문에 어느 벤더의 출시 글에도 언급되지 않은 세 번째 답이 있다는 것입니다.

평결

LFM3-Omni-2B는 2.17B 파라미터에서 진정한 엔지니어링 성과이며, 시각적 요소가 주를 이루는 모든 애플리케이션에서 LFM2.5-VL-3B를 대체하기에는 부적절합니다. 이 둘을 정직하게 해석하는 방식은 Liquid 자체 제품 라인의 분기로 보는 것입니다. 한 갈래는 보는 것에 최적화되어 있고, 다른 갈래는 대화에 참여하는 것에 최적화되어 있습니다. 패밀리 이름과 공유 라이선스 때문에 이들은 연속된 제품처럼 보입니다. 벤치마크 표는 이들이 형제라고 말하며, 형제 중 더 오래된 쪽이 자신이 만들어진 목적에 더 뛰어납니다.

그 판단을 바꿀 것은 독립적 평가다. 위의 비교 전체가 Liquid가 자사 두 모델에 관해 산출한 수치에 전적으로 기반하고 있기 때문이다. omni 모델이 이 데이터셋들의 더 어려운 변형에서 평가되었거나, 불리한 모드로 평가되었을 가능성은 있다. 모델 카드에는 그런 암시가 없고, 5개 행 중 4개가 일관된 방향을 보이는 점은 그 가능성에 반한다. 회사 외부의 누군가가 두 표 중 하나라도 재현하기 전까지, 가장 안전한 해석은 가장 단순한 해석이기도 하다. specialist는 더 잘 보고, omni 모델은 더 잘 듣는다.