LFM3-Omni-2B 대 InternLumina U2: 두 모델, Omni의 두 가지 의미

LFM3-Omni-2B와 InternLumina U2는 둘 다 "omni"로 분류되지만 같은 사업을 하는 것은 아닙니다. Liquid AI의 21억 7천만 파라미터 모델은 텍스트, 이미지, 비디오, 오디오를 입력받아 텍스트 또는 24킬로헤르츠 음성을 내놓습니다. 상하이 AI 연구소의 InternLumina U2는 텍스트, 이미지, 비디오, 3D를 입력받아 텍스트 또는 이미지를 내놓습니다. 하나는 입이고, 다른 하나는 손입니다. 이 둘을 비교하는 거의 모든 글은 한쪽만 겨룰 수 있는 벤치마크에 분량을 쏟아붓는데, 그래서 유용한 질문은 더 좁고 답하기도 더 쉽습니다. "omni"의 어느 절반이 당신의 제품에 빠져 있나요?

두 릴리스는 또한 정반대 형태로 등장했으며, 이는 평소보다 더 중요하다. Liquid AI는 2026년 10월 27일 2B급 모델 6종을 다룬 단일 게시물에서 LFM3 패밀리를 발표했고, LFM3-Omni-2B는 별도 출시가 아니라 그 게시물의 한 줄이었다. 해당 모델의 가중치는 이미 10월 21일부터 공개 저장소에 올라와 있었다. InternLumina U2는 반대 경로를 걸었다. 추론 코드와 프로젝트 페이지가 9월 1일에 등장했고, 가중치는 이후 하드웨어별 폴더에 담겨 뒤따랐으며, 공식 발표는 끝내 없었다. 두 모델 모두 제3자가 재현한 수치는 없다. 아래의 모든 수치는 벤더가 스스로를 설명한 것이다.

거절이 스펙보다 더 많은 것을 알려준다

스펙 목록은 모델이 호환되어 보이도록 작성된다. 대신 각 모델이 물리적으로 수용할 수 없는 것부터 시작하라. 두 목록은 전혀 겹치지 않기 때문이다.

LFM3-Omni-2B는 그림을 그릴 수 없습니다. 스택에는 비전 인코더가 있지만 그것은 읽기만 하며, 출력 경로는 텍스트와 음성입니다. 사진을 편집해 달라고 요청하면 솔직한 답은 그 요청이 모델 안에 표현될 방식이 없다는 것입니다.

InternLumina U2는 말하지 못한다. 오디오 인코더도, 코덱 토크나이저도, 음성 헤드도 없다. WAV 파일을 건네도 아키텍처 안에는 그것을 받아들일 것이 없다. 이 모델의 "omni"는 이해와 생성이 하나의 시각 백본에 속한다는 베팅이며, 출력 어휘는 파형이 아니라 텍스트와 이미지 토큰이다.

그래서 첫 번째 질문은 어느 모델이 더 높은 점수를 받느냐가 아닙니다. 그것은 워크로드에 합성 음성이 필요한지, 편집된 이미지가 필요한지입니다. 왜냐하면 각 모델에서는 그중 정확히 하나만 사용할 수 있고, 어느 모델도 미세 조정을 통해 다른 능력을 갖추게 되지는 않기 때문입니다. 그것은 학습 데이터의 속성이 아니라 토크나이저의 속성입니다.

한쪽은 문장을 구술하고, 다른 쪽은 그것을 다듬는다

아키텍처는 매개변수 수보다 더 깊은 수준에서 다르며, 그 차이가 역량 격차를 설명한다.

LFM3-Omni-2B는 자기회귀 방식입니다. 17억 개 파라미터의 LFM3 백본은 LFM3 비전 인코더와 LFM3 인과 오디오 인코더에서 토큰을 읽고, 텍스트 토큰 또는 LiquidCodec 음성 토큰을 왼쪽에서 오른쪽으로 출력합니다. 비디오는 초당 2프레임으로 샘플링되며 각 2×2 이미지 패치는 단일 언어 토큰으로 합쳐집니다. 이것이 2.17B 모델이 휴대폰에서 32K 윈도우를 사용할 수 있게 유지하는 방식입니다. 음성은 24kHz로 출력되고, 오디오는 16kHz 모노로 입력됩니다.

InternLumina U2는 확산 언어 모델이며, 바로 이 점이 잠시 멈춰 볼 만한 부분입니다. 이 모델은 한 번에 토큰 하나를 내보내지 않고, 노이즈에서 시작해 마스크 확산 목표를 사용하여 전체 시퀀스를 병렬로 정제합니다. 이 모델의 시각 표현은 완전히 이산적입니다. 각 위치마다 AToken 시각 토큰의 코드북 8개가 있으며, 입력 측에서는 이들을 연결하고 출력 측에서는 코드북별로 예측합니다. 그다음 이미지 생성은 질문에 답하는 것과 동일한 작업입니다. 즉, 시각 토큰 시퀀스를 디노이즈하는 것입니다. 이는 다른 모든 오픈 멀티모달 모델이 택하는 방식과는 진정으로 다른 선택이며, 이 모델이 애초에 그림을 생성할 수 있는 이유이기도 합니다.

그 베팅의 대가는 툴링입니다. InternLumina는 세 줄로 호출하는 transformers 파이프라인이 아닙니다. 이 카드에는 FlashAttention을 사용하는 AToken 토크나이저, 사용자 정의 block-diffusion generate API, 그리고 3D 출력을 렌더링하려면 Blender 4.5가 필요합니다. 이에 비해 LFM3-Omni-2B는 문서화된 파인튜닝 경로를 갖춘 일반 BF16 가중치로 제공되며, 이미 유통 중인 Ollama 빌드도 있습니다. 그중 한 빌드의 등록 정보에는 모델 카드의 32K와 달리 125K 컨텍스트가 명시되어 있는데, 이 불일치는 아직 아무도 설명하지 못했습니다.

맞는지 여부를 결정하는 사양

• 매개변수 — LFM3-Omni-2B는 2.17B 밀집형, InternLumina U2는 총 16B이며 희소 전문가 혼합에서 1B 활성.

• 출력 — 텍스트 및 24 kHz 음성(텍스트와 음성이 교차된 형태 포함) 대 텍스트 및 생성되거나 편집된 이미지.

• 입력 — 텍스트, 이미지, 오디오 포함 또는 미포함 비디오, 16kHz 오디오 대 텍스트, 이미지, 비디오 및 3D.

• 컨텍스트 — 입력과 출력을 포함해 32K 토큰이며, 이는 InternLumina 카드가 여전히 명시하지 않은 컨텍스트 길이와 대조됩니다.

• 언어 — LFM3-Omni-2B의 경우 텍스트 언어 16개와 음성 로캘 19개; InternLumina는 개수를 공개하지 않습니다.

• 라이선스 — LFM Open License v1.0은 매출 임계값 기반 라이선스로, 번들로 포함된 AToken 및 VeOmni 코드에 대한 예외 조항을 둔 Apache 2.0과 대비됩니다.

• {{1}}하드웨어{{/1}} — 한쪽에는 {{2}}휴대폰, 노트북, 엣지 보드{{/2}}가 있고, 다른 쪽에는 {{3}}체크포인트가 Huawei Ascend NPU로 학습된 ascend/ 트리와 nvidia/ 트리로 나뉘어{{/3}} 있으며, 트리당 약 {{4}}33.8 GB{{/4}}입니다.

그들이 실제로 공유하는 두 가지 벤치마크

두 카드 모두 정확히 두 개의 비디오 번호가 있고, 어느 모델이 더 나은지에 대해 서로 다르게 말하고 있는데, 이것이 이 페이지에서 가장 유익한 정보입니다.

MVBench에서 InternLumina U2는 61.8을, LFM3-Omni-2B는 58.03을 보고합니다 — 확산 모델이 3.8점 우위입니다. 자막 없는 Video-MME에서는 LFM3-Omni-2B가 57.70을, InternLumina U2가 56.7을 보고합니다 — 반대 방향으로 1점 우위입니다. 두 결과 모두 공급업체가 직접 실행한 것이고, 서로 다른 하네스와 서로 다른 프롬프트를 사용했으며, 어느 연구소도 평가 코드를 공개하지 않았습니다. 그런 조건에서 1점 차이는 노이즈이고, 3.8점 차이는 아마 실제일 수 있지만 당신의 영상에 대해서는 거의 말해주지 않습니다.

그 외의 항목은 모두 서로 공유되지 않는다. InternLumina의 카드는 CharXiv-DQ 85.9와 HallusionBench 64.6을 맨 앞에 내세우는데, 이는 LFM3-Omni-2B가 치른 적 없는 문서 및 환각 테스트다. LFM3-Omni-2B의 카드는 DocVQA 92.47, OCRBench 806, MMMU 42.44를 앞세우고, 여기에 반대편에는 대응 항목이 없는 음성 열 — 영어 ASR 단어 오류율 6.36, 다국어 6.72, TTS UTMOSv2 3.80 — 을 더한다. 자기 카드 자체가 수치를 Liquid AI가 각 모델 자체의 채팅 템플릿과 그리디 디코딩으로 측정했다고 표시하는데, 이는 표준적인 단서이며 실제로도 그렇다.

InternLumina는 더욱 솔직합니다. 그 카드는 결과를 "예비적이고 부분적인 결과"라고 부르며 비교 표는 미룹니다. 그것은 거짓 겸손이 아닙니다. DPG-Bench 87.79와 GenEval 0.89에서 이미지를 생성하는 16B-A1B 확산 모델은 중대한 결과이며, 동시에 누군가 다른 샘플러로 다시 실행하면 달라지는 유형의 결과이기도 합니다.

누가 무엇을 골라야 할까요?

제품이 말로 응답해야 한다면 — 음성 비서, 핸즈프리 인터페이스, 접근성 도구, 발신자에게 음성 답변을 전달하는 통화 요약기 — LFM3-Omni-2B는 이 둘 중 이 작업을 끝까지 해낼 수 있는 유일한 모델입니다. 또한 온디바이스에서 실행되는 유일한 모델이기도 한데, 음성에서는 이 점이 두 배로 중요합니다. 오디오는 대부분의 앱이 다루는 가장 개인정보에 민감한 모달리티이며, 이를 서버로 전송하는 것은 정당화해야 하는 결정이기 때문입니다.

제품에서 이미지를 생성하거나 편집해야 한다면, InternLumina U2만이 시작할 수 있습니다. 그 대가는 Ascend 우선 하드웨어에서 디퓨전 추론 스택을 유지해야 한다는 것입니다. NVIDIA 트리는 최근에야 겨우 사용 가능해졌고, 3D 경로는 Blender 설치를 요구합니다. 이는 앱스토어용이 아니라 연구용 배포입니다.

거의 아무도 인정하지 않지만, 실제 제품에는 둘 다 필요하며 이 두 모델은 서로 결합할 수 없다. 생성된 다이어그램과 음성 설명이 모두 필요한 요청은 두 개의 런타임, 두 개의 라이선스, 두 개의 하드웨어 프로필을 거쳐야 한다. 그 이음새가 바로 대부분의 팀이 결국 더 큰 모델 대신 라우터를 두는 지점이다. OrcaRouter는 그러한 구성의 호스팅 측면이다. 즉, 제공자 정가에 0% 마크업으로 200개 이상의 모델을 아우르는 단일 API이며, 제공자가 중단될 때 자동 페일오버를 제공한다. 그리고 현재 그 카탈로그에는 LFM3-Omni-2B도 InternLumina U2도 없다. 요점은 둘 중 하나가 그곳에 속한다는 것이 아니다. 요점은 작업을 둘로 쪼개는 순간, 후반부가 실행될 곳이 필요해진다는 것이다.

무엇이 답을 바꿀까요?

두 모델 중 어느 하나에 대한 독립적인 평가 한 번이 또 다른 벤더 비교표보다 더 많은 일을 해낼 것입니다. InternLumina U2에서 주목할 수치는 다른 샘플러에서의 생성 품질입니다. 확산 출력은 샘플러가 바뀌면 달라지는데, 외부 평가자가 이를 시도한 적이 없기 때문입니다. LFM3-Omni-2B의 경우에는 음성이 Liquid 자체 프롬프트 밖에서도 견디는지, 구체적으로는 3.80 UTMOSv2가 자기 작업을 스스로 채점하지 않는 청취자와 접촉해도 살아남는지입니다.

그때까지 결정은 벤치마크보다 더 드문 무언가, 즉 기능 목록에 달려 있다. LFM3-Omni-2B는 말할 수 있지만 그릴 수 없다. InternLumina U2는 그릴 수 있지만 들을 수 없다. 대부분의 팀에게 이것은 첫 평가가 실행되기 전에 결론을 내주는 문제다.