一张生成的标题卡,写着“LFM3-Omni-2B vs InternLumina U2”,副标题为“omni 的两种含义”,展示了一张标有 SPEECH OUT 和 32K CONTEXT 的语音波形卡,旁边是一张标有 IMAGE OUT 和 DIFFUSION 的图像卡。
Guides & Insights

LFM3-Omni-2B 对比 InternLumina U2:两个模型,Omni 的两种含义

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

LFM3-Omni-2B和InternLumina U2都被归在“omni”这个标签之下,但它们做的并不是同一门生意。Liquid AI 的这款 21.7 亿参数模型接收文本、图像、视频和音频,输出文本或 24 千赫兹语音。上海人工智能实验室的 InternLumina U2 接收文本、图像、视频和 3D,输出文本或图片。一个是嘴,另一个是手。你几乎能找到的每一篇把这两者放在一起的对比,都会把篇幅花在只有其中一方才够得着的基准测试上,正因如此,那个真正有用的问题才更窄、回答起来也更省事:“omni”的哪一半,正是你的产品所缺的?

两个版本的发布形态也截然相反,而这一点比通常更重要。Liquid AI 于2026年10月27日在一篇帖子中发布了 LFM3 系列,涵盖六款2B级模型,而 LFM3-Omni-2B 只是那篇帖子中的一行,并非独立发布——其权重自10月21日起就已存放在一个公开仓库中。InternLumina U2 则相反:推理代码和一个项目页面于9月1日出现,权重随后出现在按硬件划分的文件夹中,且始终没有任何公告。两个模型都没有第三方复现过的数字。下文中的每一个数字都是厂商在描述自己。

拒绝比规格更能说明问题

规格清单的写法是为了让各型号看起来兼容。不妨反过来,从每个型号在物理上根本无法接受什么开始,因为这两份清单完全没有交集。

LFM3-Omni-2B 无法绘图。其技术栈中有一个视觉编码器,但它只能读取;输出通路是文本和语音。让它编辑照片,诚实的回答是,该请求在模型中没有对应的表示。

InternLumina U2 不会说话。它没有音频编码器,没有编解码器分词器,也没有语音头。给它一个 WAV 文件,架构中没有任何部分能接收它。它的“omni”是一场押注:理解与生成应归于同一个视觉主干;其输出词表是文本和图像 token,而不是波形。

所以第一个问题不是哪个模型得分更高。而是你的工作负载需要的是合成语音还是编辑后的图像,因为双方各自恰好只有其中一项可用,而且两个模型都不会因为微调而获得另一项能力。这是分词器的属性,而不是训练数据的属性。

一个口述句子,另一个对其进行润色完善。

这些架构的差异所在,比参数数量更深一层,而这种差异解释了能力上的分化。

LFM3-Omni-2B 是自回归的。一个 17 亿参数的 LFM3 主干从 LFM3 视觉编码器和 LFM3 因果音频编码器读取 token,并从左到右输出文本 token 或 LiquidCodec 语音 token。视频以每秒 2 帧采样,每个 2×2 图像块会压缩为单个语言 token,这正是 2.17B 模型能在手机上保持 32K 窗口可用的原因。语音以 24 kHz 输出,音频以 16 kHz 单声道输入。

Screenshot of the LiquidAI/LFM3-Omni-2B model card on Hugging Face showing 83 downloads last month, a 2B-parameter BF16 safetensors badge, 23 languages, the LFM1.0 licence, and the card text stating the model understands text, images, video and audio and answers in text and speech.

InternLumina U2 是一个扩散语言模型,而这正是值得慢下来仔细琢磨的部分。它不会一次只输出一个 token,而是从噪声出发,利用掩码扩散目标并行地精炼整个序列。它的视觉表示完全离散——每个位置有八个由 AToken 视觉 token 组成的码本,在输入侧拼接,在输出侧逐码本预测。于是,生成图像与回答问题就成了同一种操作:对一串视觉 token 进行去噪。这与所有其他开放多模态模型所下的注截然不同,也正是该模型能够生成图像的原因。

Screenshot of the internlm/InternLumina-U2 model card showing a 16B-parameter MoE with 1B active parameters, an 8-codebook fully discrete visual representation built on AToken, an Apache-2.0 licence, downloads not tracked, and ascend/ and nvidia/ checkpoint folders.

这一押注的代价在于工具链。InternLumina 并不是你三行代码就能调用的 transformers 流水线。该模型卡要求使用带 FlashAttention 的 AToken 分词器、自定义的 block-diffusion 生成 API,而且如果你想要渲染出 3D 输出,还需要 Blender 4.5。相比之下,LFM3-Omni-2B 以普通的 BF16 权重形式发布,配有文档化的微调路径,并且已有 Ollama 构建在流传——其条目中标称 125K 上下文,而模型卡中写的是 32K,这一差异至今无人解释。

决定是否适配的规格

• 参数 — LFM3-Omni-2B 为 2.17B 稠密模型;InternLumina U2 总参数量 16B,在稀疏混合专家中激活 1B。

• 输出 — 文本与 24 kHz 语音,包括交错的文本与语音,对比文本以及生成或编辑的图像。

• 输入 — 文本、图像、带音频或不带音频的视频,以及 16 kHz 音频;对比项为文本、图像、视频和 3D。

• 上下文 — 32K tokens 覆盖输入和输出,而 InternLumina 模型卡仍未说明上下文长度。

• 语言 — LFM3-Omni-2B 支持 16 种文本语言和 19 种语音区域设置;InternLumina 未公布数量。

• 许可证 — LFM Open License v1.0,这是一种收入门槛许可证;相较于 Apache 2.0,后者对捆绑的 AToken 和 VeOmni 代码设有例外条款。

• 硬件——一边是手机、笔记本电脑和边缘板卡;另一边,检查点分为在华为昇腾 NPU 上训练的 ascend/ 树和 nvidia/ 树,每棵树约 33.8 GB。

A comparison scoreboard for LFM3-Omni-2B and InternLumina U2 listing 2.17B dense versus 16B total with 1B active, text-plus-speech versus text-plus-image output, 32K versus unstated context, MVBench 58.03 versus 61.8, and Video-MME 57.70 versus 56.7.

他们实际共用的两个基准

两张卡片中恰好有两个视频数字,而它们对哪个模型更好存在分歧,这是本页最具信息量的内容。

在 MVBench 上,InternLumina U2 报告 61.8,LFM3-Omni-2B 报告 58.03,扩散模型领先 3.8 个百分点。在无字幕的 Video-MME 上,LFM3-Omni-2B 报告 57.70,InternLumina U2 报告 56.7,反过来领先 1 个百分点。两组结果均由厂商自行运行,使用不同的评测框架和不同的提示词,并且两家实验室都未公开评测代码。在这种情况下,1 个百分点的差距属于噪声;3.8 个百分点的差距可能是真实的,但对你自己的视频素材说明不了什么。

其余项目则都不共享。InternLumina 的模型卡以 CharXiv-DQ 85.9 和 HallusionBench 64.6 领衔,这两项文档与幻觉测试 LFM3-Omni-2B 从未参加过。LFM3-Omni-2B 的模型卡则以 DocVQA 92.47、OCRBench 806 和 MMMU 42.44 领衔,另外还有一列语音指标——英语 ASR 词错误率 6.36、多语言 6.72、TTS UTMOSv2 3.80——而这一列在另一边没有对应项。它自己的模型卡注明,这些数字由 Liquid AI 使用各模型自身的聊天模板和贪心解码测得,这是标准免责声明,也是一条实打实的说明。

InternLumina 更为坦率:其模型卡将结果称为“初步的、部分的结果”,并暂不提供对比表。这并非故作谦虚。一个 16B-A1B 扩散模型能在 DPG-Bench 上达到 87.79、在 GenEval 上达到 0.89 来生成图像,这是一项重要的成果,而且也是那种当有人用不同采样器重跑时就会发生变化的结果。

谁应该选哪个

如果你的产品需要“开口回话”——语音助手、免提界面、无障碍工具,或是能把口头答复直接交给来电者的通话摘要器——那么在这两者之中,LFM3-Omni-2B 是唯一能胜任的。它也是唯一在设备端运行的模型,而这对语音而言有着双重意义:音频是大多数应用所触及的最隐私敏感的模态,而把它发送到服务器,是一个你必须给出正当理由的决定。

如果你的产品需要生成或编辑图像,InternLumina U2 是唯一能起步的那个。代价是,你现在得在 Ascend 优先的硬件上维护一套扩散推理栈,其中 NVIDIA 代码树直到最近才变得可用,而 3D 路径还需要安装 Blender。那是研究型部署,不是应用商店式的部署。

几乎没有人愿意承认的是,真实产品两者都需要,而这两个模型无法彼此组合。一个既需要生成图表又需要语音讲解的请求,必须跨越两套运行时、两种许可证和两套硬件配置。大多数团队最终会在这个接缝处放一个路由器,而不是一个更大的模型。OrcaRouter 是这种安排的托管侧——一个 API 覆盖 200 多个模型,按供应商标价 0% 加价,并在供应商宕机时自动故障转移——而 LFM3-Omni-2B 和 InternLumina U2 目前都不在该目录中。重点不在于其中任何一个是否应该被列在那里。重点在于,一旦你把工作拆成两半,后半部分就需要有地方运行。

什么会改变答案

对任一模型进行一次独立评测,都会比再做一张厂商对比表更有价值。对 InternLumina U2 来说,值得关注的数字是不同采样器下的生成质量,因为扩散模型的输出会随采样器变化而改变,而尚无外部方尝试过。对 LFM3-Omni-2B 来说,关键在于语音在 Liquid 自家提示词之外是否依然站得住脚——具体而言,3.80 的 UTMOSv2 能否经受住一位并非在给自己的作品打分的听者检验。

在此之前,决定取决于比基准测试更罕见的东西:一份能力清单。LFM3-Omni-2B 能说话,却不能画图。InternLumina U2 能画图,却不能听。对大多数团队来说,这在第一次评估运行之前就已经定论了。