一张生成的标题卡显示“LFM3-VL-2B vs MiniCPM-V 4.7 1B”,副标题为“同一规模级别,不同许可证”,左侧面板列出 1.92B 参数、LFM Open License 和平均 71.4,右侧面板列出 1.55B 参数、Apache 2.0 和平均 57.5。
Guides & Insights

LFM3-VL-2B 对比 MiniCPM-V 4.7 1B:关闭思考模式后,14 个百分点的差距缩小至 4 个百分点

作者

Alistair Wren

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

最具决定性的差异,在LFM3-VL-2B与MiniCPM-V 4.7 1B之间,并不体现在任何一张基准测试表中,而是体现在许可证那一行。OpenBMB 的模型采用 Apache 2.0。Liquid AI 的模型采用 LFM Open License v1.0,它附带商业条件,而非单纯的宽松许可条款。这两个模型在其他方面规模足够接近,可以直接互为替代——1.92B 对 1.55B——而且两者发布时间相隔不到三周:MiniCPM-V 4.7 1B 于 10 月 6 日上线 Hugging Face,并在厂商发布说明中标注为 10 月 12 日;而 LFM3-VL-2B 自 10 月 19 日起就存在于一个公开仓库中,并于 10 月 27 日正式发布。在 Liquid 自家的 62 项基准测试套件中,新模型平均得分为 71.4,对 57.5,差距为 13.9 分;一旦在 Liquid 模型上禁用推理,这一差距便骤降至 4.6 分。

同一重量级的两个模特,遵循不同的规则

MiniCPM-V 4.7 1B 是两个中较小的一个,参数量约少 3.7 亿。它将 SigLIP 风格的视觉塔与源自 Qwen3.5 的语言主干相结合,支持按请求选择 4× 或 16× 的视觉 token 压缩,并在供应商文档中声称具备 256K 上下文窗口。它提供 BF16、int4、AWQ、GPTQ 和 GGUF 版本,并配有专用的 DSpark 草稿模型用于推测解码。

LFM3-VL-2B 将 LFM3-1.7B 语言模型与全新的自研 164M 视觉编码器及 25M 投影器搭配,具备文档标称的 128K 上下文,视频输入为每秒 2 帧,并支持文档标称的无思考模式。

• 参数 — LFM3-VL-2B 为 1.92B,而 MiniCPM-V 4.7 1B 为 1.55B,依据 OpenBMB 的文档;Hugging Face 的模型大小徽章将后者四舍五入为 2B。

• 许可证 — LFM Open License v1.0 与 Apache 2.0 的对比。

• 上下文 —— 128K 个 token,而声称可达 256K,不过推理配置通常会将上限设置得低得多。

• 视觉路径 —— 一个 164M 的自研编码器,每个 2×2 图块对应一个 token,而 SigLIP 风格的塔式结构采用 4×/16× 压缩。

• 视频——每秒 2 帧,是首个接收视频的 LFM 视觉模型(对比支持情况),并附有厂商公布的 LongVideoBench 和 MotionBench 数据。

• 推理模式 — 在基准测试运行中,既可用又以两种方式测量,对比既可用又被使用。

• 厂商在 Liquid 62 项基准测试套件上的平均值——思考模式 71.4,非思考模式 62.1,对比 57.5。

A generated two-column scoreboard for LFM3-VL-2B and MiniCPM-V 4.7 1B comparing parameters (1.92B vs 1.55B), licence (LFM Open License vs Apache 2.0), 62-benchmark average (71.4 vs 57.5), math and reasoning (68.8 vs 51.8), We-Math without thinking (20.1 vs 47.8) and GUI understanding (83.1 vs 45.3).

总体差距为13.9个百分点。请先阅读脚注。

Liquid 的表格是唯一一份以相同归一化方式在相同的 62 个基准上对两个模型进行评分的资料,也正是这项比较得以进行的原因。OpenBMB 自己的模型卡并未针对 LFM3-VL-2B 进行基准测试,因为在 MiniCPM-V 4.7 1B 发布时 LFM3-VL-2B 尚不存在。

A screenshot of the LiquidAI/LFM3-VL-2B Hugging Face model card showing License: lfm1.0, 2B parameters in BF16, a note that no inference provider deploys the model, nine quantizations, and a table giving 1.92B as a 1.73B language model plus a 164M vision encoder and a 25M projector.

真正重要的脚注是:表中除 LFM2.5-VL-3B 外的每个模型都使用了推理模式,而 LFM2.5-VL-3B 不支持该模式;LFM3-VL-2B 的无思考配置也未使用推理模式。因此,71.4 和 57.5 都是启用推理后的得分,这使得此次比较比与 LFM2.5 的那次对比更为公平。两个模型都是在各自的最佳设置下、使用相同的测试工具、由同一个实验室进行测量。

公平并不等于独立。Liquid 自己挑选了基准测试并亲自运行。这张表格异常完整——它包含类别层面和逐项基准测试的行,并且点名了每一个竞争对手——但没有任何第三方复现过其中任何一项结果。

关闭思考,1B 在 62 次中赢了 24 次

LFM3-VL-2B 针对相同权重在禁用推理的情况下发布了第二项得分。那一列才是有意思的,因为它显示了 13.9 分的总体得分究竟来自哪里。在无思考模式下,LFM3-VL-2B 在 35 个基准测试中胜出,MiniCPM-V 4.7 1B 胜出 24 个,另有 3 个打平。平均差距降至 4.6 分。

更引人注目的是,1B 在该配置下赢下了哪些项目。它拿下了数学与图表推理类任务中的大多数,而且往往优势明显。

• We-Math(testmini,严格)—— MiniCPM-V 4.7 1B 为 47.8,而 LFM3-VL-2B 在未启用思考时为 20.1,启用思考时为 68.6。

• LogicVista — 无思考时 46.1 对 30.2,有思考时 60.4。

• MathVista (mini) — 无思考时 71.2 对 68.5,有思考时 84.2。

• ChartQA(测试) — 无思考时 88.8 对 81.4,思考时 92.7。

• CharXiv(描述性) — 无思考时 73.4 对 65.5,思考时 87.5。

• DynaMath — 63.8 对 57.7,无思考模式。

• MMMU (val) — 无思考时 51.0 对比 48.6,有思考时 55.7。

We-Math 的结果值得停下来细看:在两个模型都不被允许推理时,1B 领先 27.7 分;而一旦允许推理,LFM3-VL-2B 立刻领先 20.8 分。We-Math 是一个针对多步视觉数学的严格准确率基准,而这两个模型之间的分数并不是逐渐变化的,而是发生了翻转。这是表中关于推理模式究竟带来了什么收益的最清晰的一个例证。

实际结论是:如果你为了降低延迟而关闭推理,并且你的工作负载涉及图表或示意图中的数字,那么更大模型的总体优势并不能保护你。1B 才是更合适的工具。

LFM3-VL-2B 无论何种模式都能胜出的方面

反过来也同样成立,而且这些类别同样具体。其中五个即使在“不思考”一栏里也近乎一边倒。

• GUI 理解 — 思考模式 83.1,非思考模式 81.5,而 MiniCPM-V 4.7 1B 为 45.3。ScreenSpot-Pro 为 55.5 对 4.9;ScreenSpot-v2 Desktop 为 94.6 对 51.5。

• 视觉定位——77.3(思考),72.6(非思考),对比 51.1。RefCOCO 平均值达到 90.5,对比 86.3。

• 具身推理 — 64.4 思考,57.9 不思考,相较 45.3。

• 智能体 — 42.5 思考,32.9 非思考,对比 16.9。这是表中全部四个模型最弱的类别,也是这两者之间相对差距最大的类别。

• 多语言 — 84.4 思考模式、76.2 非思考模式,对比 77.4。这是非思考版 Liquid 模型唯一输给 1B 的类别。

在 62 个基准测试中,ScreenSpot-Pro 上 55.5 对 4.9 是这两个模型之间最大的单项差距。如果你在做 UI 自动化,这里根本无需抉择;如果你在做数学辅导工具,排名则会反转。13.9 分的平均值,是把两个表现差异极大的群体平均在一起所产生的假象。

两套测试框架,同一个基准测试却给出两个数字

正是这一点让跨厂商比较变得棘手,也值得单独用一节来说明,因为两家厂商都会公布同名基准测试的数值。

OpenBMB 在其自家页面上报告 MiniCPM-V 4.7 1B 在 MathVista 上为 74.3。Liquid 对同一模型在同一名称的基准上重新运行,报告为 71.2。OpenBMB 报告 OCRBench 为 86.1;Liquid 的测试框架报告 OCRBench v1 为 82.1。两家实验室都没有说谎。他们运行的是不同的提示格式、不同的答案提取规则或不同的子集,由此产生的 3.1 分和 4.0 分差异属于正常的测试框架波动。

结果是,你不能拿 OpenBMB 的 74.3 减去 Liquid 为 LFM3-VL-2B 给出的 68.5 这一 no-thinking MathVista 分数,从而得出 5.8 个百分点的胜出。在 10 月 27 日之前,当 MiniCPM-V 4.7 1B 与 LFM2.5-VL-3B 之间唯一共享的基准是在两套不同测试框架上测得的时候,这种解读还站得住脚。如今 Liquid 已在一张表中同时发布了两款模型,这种解读就站不住脚了。请使用该表格,并把每个厂商页面上的数字都视为属于其各自的评测工具。

那场悄然了结一桩旧日争论的平局

在同一张表格里,还有一个两家公司都没有宣传过的结果。MiniCPM-V 4.7 1B 在 62 项基准测试中的平均分为 57.5。LFM2.5-VL-3B 的平均分为 57.6。

OpenBMB 的产品页面声称,1B 模型在 OCR、图表推理和视频理解方面超越了 LFM2.5-VL-3B。在 Liquid 的测试套件上,这一说法半对半错,而总体结果则是完全打平:

• 文档、OCR 与图表 — MiniCPM-V 4.7 1B 为 73.0,而 LFM2.5-VL-3B 为 71.2。该说法成立,但优势微弱。

• 视频 — 53.7 对 41.3。该主张得到明确支持。

• 数学 — 51.8 对 40.6。该说法得到支持,且原说法中未提及。

• 视觉定位—— 51.1 对 68.3。该主张严重不成立。

• GUI 理解 — 45.3 对 66.0。该说法严重不成立。

• Agentic — 16.9 对 21.1。该说法不成立。

因此,一个采用 Apache 2.0 许可证的 1.55B 模型,在共享的 62 项基准测试套件上,与一家资金雄厚的实验室的 3.1B 模型不相上下,而且它靠的是在一些类别上决定性地获胜、在另一些类别上决定性地落败。这是关于能力密度的真实结果,同时也是对平均值所掩盖之物的警告。这又把比较带回到 LFM3-VL-2B:击败两者的模型,是那种其推理模式能提升自己最弱类别的模型,而不是那种全面更优的模型。

许可证、下载内容,以及你实际可以发布的内容

许可证差异将比上面任何一行决定更多部署。Apache 2.0 无需与法务团队沟通。LFM Open License v1.0 带有商业条件,虽然它足够开放,使 Liquid 在该许可下发布该系列中的每个模型,但它并不等同于相同的许可权限。

A screenshot of the openbmb/MiniCPM-V-4.7-1B Hugging Face model card showing License: apache-2.0, 155,428 downloads last month, 408 likes, a note that no inference provider deploys the model, and bullets on 4x and 16x visual token compression, iOS, Android and HarmonyOS support, and SGLang, vLLM, llama.cpp and Ollama.

采用情况也类似。在 Hugging Face 上,自 10 月 6 日以来,MiniCPM-V 4.7 1B 已累计约 155,000 次下载和略高于 400 个点赞。截至撰写本文时,LFM3-VL-2B 有几百次下载和 16 个点赞,它已公开九天,官宣仅一天。下载量是一个有噪声的信号——CI 流水线和量化镜像会虚增下载量——但三个数量级的差距并不是噪声。这反映出,一个模型背后有一个月积累的工具、教程和社区量化支持,而另一个只有一天。

工具支持也遵循同样的规律。MiniCPM-V 4.7 1B 列出了 Transformers、SGLang、vLLM、llama.cpp、Ollama 和 OpenVINO,此外还有原生 iOS、Android 和 HarmonyOS 应用。LFM3-VL-2B 在发布时已支持 SGLang,提供 GGUF 权重,llama.cpp 支持仍在审核中——根据其自身的模型卡说明,待实现的版本中尚不支持视频输入。

哪种模型适合哪种工作

• UI 自动化、屏幕读取、机器人感知——LFM3-VL-2B,毫不犹豫,而且无思考模式就可以。ScreenSpot-Pro 上 55.5 对 4.9,这不是靠工程手段就能绕开的差距。

• 图表推理、视觉数学、图形题—— 如果你在无推理模式下运行,那就是 MiniCPM-V 4.7 1B;若不是,那就是一场真正的较量。用你自己的数据检验 We-Math;27.7 分的无思考差距,正是那种会在生产环境中立刻暴露出来的问题。

• 长视频——比类别平均值所暗示的更接近。LFM3-VL-2B 在 Video 类别上以 61.2 对 53.7 领先,但 MiniCPM-V 4.7 1B 实际上在 Video-MMMU 上以 50.1 对 49.6 获胜,即便面对 thinking 配置也是如此。

• 任何必须不经审查就通过法务审核的内容——仅采用 Apache 2.0 许可的 MiniCPM-V 4.7 1B。

• 任何目前需要成熟推理栈的任务——至少在未来几周内,MiniCPM-V 4.7 1B 都能胜任,直到 llama.cpp 合并对 LFM3-VL 的支持为止。

当两个模型都不在路由器上时,路由器适合放在哪里

这两个检查点都不在 OrcaRouter 的目录中;两者都是你下载、量化并运行的权重。这里路由层的有趣用法不是为它们提供服务,而是围绕它们进行组合。模型融合让一组模型共同回答同一个问题,而将一个本地 1.55B 的视觉数学专家模型,与一个在它表现较弱的类别——基础定位、智能体工作——上更强的托管模型配对,这种配置胜过任一模型单独使用。路由 DSL 就是你表达哪条分支处理哪个问题的方式,而无需在每次发布检查点时重写应用。

诚实的总结是:13.9 个百分点的头条数字是真实的,是在某家实验室的测试框架上测得的,但把它当作购买决策依据则会误导人。LFM3-VL-2B 是更适合屏幕和视觉定位任务的模型,其领先幅度在同尺寸级别中无可匹敌。MiniCPM-V 4.7 1B 是更适合无需推理的视觉数学任务的模型,采用无需协商的许可证发布,并在同一套测试中与规模两倍于它的模型持平。正确答案取决于上述哪句话描述了你的工作负载——而两家厂商的平均值都不会告诉你这一点。