一張生成的標題卡,上面寫著「LFM3-VL-2B vs MiniCPM-V 4.7 1B」,副標題為「相同尺寸級別,不同授權條款」,左側面板列出 1.92B 參數、LFM Open License 和平均 71.4,右側面板列出 1.55B 參數、Apache 2.0 和平均 57.5。
Guides & Insights

LFM3-VL-2B 對上 MiniCPM-V 4.7 1B:關閉思考模式後,從 14 個百分點縮小至 4 個百分點的差距

作者

Alistair Wren

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

最具關鍵影響的差異LFM3-VL-2B與MiniCPM-V 4.7 1B之間,但不在任何一張基準測試表裡,而是在授權條款那一行。OpenBMB 的模型採用 Apache 2.0。Liquid AI 的模型則採用 LFM Open License v1.0,帶有商業條件,而非單純的寬鬆條款。除此之外,這兩個模型的規模相近,足以作為直接替代方案——1.92B 對 1.55B——而且兩者推出時間相隔不到三週:MiniCPM-V 4.7 1B 於 10 月 6 日在 Hugging Face 上架,並在廠商發布說明中標註為 10 月 12 日;而 LFM3-VL-2B 自 10 月 19 日起便存在於公開儲存庫中,並於 10 月 27 日發布。在 Liquid 自家的 62 項基準測試套件中,這款新模型平均為 71.4,相較之下為 57.5,差距 13.9 分;但一旦停用 Liquid 模型的推理功能,差距便立刻縮小至 4.6 分。

同量級下的兩個模型,遵循不同規則

MiniCPM-V 4.7 1B 是兩者中較小者,參數少約 3.7 億。它結合 SigLIP 風格的視覺塔與衍生自 Qwen3.5 的語言骨幹,使用可依每次請求選擇的 4× 或 16× 視覺 token 壓縮,並在廠商文件中宣稱具備 256K 上下文視窗。它提供 BF16、int4、AWQ、GPTQ 與 GGUF 版本,並附有專用的 DSpark 草稿模型用於推測解碼。

LFM3-VL-2B 將 LFM3-1.7B 語言模型與全新的自研 164M 視覺編碼器及 25M 投影器結合,具備文件記載的 128K 上下文,支援每秒 2 幀的影片輸入,以及文件記載的無思考模式。

• 參數 — LFM3-VL-2B 為 1.92B,MiniCPM-V 4.7 1B 則為 1.55B,依據 OpenBMB 的文件;Hugging Face 的模型大小標籤會將後者四捨五入為 2B。

• 授權 — LFM Open License v1.0 與 Apache 2.0。

• 上下文 — 128K 個 token,相較於宣稱的 256K,不過推論配置通常會將上限設得遠低於此。

• 視覺路徑 — 一個 164M 的自家研發編碼器,每個 2×2 區塊產生一個 token,對比具備 4×/16× 壓縮的 SigLIP 風格塔式模型。

• 影片 — 每秒 2 幀,是首個支援影片的 LFM 視覺模型,並附有廠商公布的 LongVideoBench 與 MotionBench 數據。

• 推理模式——可用且以兩種方式量測,對比於在基準測試執行中可用且已使用。

• Liquid 62 項基準測試套件上的廠商平均 — 思考 71.4、非思考 62.1,對比 57.5。

A generated two-column scoreboard for LFM3-VL-2B and MiniCPM-V 4.7 1B comparing parameters (1.92B vs 1.55B), licence (LFM Open License vs Apache 2.0), 62-benchmark average (71.4 vs 57.5), math and reasoning (68.8 vs 51.8), We-Math without thinking (20.1 vs 47.8) and GUI understanding (83.1 vs 45.3).

總體差距為 13.9 分。請先閱讀腳註。

Liquid 的表格是唯一一份以相同正規化方式,在同樣 62 項基準測試上為這兩個模型評分的資料,而這也是之所以能進行這項比較的原因。OpenBMB 自家的模型卡並未以 LFM3-VL-2B 為對象進行基準評測,因為 MiniCPM-V 4.7 1B 推出時,LFM3-VL-2B 還不存在。

A screenshot of the LiquidAI/LFM3-VL-2B Hugging Face model card showing License: lfm1.0, 2B parameters in BF16, a note that no inference provider deploys the model, nine quantizations, and a table giving 1.92B as a 1.73B language model plus a 164M vision encoder and a 25M projector.

關鍵註腳:表中的每個模型都使用了推理模式,除了不支援此模式的 LFM2.5-VL-3B,以及 LFM3-VL-2B 的無思考配置。因此,71.4 和 57.5 都是啟用推理後的分數,這讓比較比 LFM2.5 的對比更公平。兩個模型都在各自的最佳設定下,由同一實驗室使用相同的評測工具進行測量。

公平不等同於獨立。Liquid 選擇了基準測試並自行執行。這張表格異常完整——它包含類別層級與各項基準測試的列,並列出每一位競爭對手——但沒有任何第三方重現過其中任何內容。

關閉思考後,1B 在 62 場中贏了 24 場

LFM3-VL-2B 針對相同權重、在停用推理的情況下,發布了第二個分數。那一欄才是有意思的,因為它顯示出 13.9 分的總合分數究竟從何而來。在不進行思考的情況下,LFM3-VL-2B 贏得 35 項基準測試,MiniCPM-V 4.7 1B 贏得 24 項,另有 3 項平手。平均差距降至 4.6 分。

更引人注目的是 1B 在該配置下贏得了哪些項目。它拿下大多數數學與圖表推理類別,且往往大幅領先。

• We-Math(testmini,嚴格)——MiniCPM-V 4.7 1B 得分 47.8,而 LFM3-VL-2B 在未啟用思考時得分 20.1,啟用思考時得分 68.6。

• LogicVista — 46.1 對 30.2(不使用思考),60.4(使用思考)。

• MathVista (mini) — 無思考模式下為 71.2 對 68.5,思考模式下為 84.2。

• ChartQA(測試) — 不思考時 88.8 對 81.4,思考時 92.7。

• CharXiv(描述性) — 73.4 對 65.5(不思考),87.5(有思考)。

• DynaMath — 63.8 對 57.7(無思考)。

• MMMU(驗證) — 51.0 對比 48.6(不思考),55.7(啟用思考)。

值得停下來細看的是 We-Math 的結果:當兩個模型都不被允許推理時,1B 領先 27.7 個百分點——而一旦允許推理,LFM3-VL-2B 立刻取得 20.8 個百分點的優勢。We-Math 是針對多步視覺數學的嚴格準確度基準,而成績在兩個模型之間並不是逐步變化,而是直接翻轉。這是整張表中最能清楚說明推理模式帶來什麼價值的單一例證。

實務上的結論是:如果你為了降低延遲而關閉推理,而你的工作負載涉及圖表或圖示中的數字,那麼較大模型的整體優勢並不能保護你。1B 模型是更好的工具。

無論模式為何,LFM3-VL-2B 都能勝出的地方

反之亦然,而且這些類別同樣具體。其中五項即使在「不思考」欄中也幾乎是一面倒。

• GUI 理解 — 思考模式 83.1、非思考模式 81.5,相較於 MiniCPM-V 4.7 1B 的 45.3。ScreenSpot-Pro 為 55.5 對 4.9;ScreenSpot-v2 Desktop 為 94.6 對 51.5。

• 視覺定位 — 77.3(思考模式)、72.6(非思考模式),對比 51.1。RefCOCO 平均達到 90.5,對比 86.3。

• 具身推理—— 64.4 思考,57.9 不思考,對比 45.3。

• 代理式 — 42.5(thinking)、32.9(no-thinking),對比 16.9。這是表中全部四個模型最弱的分類,也是這兩者之間相對差距最大的。

• 多語言 — 84.4 思考模式、76.2 非思考模式,相較 77.4。這是唯一一個非思考模式的 Liquid 模型輸給 1B 的類別。

ScreenSpot-Pro 的 55.5 對 4.9,是這兩個模型在 62 項基準測試中任何一處最大的單一差距。如果你是在打造 UI 自動化,這裡根本無需抉擇;如果你是在打造數學家教,排名則會反轉。13.9 分的平均值,是把兩個行為截然不同的群體加以平均後產生的假象。

兩套測試框架,同一個基準測試卻有兩個數字

這正是讓跨廠商比較變得棘手的地方,值得單獨用一節來說明,因為兩家廠商都會公布同名基準測試的數據。

OpenBMB 在其自家頁面上回報 MiniCPM-V 4.7 1B 的 MathVista 成績為 74.3。Liquid 在同一具名基準上重新執行同一模型,回報 71.2。OpenBMB 回報 OCRBench 86.1;Liquid 的評測框架回報 OCRBench v1 為 82.1。兩家實驗室都沒有說謊。他們執行的是不同的提示格式、不同的答案擷取規則或不同子集,而由此產生的 3.1 分與 4.0 分差異,屬於正常的評測框架變異。

結果是,你不能拿 OpenBMB 的 74.3 減去 Liquid 針對 LFM3-VL-2B 的 68.5 no-thinking MathVista 數字,得出 5.8 分的勝差。在 10 月 27 日之前,這種解讀還站得住腳,因為當時 MiniCPM-V 4.7 1B 與 LFM2.5-VL-3B 之間唯一的共用基準測試,是在兩套不同的測試框架上量測的。如今 Liquid 已把兩個模型公布在同一張表裡,這種解讀就不再站得住腳。請採用這張表,並把廠商頁面上的每個數字都視為屬於其各自測量工具所得的結果。

那場悄然平息了由來已久爭論的平局

在同一張表格裡,有一個兩家公司都沒有宣傳過的結果。MiniCPM-V 4.7 1B 在 62 項基準測試中平均得分 57.5。LFM2.5-VL-3B 平均得分 57.6。

OpenBMB 的產品頁面聲稱,1B 模型在 OCR、圖表推理與影片理解上超越了 LFM2.5-VL-3B。在 Liquid 的測試套件中,這個說法一半正確、一半錯誤,而整體結果則是徹底打平:

• 文件、OCR 與圖表 — MiniCPM-V 4.7 1B 為 73.0,LFM2.5-VL-3B 為 71.2。此主張勉強獲得支持。

• 影片—— 53.7 對 41.3。此主張獲得明確支持。

• 數學 — 51.8 對 40.6。主張獲得支持,且原始主張中未提及。

• 視覺接地 — 51.1 對 68.3。該主張嚴重不成立。

• GUI 理解 — 45.3 對 66.0。該主張嚴重不成立。

• 代理式 — 16.9 對 21.1。主張不成立。

所以,一個 1.55B 的 Apache 2.0 模型在共用的 62 項基準測試套件上,與一家資金充裕的實驗室所推出的 3.1B 模型表現相當,而且是靠在某些類別決定性勝出、在另一些類別決定性落敗來做到。這是關於能力密度的真實結果,也是對平均值會掩蓋什麼的警告。這也把比較帶回 LFM3-VL-2B:擊敗兩者的那個模型,是靠其推理模式拉升它最弱的類別,而不是那個全面更優的模型。

授權、下載,以及你實際上能交付的內容

授權條款的差異,會比上述任何一列更能左右部署決策。Apache 2.0 不需要與法務團隊溝通。LFM Open License v1.0 附帶商業條件,雖然它開放的程度足以讓 Liquid 將此系列所有模型都依該授權發布,但它並不是相同的許可。

A screenshot of the openbmb/MiniCPM-V-4.7-1B Hugging Face model card showing License: apache-2.0, 155,428 downloads last month, 408 likes, a note that no inference provider deploys the model, and bullets on 4x and 16x visual token compression, iOS, Android and HarmonyOS support, and SGLang, vLLM, llama.cpp and Ollama.

採用情況也呈現類似的故事。在 Hugging Face 上,MiniCPM-V 4.7 1B 自 10 月 6 日以來已累積約 155,000 次下載和略超過 400 個讚。截至撰寫本文時,LFM3-VL-2B 則有數百次下載和 16 個讚,公開已有九天,宣布則已一天。下載次數是嘈雜的訊號——CI 管線與量化鏡像會使其虛高——但三個數量級的差距並非雜訊。這反映出一個模型背後有一個月的工具鏈、教學與社群量化成果,而另一個只有一天。

工具鏈也遵循相同模式。MiniCPM-V 4.7 1B 列出 Transformers、SGLang、vLLM、llama.cpp、Ollama 與 OpenVINO,以及原生 iOS、Android 與 HarmonyOS 應用程式。LFM3-VL-2B 推出時支援 SGLang、提供 GGUF 權重,且 llama.cpp 支援仍在審查中——根據其自身說明卡,待實作的版本不支援影片輸入。

哪個模型適用於哪項工作

• UI 自動化、螢幕讀取、機器人感知 — LFM3-VL-2B,毫不猶豫,而且無思考模式也沒問題。ScreenSpot-Pro 上 55.5 對 4.9,不是靠工程手段就能繞過的差距。

• 圖表推理、視覺數學、圖示題 — 若你在不啟用推理的情況下運行,那就是 MiniCPM-V 4.7 1B;若否,就是一場真正的較量。用你自己的資料檢查 We-Math;27.7 分的「不思考」差距,正是那種會在正式環境中立刻浮現的問題。

• 長影片——比類別平均所顯示的更接近。LFM3-VL-2B 在 Video 類別以 61.2 比 53.7 領先,但 MiniCPM-V 4.7 1B 實際上在 Video-MMMU 以 50.1 比 49.6 勝出,即使是對上 thinking 設定也一樣。

• 任何必須未經審查就能通過法務的東西 — MiniCPM-V 4.7 1B,單憑 Apache 2.0 即可。

• 目前任何需要成熟推論堆疊的場景——至少在接下來幾週內是 MiniCPM-V 4.7 1B,直到 llama.cpp 合併 LFM3-VL 支援為止。

當兩個模型都不在路由器上時,路由器適合放在哪裡

這兩個檢查點都不在 OrcaRouter 的目錄中;兩者都是你自己下載、量化並執行的權重。在這裡,路由層真正有意思的用法,不是用來服務它們,而是圍繞它們進行組合。模型融合讓一組模型共同回答同一個問題;而將一個專精視覺數學的本地 1.55B 專家模型,搭配一個在它較弱的類別——接地、代理式任務——上更強的託管模型,這種配置能勝過任一模型單獨運作。路由 DSL 正是讓你表達哪一條路徑負責哪一類問題的方式,不必每次有檢查點發布就重寫應用程式。

誠實的總結是:那個 13.9 分的頭條數字是真的,但它是在單一實驗室的測試框架上測出來的,拿來當採購決策依據則會誤導人。LFM3-VL-2B 在螢幕與視覺定位(grounding)方面是更好的模型,領先幅度是同尺寸級別中其他模型都望塵莫及的。MiniCPM-V 4.7 1B 在不需推理的視覺數學方面是更好的模型,其授權條款無須協商,且在同一套測試中與體型兩倍大的模型打成平手。正確答案取決於上述哪一句話描述了你的工作負載——而兩家廠商的平均分都不會告訴你這件事。