生成されたタイトルカードは「LFM3-VL-2B vs MiniCPM-V 4.7 1B」と表示され、サブタイトルは「同じサイズクラス、異なるライセンス」。左パネルには1.92Bパラメータ、LFM Open License、平均71.4が、右パネルには1.55Bパラメータ、Apache 2.0、平均57.5が記載されている。
Guides & Insights

LFM3-VL-2B 対 MiniCPM-V 4.7 1B:思考をオフにすると14ポイントの差が4に縮まる

著者

Alistair Wren

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

最も重大な違いは、LFM3-VL-2BとMiniCPM-V 4.7 1Bの間にあるが、どちらのベンチマーク表にも示されていない。それはライセンス条項の行にある。OpenBMBのモデルはApache 2.0だ。Liquid AIのモデルはLFM Open License v1.0で、単純な寛容型条件ではなく商用条件を伴う。両モデルはそれ以外ではサイズが近く、直接の代替になり得る——1.92B対1.55B——そして3週間以内に相次いで登場した。MiniCPM-V 4.7 1Bは10月6日にHugging Faceで公開され、ベンダーのリリースノートでは10月12日付とされ、一方LFM3-VL-2Bは10月19日から公開リポジトリに置かれ、10月27日に発表された。Liquid自身の62ベンチマークスイートでは、新モデルは平均71.4対57.5で、13.9ポイント差だが、Liquidモデルの推論を無効にするとすぐに4.6ポイント差まで縮まる。

同じ重量階級に属する2つのモデル、異なるルールの下で

MiniCPM-V 4.7 1Bは、2つのうち約3億7000万パラメータだけ小さいほうです。SigLIPスタイルのビジョンタワーとQwen3.5由来の言語バックボーンを組み合わせ、リクエストごとに選択できる4×または16×の視覚トークン圧縮を採用し、ベンダーのドキュメントでは256Kのコンテキストウィンドウを謳っています。BF16、int4、AWQ、GPTQ、GGUFのビルドで提供され、投機的デコーディング用の専用DSparkドラフトモデルを備えています。

LFM3-VL-2Bは、LFM3-1.7B言語モデルに新開発の自社製164M視覚エンコーダーと25Mプロジェクターを組み合わせたもので、公表仕様では128Kコンテキスト、毎秒2フレームの動画入力、およびノーシンキングモードを備えています。

• パラメータ — OpenBMBのドキュメントによると、LFM3-VL-2Bは1.92B、MiniCPM-V 4.7 1Bは1.55B。Hugging Faceのモデルサイズバッジでは、後者が2Bに丸められています。

• ライセンス — LFM Open License v1.0 対 Apache 2.0。

• コンテキスト — 128Kトークン、主張されている256Kに対して、ただし推論設定では上限がはるかに低く設定されるのが一般的です。

• ビジョンパス — 2×2パッチブロックあたり1トークンを持つ164Mの社内製エンコーダーと、4×/16×圧縮のSigLIPスタイルのタワーとの比較。

• 動画 — 毎秒2フレーム、動画に対応した初のLFMビジョンモデル。LongVideoBenchおよびMotionBenchの数値はベンダーが公開しています。

• 推論モード — 利用可能かつ両方の方法で測定済み 対 ベンチマーク実行で利用可能かつ使用済み。

• Liquidの62ベンチマークスイートにおけるベンダー平均 — 思考時71.4、非思考時62.1、対して57.5。

A generated two-column scoreboard for LFM3-VL-2B and MiniCPM-V 4.7 1B comparing parameters (1.92B vs 1.55B), licence (LFM Open License vs Apache 2.0), 62-benchmark average (71.4 vs 57.5), math and reasoning (68.8 vs 51.8), We-Math without thinking (20.1 vs 47.8) and GUI understanding (83.1 vs 45.3).

総合的な差は13.9ポイントです。まず脚注を読んでください。

Liquidの表は、両モデルを同じ62個のベンチマークで同一の正規化によって評価している唯一の資料であり、この比較がそもそも可能なのはそれのおかげである。OpenBMB自身のカードはLFM3-VL-2Bとのベンチマーク比較を行っていない。MiniCPM-V 4.7 1Bの出荷時点でLFM3-VL-2Bは存在していなかったからだ。

A screenshot of the LiquidAI/LFM3-VL-2B Hugging Face model card showing License: lfm1.0, 2B parameters in BF16, a note that no inference provider deploys the model, nine quantizations, and a table giving 1.92B as a 1.73B language model plus a 164M vision encoder and a 25M projector.

重要な脚注:表内のすべてのモデルで推論モードが使用された。ただし、それをサポートしていない LFM2.5-VL-3B と、LFM3-VL-2B の no-thinking 構成は除く。したがって、71.4 と 57.5 はどちらも推論有効時のスコアであり、これにより LFM2.5 との比較よりも公平な比較になっている。両モデルは、同じラボによって、同じ測定器で、それぞれの最良の設定で測定されている。

公平であることは独立していることと同じではない。Liquidがベンチマークを選び、実行した。この表は異常なほど網羅的で、カテゴリレベルとベンチマーク単位の行を含み、すべての競合他社の名前も挙げているが、第三者がそのいずれも再現したことはない。

思考をオフにすると、1B が 62 回中 24 回勝つ

LFM3-VL-2Bは、同じ重みについて推論を無効にした2つ目のスコアを公開している。その列こそ興味深い。13.9ポイントの総合値が実際にどこから来ているのかを示しているからだ。思考なしでは、LFM3-VL-2Bが35のベンチマークで勝ち、MiniCPM-V 4.7 1Bが24で勝ち、3つが引き分けとなる。平均差は4.6ポイントに下がる。

さらに際立っているのは、その構成で1Bが勝ち取る項目だ。数学とチャート推論のクラスターの大半を、しばしば大きな差で制する。

• We-Math (testmini, strict) — MiniCPM-V 4.7 1B が 47.8 であるのに対し、LFM3-VL-2B は思考なしで 20.1、思考ありで 68.6 です。

• LogicVista — 思考なしで46.1対30.2、思考ありで60.4。

• MathVista (mini) — 思考なしで71.2対68.5、思考ありで84.2。

• ChartQA(テスト) — 88.8 対 81.4(思考なし)、92.7(思考あり)。

• CharXiv(記述的) — 思考なしで73.4 対 65.5、思考ありで87.5。

• DynaMath — 63.8 対 57.7(思考なし)。

• MMMU(val) — 思考なしで51.0 対 48.6、思考ありで55.7。

We-Mathの結果は、立ち止まって考える価値がある。両モデルとも推論を許されていない場合、1Bが27.7ポイント優位であり、LFM3-VL-2Bが推論を許された途端、今度はLFM3-VL-2Bが20.8ポイント優位になる。We-Mathは多段階の視覚的数学における厳密正解率ベンチマークであり、スコアは2つのモデル間で徐々に変化するのではない。反転するのだ。これは、推論モードが何をもたらしているかを表の中で最も明確に示す単一の例である。

実用的に言い換えると、レイテンシのために推論を無効化し、ワークロードにグラフや図の中の数値が含まれる場合、より大きなモデルの総合的な優位性はあなたを守ってくれません。1B のほうが優れたツールです。

LFM3-VL-2Bがモードに関係なく勝る場面

逆もまた当てはまり、そのカテゴリーも同じくらい具体的である。そのうち5つは、「考えない」列においてさえ、ほぼ一方に偏っている。

• GUI理解 — thinkingで83.1、no-thinkingで81.5(MiniCPM-V 4.7 1Bは45.3)。ScreenSpot-Proは55.5対4.9、ScreenSpot-v2 Desktopは94.6対51.5です。

• 視覚的グラウンディング — thinking は 77.3、no-thinking は 72.6(対 51.1)。RefCOCO-avg は 90.5 対 86.3 に達します。

• 身体化された推論 — 思考あり 64.4、思考なし 57.9、比較対象 45.3。

• Agentic — 42.5(thinking)、32.9(no-thinking)、対16.9。表内の4モデルすべてにとって最も弱いカテゴリであり、この2つの間の相対的な差が最も大きい。

• 多言語 — thinkingで84.4、no-thinkingで76.2、対して77.4。no-thinkingのLiquidモデルが1Bに負ける唯一のカテゴリ。

ScreenSpot-Proの55.5対4.9は、62のベンチマーク全体で見ても、2つのモデル間の単一最大の差です。UI自動化を構築しているなら、ここで迷う余地はありません。数学チューターを構築しているなら、順位は逆転します。13.9ポイントの平均は、まったく異なる振る舞いをする2つの母集団を平均したことによる産物です。

同じベンチマークに対して2つのハーネス、2つの数値

これはベンダー間の比較を危険なものにする部分であり、両ベンダーが同じ名前のベンチマークについて数値を公表しているため、独立したセクションとして扱う価値がある。

OpenBMBは自身のページで、MiniCPM-V 4.7 1BのMathVistaが74.3だと報告している。Liquidが同じモデルを同じ名称のベンチマークで再実行した結果は71.2だった。OpenBMBはOCRBenchを86.1と報告しているが、LiquidのハーネスではOCRBench v1が82.1と報告されている。どちらのラボも嘘をついているわけではない。異なるプロンプト形式、異なる回答抽出ルール、または異なるサブセットを実行しており、その結果生じる3.1ポイントと4.0ポイントの差は、通常のハーネス変動である。

その結果、OpenBMBの74.3から、LFM3-VL-2Bに関するLiquidのno-thinkingのMathVista数値68.5を引いて5.8ポイントの勝利を得る、ということはできない。それは10月27日より前には擁護可能な解釈だった。当時、MiniCPM-V 4.7 1BとLFM2.5-VL-3Bの間で唯一共通のベンチマークは、2つの異なるハーネスで測定されていた。今ではLiquidが両モデルを1つの表内で公表しているため、それは擁護できない。表を使い、各ベンダーページの数値はそれぞれ独自の測定器に属するものとして扱え。

古い論争を静かに決着させるネクタイ

その同じ表の中には、両社の誰も宣伝していない結果がある。MiniCPM-V 4.7 1Bは62個のベンチマーク全体で平均57.5。LFM2.5-VL-3Bは平均57.6。

OpenBMBの製品ページは、1BモデルがOCR、グラフ推論、動画理解においてLFM2.5-VL-3Bを上回ると主張している。Liquidのテストスイートでは、その主張は半分正しく半分間違っており、総合では完全に互角だ:

• 文書、OCR、グラフ — MiniCPM-V 4.7 1B は 73.0、LFM2.5-VL-3B は 71.2。主張は支持されるが、僅差。

• 動画 — 53.7 対 41.3。主張は決定的に裏付けられています。

• 数学 — 51.8 対 40.6。主張は裏付けられており、元の主張では言及されていません。

• 視覚的グラウンディング — 51.1 対 68.3。この主張はまったく成り立たない。

• GUI理解 — 45.3 対 66.0。主張は全く成り立たない。

• Agentic — 16.9 対 21.1。この主張は成立しない。

つまり、1.55BのApache 2.0モデルが、資金豊富な研究所の3.1Bモデルと、共通の62ベンチマークスイート上で互角に渡り合っている。しかも、いくつかのカテゴリでは決定的に勝ち、別のカテゴリでは決定的に負けることでそれを成し遂げている。これは能力密度に関する確かな結果であると同時に、平均値が何を隠しているかについての警告でもある。ここで比較はLFM3-VL-2Bに戻る。両方を上回るモデルとは、一律に優れているモデルではなく、推論モードが最も弱いカテゴリを引き上げるモデルなのだ。

ライセンス、ダウンロード、そして実際に出荷できるもの

ライセンスの違いは、上記のどの行よりも多くの導入を左右する。Apache 2.0は法務チームとの相談を必要としない。LFM Open License v1.0には商用条件があり、Liquidがファミリー内の全モデルをこれで提供できるほどにはオープンだが、同じ許可内容ではない。

A screenshot of the openbmb/MiniCPM-V-4.7-1B Hugging Face model card showing License: apache-2.0, 155,428 downloads last month, 408 likes, a note that no inference provider deploys the model, and bullets on 4x and 16x visual token compression, iOS, Android and HarmonyOS support, and SGLang, vLLM, llama.cpp and Ollama.

採用状況も似たような事情を示している。Hugging Faceでは、MiniCPM-V 4.7 1Bが10月6日以降に約15万5,000回ダウンロードされ、いいねは400件をわずかに超えた。LFM3-VL-2Bは執筆時点でダウンロードが数百回、いいねが16件で、公開から9日、発表から1日しか経っていない。ダウンロード数はノイズの多い指標であり、CIパイプラインや量子化ミラーによって水増しされることもあるが、3桁の差はノイズではない。これは、一方のモデルには1か月分のツール、チュートリアル、コミュニティによる量子化が蓄積されているのに対し、もう一方には1日分しかないことを反映している。

ツール群も同じパターンに従っています。MiniCPM-V 4.7 1B は Transformers、SGLang、vLLM、llama.cpp、Ollama、OpenVINO を挙げており、さらに iOS、Android、HarmonyOS のネイティブアプリケーションも含まれています。LFM3-VL-2B は提供開始時点で SGLang に対応し、GGUF ウェイトが利用可能で、llama.cpp のサポートはまだレビュー中です。同モデルのカードによると、保留中の実装では動画入力に対応していません。

どのモデルがどの仕事に向いているか

• UI自動化、画面読み取り、ロボティクス知覚 — LFM3-VL-2B、迷うことなく、no-thinkingモードで問題ありません。ScreenSpot-Proの55.5対4.9は、工夫で覆せるような差ではありません。

• グラフ推論、視覚的数学、図表問題 — 推論なしで動かすなら MiniCPM-V 4.7 1B、そうでなければ本物のコンテストだ。We-Math を自分のデータで確認してください。推論なしでの27.7ポイント差は、本番環境ですぐに露呈する類のものです。

• 長尺動画 — カテゴリ平均が示すほど差は大きくありません。LFM3-VL-2Bは動画カテゴリで61.2対53.7とリードしていますが、MiniCPM-V 4.7 1Bはthinking構成に対してもVideo-MMMUで50.1対49.6と実際に勝利しています。

• レビューなしで法務を通す必要があるもの — MiniCPM-V 4.7 1B、Apache 2.0 のみで。

• 今日、成熟した推論スタックを必要とするもの — 少なくとも今後数週間は MiniCPM-V 4.7 1B を使用してください。llama.cpp が LFM3-VL サポートをマージするまでです。

どちらのモデルも搭載していない場合にルーターが収まる場所

これらのチェックポイントはどちらもOrcaRouterのカタログにはなく、どちらもダウンロードして量子化し実行する重みです。ここでのルーティング層の興味深い使い方は、それらを提供することではなく、それらを組み合わせて構成することにあります。モデル融合では、モデルのパネルが同じ質問に一緒に回答でき、視覚的数学のローカル1.55B特化モデルを、それが劣るカテゴリ——グラウンディングやエージェント作業——により強いホスト型モデルと組み合わせることは、どちらか単独のモデルを上回る構成です。ルーティングDSLを使えば、チェックポイントがリリースされるたびにアプリケーションを書き直すことなく、どの質問をどのレッグが処理するかを表現できます。

正直にまとめると、13.9ポイントという見出しの数字は本物で、あるラボのハーネスで測定されたものだが、購入判断としてはミスリードだ。LFM3-VL-2B はスクリーンとグラウンディングにおいてより優れたモデルであり、同サイズクラスの他のモデルが到底及ばない差で上回る。MiniCPM-V 4.7 1B は推論を伴わない視覚的数学により優れたモデルで、交渉不要のライセンスで提供され、同じスイートで倍のサイズのモデルと互角に並ぶ。正しい答えは、そのうちどの文があなたのワークロードを表すかによる——そしてどちらのベンダーの平均も、それを教えてはくれない。