SingVL_S1_4B 対 LFM2.5-VL-3B：段落に対する確率

かどうかを問うのはSingVL_S1_4Bを上回るLFM2.5-VL-3Bそもそも成立しない問いであり、一週間を無駄にする最短の方法は、それでも答えてしまうことだ。これらのモデルの一方は画像について段落を書き、もう一方は渡された各選択肢について確率を返すだけで、自分から一言も発しない。その違いはリーダーボードで決着をつけるべき品質差ではない。それは、ベンチマークを参照する前に、どのパイプラインがどのモデルを使えるかを決める。だから誠実な比較は逆方向に行う。コードが受け取る必要があるものから始め、どのモデルがそれを生成できるかを見るのだ。

2つの異なる戻り値の型

Liquid AIのLFM2.5-VL-3Bは、通常の意味での視覚言語モデルです。画像と質問を与えると、トークンごとに回答を生成します。つまり、場面を描写したり、マルチターンの会話に追随したり、関数を呼び出したり、レイアウト注釈付きで1ページのテキストを文字起こししたり、指定したオブジェクトのバウンディングボックスを返したりできます。2026年8月12日にリリースされ、LFM2.5-2.6B言語バックボーンとSigLIP2 NaFlex視覚エンコーダーを基盤とし、オンデバイス展開を明確に想定しています。Apple M5 Max上で3.3 GB未満のメモリで毎秒228トークン、ネイティブチェックポイントとともにGGUF、ONNX、MLXビルドも公開されています。

inclusionAIのSingVL_S1_4Bは、2026年11月11日にひっそりとアップロードされ、ただ一つのことを単一のフォワードパスで行います。テキスト、JSON、最大4枚の画像からなる状態と、名前付き質問の辞書——各質問はタイプ（choice、「noul」というラベルの下でのyes/no、または2〜10段階の順序付きスコア）と候補回答を宣言します——を渡すと、候補ごとに確率を返します。サンプリング工程も、設定するtemperatureも、解析する出力もありません。モデルカード自体も、APIの例に至るまで、一貫してその語彙で書かれています。

エンドポイントが返す必要があるのが「請求書はAcme発行、3月付、合計1,240.00」なら、LFM2.5-VL-3Bはそれを実行でき、SingVL_S1_4Bはできません。エンドポイントが必要とするのが {"is_invoice": 0.97, "quality": {"1": 0.02, "2": 0.11, "3": 0.87}} なら、逆になります。判断はこれで全部で、以下のすべてはその境界についてです。

表を使わずに横並びにした仕様書

• パラメータ — SingVL_S1_4B は BF16 で約 4.54B、2 つのシャード合計で 9.1 GB。LFM2.5-VL-3B は 3.1B で、言語バックボーンは 2.6B。

• 出力 — SingVL_S1_4B は1回のフォワードパスから選択肢ごとの確率を返します。LFM2.5-VL-3B は生成テキスト、ツール呼び出し、または構造化されたレイアウト注釈を返します。

• コンテキスト — SingVL_S1_4B はテキストのみの場合65,536入力トークンを受け付け、画像を添付すると10,000まで低下する。LFM2.5-VL-3B はエンドツーエンドで32,768トークンをうたっている。

• リクエストあたりの画像数 — SingVL_S1_4B は最大4枚で、プロセッサの上限は各画像1,806,336ピクセルです。LFM2.5-VL-3B は単一画像入力と複数画像入力に対応し、大きな画像を512×512のパッチとサムネイルに分割します。

• 言語 — LFM2.5-VL-3B はアラビア語からベトナム語まで15言語を列挙している。SingVL_S1_4B のカードには言語に関する主張が一切ない。

• ライセンス — LFM2.5-VL-3B は LFM Open License v1.0 のもとで提供されており、量子化された派生モデルはすでに流通しています。一方、SingVL_S1_4B はライセンス欄も LICENSE ファイルもない状態で提供されています。

• デプロイ — LFM2.5-VL-3B にはネイティブ、GGUF、ONNX、MLX の各ビルドに加え、WebGPU デモ、および vLLM、SGLang、llama.cpp の各パスがあります。SingVL_S1_4B は、リポジトリをクローンして独自の FastAPI サーバーをポート 8173 で実行することを意味します。

• エコシステム — LFM2.5-VL-3B は8月から Hub に公開されており、コミュニティによる量子化や移植版も登場しています。SingVL_S1_4B は執筆時点で公開から1日で、ダウンロード数はゼロでした。

これらの行のうち2つは、見た目以上に決定的です。まずライセンスの行です。ライセンスのないリポジトリは、再配布や出荷を行う権利を誰にも与えません。そして「ベンダーが明言していない」は、コンプライアンスレビューに盛り込める許可ではありません。次にデプロイの行です。スマートフォンで動くONNXビルドと、CUDAデバイスを前提とするPythonサーバーは、パラメータ数が何と言おうと、あなたのアーキテクチャの同じ枠を争うものではありません。

ベンチマークの数値を減算できないのはなぜか

両方のカードは、名称が重複するデータセットのスコアを報告しているが、その重複は罠だ。SingVL_S1_4BはRealWorldQAで82.17、BLINKで72.11、MMMU-Pro visionで50.17、InfographicVQAで96.31を報告している。LFM2.5-VL-3BはRealWorldQAで73.1、BLINKで61.5、MMMU Proで30.5、ChartQAで81.3を報告している。並べてみると圧勝に見える。だが、これは何の比較にもなっていない。

第一の理由は回答方式にあります。SingVL_S1_4B のすべての数値は、与えられた選択肢の集合をスコアリングし、最も確率の高いものを選ぶことで得られており、これは、採点者が後から照合しなければならない自由形式の回答を生成するよりも根本的に簡単なタスクです。Decision Index はまさにこの点を測定しており、そのことを明言しています。同指標のスコアはチャンス補正済みであるため、当て推量には何の評価も与えられませんが、それでもモデルは文字列を生成する必要がなく、他者が書いた候補を順位付けするだけで済みます。同じ問いにゼロから答える生成モデルは、チャート上の同じ点に対してより多くの仕事をしていることになります。

第二の理由は、誰がそれを実行したかです。どちらの数値セットもベンダー報告で、各ベンダー独自のハーネス上で得られたものです。どちらも中立な研究所によって再現されていません。SingVL_S1_4B はさらに公開から1日しか経っておらず、Decision Index の公開再現キットへの提出もありません——カードには作成手順が含まれていますが、それは意図を示すものであって何も証明しません。LFM2.5-VL-3B は3か月間、人々が実行してきました。これは監査済みの数値と同じではありませんが、少なくともその数値が外部の人間に目を通されてきたということではあります。

第三はバージョンのずれです。LFM2.5-VL-3B の自身のカードでは、その OCRBench v2 の数値は英語のみのサブセットとして示されています。SingVL_S1_4B の InfographicVQA の行は、独自の正規化を持つスイートの中で報告されています。同じデータセット名でもサブセットが異なる2つの数値は同じ数値ではなく、誠実な対応はそれらを引き算するのをやめることです。

効率性の主張は一方の側だけのものだ

LFM2.5-VL-3Bの最大の売りは精度ではなく、メモリ予算内でのスループットです。3.3 GB未満で、M5 Maxでは毎秒228トークン、Ryzen AI Max+ 395では116トークン、Galaxy S26 Ultraでは20トークンです。製品設計で重要なのはこの最後の数値です。なぜなら、それはデバイス上で動作する機能とラウンドトリップを必要とする機能の違いだからです。SingVL_S1_4Bリポジトリには同等の主張は一切なく、そのような主張を行うための量子化ビルドもありません。提供されるのはBF16シャードとサーバースクリプトだけです。

裏を返せば、単一のフォワードパスには、生成モデルでは太刀打ちできないコスト特性がある。1つの質問に対して4つの選択肢を採点するのは1回のパスだが、200トークンの説明を生成するのは200回の逐次パスになる。もしあなたのタスクが本当に分類——この文書はレシートか、このフレームに人物は含まれるか、このリスティングは規約に準拠しているか——なのであれば、SingVL_S1_4Bの設計は意思決定あたりのコストがより低いはずであり、パーサーが耐えなければならない文ではなく、しきい値で作用できる較正済みの数値を返す。この優位性は構造的なものであり、ベンダーのベンチマークが正しいかどうかには依存しない。また、研究所の外で誰も測定していないため、これは事実ではなく期待値として扱うべきだ。

知るためにかかる代償

LFM2.5-VL-3Bは今日の午後、ノートPCで評価できます。MLXビルドはApple silicon上で動作し、GGUFビルドはllama.cpp経由でCPU上で動作します。また、ダウンロード前に確認したい場合にはホスト型のプレイグラウンドもあります。切り替えコストは設定ファイル内のモデル識別子だけで、リスクは重みにライセンスがあり形式が標準であるという事実によって限定されます。

SingVL_S1_4B には GPU と、セットアップに半日かかります。必要なのは Python 3.12、お使いのカードに合わせた PyTorch ビルド、リポジトリ独自の要件、そして空きポートです。サーバーが話すルートは POST /v1/systemone の 1 つだけで、フラットな JSON ボディを扱います。研究用の成果物としては異例なほど配線しやすく、カードにはテキストと画像の両方のリクエストで動作する curl の例が載っています。できないのは、既存の OpenAI 形式のクライアントをこれに向けることです。なぜなら、それはその形式ではないからです。このエンドポイントは Decision Index 評価キット向けに設計されており、キットもまたこのエンドポイント向けに設計されています。

その非対称性こそが「どちらを先に試すべきか」に対する実用的な答えです。確率を返すモデルが自分のパイプラインに役立つとまだ確認できていないなら、安上がりな実験は、すでに提供されているものに対してこのパターンを走らせてみることです。OrcaRouterはTypeSafe Jev 1.14を100万入力トークンあたり$0.042で提供しており、単一のキーで利用でき、それは自分のタスクを1時間でベンチマークできる実用的な判定エンドポイントです。ホストすべきチェックポイントも、エスカレーションすべきライセンス上の問題もありません。SingVL_S1_4B はそこでは利用できません — ホストしているプロバイダーがそもそも存在しないからです — したがって、今日実際にできる比較は「自分のデータでは型付き判定スコアリングが生成に勝つか」であり、「この特定の新しいチェックポイントが勝つか」ではありません。二つ目にコストをかける前に、まず一つ目の答えを出してください。

それぞれの居場所

• 必ず読んで引用すべき文書 — LFM2.5-VL-3B。レイアウトラベル付きの文字起こしを生成し、そのOCR行は単なるスコアではなく実際の能力を表しています。

• 画面、フォーム、GUI — LFM2.5-VL-3B。ScreenSpot-v2で80.7を記録し、前世代からのグラウンディングの改善が今回のリリースの主眼です。

• スマートフォンやノートPCで動くもの——LFM2.5-VL-3B、これは比較にならない。なぜなら代替手段にはサーバーが必要だからだ。

• 高コストな呼び出しの手前に置くゲート — どちらでも構いませんが、ホストできるなら SingVL_S1_4B の形の方が適しています。ゲートに必要なのは確率だからです。

• 固定された分類体系に対するマルチラベル・トリアージ — 原理的には SingVL_S1_4B。その選択式およびスコア式の質問タイプは分類体系に直接マッピングされるが、生成モデルの場合はプロンプトと後処理によって分類体系へと制約し直さなければならない。

• モデレーション — これも労力なしでは済まない。SingVL_S1_4B 自身のカードは、スキルプロンプトが適用されるとヘイトフル・ミームの行が 71.64 から 43.28 へ急落することを示しており、これは偽陰性のコストが高いまさにその領域におけるプロンプト感度に関する警告である。

• 今四半期の商用展開 — ライセンス上の理由だけでも LFM2.5-VL-3B。

まだ測定されていない部分

興味深い問いは、どちらのモデルが優れているかではない。両者は同じ競争にはいないからだ。問いは、視覚バックボーンの上に学習させた45億パラメータの分類器が、ラベルと信頼度だけが必要な狭いタスク群において、汎用視覚モデルに匹敵できるかどうかだ。もし匹敵できるなら、多くのパイプラインのコストが変わる。単一のフォワードパスは、生成された段落とは費用の桁が違うからだ。inclusionAIの外部では、まだ誰も知らない。リポジトリは公開から1日で、ライセンスは空欄、ベンチマークは研究室独自のものだ。

一方で、汎用モデルは利用可能で、ライセンス済みで、量子化され、文書化されており、スマートフォンで実行できるほど高速だ。チームがこれらのどれを本番環境に投入すべきかと尋ねたとき、今のところ答えは地味な方であり、興味深い方はリポジトリが付いた仮説だ。