LFM3-1.7B-Base：リポジトリが示していること、そしてLiquid AIがまだ明かしていないこと

Liquid AIの新しいファミリーで最も影響が大きいチェックポイントは、最も読むべき情報が少ないものです。LFM3-1.7B-Baseは17.3億パラメータのテキスト専用事前学習済みモデルで、2026年10月27日に、ポストトレーニング済みのすべてのLFM3モデル——テキストモデル、ビジョンモデル、音声モデル、オムニモデル、そして2つの意思決定モデル——の構築元となる幹となりました。ファミリーのローンチ記事では、これについて一言だけ触れています。単独の発表も、ベースモデルのベンチマーク表も、これに焦点を当てた報道もありません。一方で、リポジトリはこのチェックポイントが何であり、何のためにあるのかについて異例なほど明示しており、そのためこれは説明しやすいリリースであり、誇張するのが難しいリリースでもあります。モデルプロバイダーが請求する金額に上乗せはありません。プロバイダーの定価ベンダーの価格変更は当日に請求額へ反映されます。

以下では、その二つを分けて扱う。前半はすべて、モデルカード、設定ファイル、ライセンス文、またはLiquid自身のローンチ投稿に由来しており、今日時点で確認できる。後半は、重みが公開されてから3日経った今もなお、本当に不明なままの事柄だ。

2つのリポジトリ、1本のローンチ投稿、そして12時間のギャップ

タイムスタンプは、マーケティングで発表される前に公の場で起きていたリリースの経緯を物語っている。ポストトレーニング済みのLFM3-1.7Bリポジトリは2026年10月23日に作成された。ベースリポジトリは10月26日16:28 UTCに作成され、そのカードは10月27日04:15 UTCに最終更新された——それから12時間も経っていない。ブログ記事「Introducing LFM3: Every Modality for Specialized Intelligence」の日付は10月27日である。社外の誰かが仕様を読めるようになった時点で、重みはすでに一日 Hugging Face 上に置かれていた。

その順序は率直に言っておく価値がある。ここではそれが「静かなリリース」に最も近いものだからだ。Liquidは確かにファミリーを発表し、その発表では他の6モデルの学習元となったチェックポイントとしてLFM3-1.7B-Baseを名指ししている。しかし同社がしなかったのは、ベースチェックポイントをそれ独自の形で発表することだ——別個の投稿も、ベース専用の評価も、カード内の1段落を超える位置づけもない。ローンチを得たのはファミリーだった。トランクが得たのは、リポジトリとファミリーへのポインタだけだった。

リポジトリには何がありますか

このモデルカードはコンパクトで、今回は基本事項が一通り揃っている。bfloat16で3.46 GBのmodel.safetensorsファイルが1つ。語彙数128,000のトークナイザー。モデルコードは重みと一緒にカスタムPythonとして提供され、マージされた上流のTransformersリリース経由ではなく、trust_remote_code=Trueで読み込まれる。ライセンスはLFM Open License v1.0で、LiquidがLFM2以来使っているのと同じ系列の条件だ。

• パラメータ — 17.3億、dense、すべてのトークンで全パラメータを読み込みます。

• レイヤー — 24: ゲート付き短畳み込みブロック13個、スライディングウィンドウアテンションブロック5個、フルアテンションブロック6個。

• コンテキスト — 262,144トークン（入力と出力の合計）

• アテンションの幾何構造 — 隠れサイズ2,048、クエリヘッド16個、キーバリューヘッド4個、ヘッド次元128。これは4対1のグループ化クエリ・アテンションであり、LFM2.5の8対1ではない。

• ローカルウィンドウ — 256トークン、そして7つの畳み込みキャッシュ。これはレイヤーごとのアテンション設定であり、コンテキスト長ではありません。そのため、このアーキテクチャが公開前日にエンジンのプルリクエストで初めて登場した際、小さな誤報の波を引き起こしました。

• 語彙と言語 — 128,000トークン、16言語を収録：英語、アラビア語、中国語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、スペイン語、ベトナム語、タイ語、インドネシア語、ヒンディー語、ロシア語、ポーランド語。

• メモリ — Liquidによれば4ビット精度で約1GB、BF16で出荷時の状態では3.46GBです。

サイズを見積もる前に知っておくべき小さな不整合が1つあります。Hugging Face のサイドバーはモデルを「2B params」に丸めていますが、カードの表には 1.73B と記載されています。ファイルが答えを出してくれます。bfloat16 の 3.46 GB は、1パラメータあたり2バイトで17.3億パラメータに相当するため、サイドバーの表示は丸めの慣例であり、別の仕様ではありません。執筆時点で、リポジトリは過去1か月に15回ダウンロードされ、8件のいいねを獲得していました。これは、公開され、ローンチ投稿からリンクされ、まだ誰にも本格的に採用されていないチェックポイントのプロフィールです。

図を除いたアーキテクチャ

この設計は、予算の議論として捉えるのが最もよく理解できる。長いコンテキストでは、フルアテンションがトランスフォーマーの高コストな部分になる。各トークンが他のすべてのトークンと比較し、コストは系列長の二乗で増大するからだ。Liquidのtri-hybridスタックは、24層のうち6層だけをこの演算に割いている。13層はゲート付き短畳み込みで、トークンあたり固定コストで情報を局所的に混合する。5層は一度に256トークンを参照するスライディングウィンドウアテンションブロックだ。ネットワークの3分の2は、グローバルアテンション演算を一切行わない。

これはLiquidがLFM2以降続けている同じ賭けを、さらに推し進めたものだ。LFM2.5-2.6B-Baseは30層を22の畳み込みと8のフルアテンションブロックに分割し、スライディングウィンドウの階層を持たなかった。LFM3はスタック内の5か所で一対の畳み込みをスライディングアテンションブロックに置き換え、畳み込みキャッシュを3から7に増やし、コンフィグに現れるサンドイッチ正規化と部分ロータリーの設定を追加している。その特定のトレードオフが品質を向上させるかは評価だけが答えられる問いであり、公開時点ではそれに答えるベースモデルの評価は存在しない。コンフィグが確かに示しているのは、256Kコンテキストがアテンションを256Kにスケールすることで達成されているのではなく、スタックの大部分をローカルに保つことで達成されているということだ。

ベースモデルにはチャットテンプレートが付属しています

これは、生のテキスト補完を期待してチェックポイントをダウンロードする人を最も混乱させやすい詳細です。LFM3-1.7B-Base には完全なチャットテンプレートが含まれており、カードには、中間トレーニングには思考トレースありとなしの両方のチャットデータが含まれ、ポストトレーニング済みモデルと同じテンプレートでフォーマットされていたと書かれています。apply_chat_template を呼び出すと推論はデフォルトで有効になります。enable_thinking=False を渡さない限り、応答は思考ブロック内から始まります。これを渡すと空のトレースが事前に埋められ、直接回答が要求されます。

したがって、それはinstructモデルのように少し振る舞いますが、文書上はまったく別物として扱われています。モデルカード自身の推奨は明確です。LFM3-1.7B-Baseは「言語特化型やドメイン特化型のアシスタント、独自データでのトレーニング、新しいポストトレーニング手法の実験など、徹底したファインチューニングを必要とするタスクにのみ推奨されます」とされています。チャット、ツール呼び出し、エージェントには、LFM3-1.7Bを指し示しています。テンプレートがあるのは、ミッドトレーニングデータがその形式で作られており、ファインチューニングがそれを継承するからであって、チェックポイントが会話向けに調整されているからではありません。テンプレートを準備完了のシグナルとみなす人は出力に失望するでしょうし、モデルカードは始める前にそう明言しています。

人々が引用する数字は、このモデルの数字ではない

公開記事にはかなりの規模のベンチマーク表があるが、そのほとんどはこの記事が扱うチェックポイントには当てはまらない。見出しの平均49.37は、ポストトレーニング済みモデルであるLFM3-1.7Bのもので、Liquid独自のスイート全体で測定された値だ。比較行——LFM2.5-2.6Bは31.55、MiniCPM5-2Bは39.19、Gemma 4 E4Bは31.74、Qwen3.5-4Bは39.27、Qwen3.5-9Bは47.24——は、ポストトレーニング済みモデル同士の比較である。SWE-bench Verifiedの43.40とLiveCodeBench v6の73.46も同様に、チューニング済みモデルのスコアだ。

軽い読み方の中でベースチェックポイントに結びつけられがちな主張が2つあるが、結びつけるべきではない。1つ目は「パラメータ数が35%少ない」というものだ。これはLFM3-1.7BがLFM2.5-2.6Bを上回るという意味であり、事後学習済みのペアについての話であって、ベース同士の結果ではない。2つ目は、LFM3が「Gemma 4 12Bに匹敵する」という主張だ。この文は視覚モデルであるLFM3-VL-2Bが62個の視覚ベンチマークで示した結果について述べたものである。テキストのベースチェックポイントについては何も述べておらず、そのチェックポイントには公開された評価がまったくない。ベンチマーク表のないベースモデルは珍しくない——LiquidはLFM2.5-2.6B-Baseについても意図的に何も公開していない——が、それが無いということは、このチェックポイントに関する品質上の主張はすべて、現時点ではそれが生み出したモデルについての主張にすぎないことを意味する。

トレーニング、そして実際に際立っている部分

Liquidによると、このチェックポイントは2段階で22兆トークンを処理した。主要な事前学習段階では、LFM2と比べてデータ混合を変更し、科学論文、リポジトリレベルのコード、数学、より広範な知識ソースを増やした。最後の3.5兆トークンは、エージェントのトレースとツール呼び出しの割合を高めた、厳選された高品質データによる中間学習段階であり、この段階でコンテキストウィンドウが256Kに拡張される。

異例なのはトークン数ではない。エージェントデータが事後学習だけに入ったのではなく、ベースモデルにも入ったという点だ。ほとんどのベンダーは、ツール呼び出しのトレースを指示チューニング段階のために保持する。Liquidはそれを基盤モデル本体に入れ、その上でSFT、混合RL、マルチドメインのオンポリシー蒸留、エージェントRLを用いて6つの異なるモデルを事後学習した。これは、モダリティをまたいで1つのバックボーンを共有することを意図したファミリーにとって一貫した戦略であり、ベースチェックポイントがチャットテンプレートを備えている理由でもある。これは外部から検証できない訓練手法に関する主張であり、独立した再現は存在しない。

今日、これでできること

このカードでは、2つのTRLノートブックを紹介しています。1つは乱雑な文書から構造化JSONを抽出する教師ありファインチューニング用、もう1つは新しい言語での継続事前学習用で、生テキストのトルコ語を例にしています。どちらもLFM3-1.7Bを前提に書かれており、ベースチェックポイントを指すように単一のmodel_idを変更するだけで済みます。ファインチューニングの残りの手順についてはドキュメントページで説明しています。instructモデルには、ランタイムバリアントが一通り揃っています — vLLM、SGLang、Transformers向けのBF16、SGLang向けのFP8とNVFP4、llama.cpp、Ollama、LM Studio向けのGGUF、Apple silicon向けのMLX、ONNX Runtimeです。ベースチェックポイントの成果物はちょうど1つだけです。BF16 safetensorsファイルです。GGUFもMLXビルドも量子化リリースもありません。スマートフォンで実行したい場合は、その変換を自分で行うことになります。

モデルを提供して生計を立てている場合、これがどこに当てはまるか

事前学習済みチェックポイントはチャットエンドポイントではありません。その点は具体的に述べておく価値があります。LFM3-1.7B-Baseは本稿執筆時点でOrcaRouterのカタログに掲載されておらず、そもそもベースモデルをルーティングするのは妙な話です。ルーティング先となる指示追従能力がないからです。ルーターの有用な出番はその一歩後、ファインチューンが存在してから始まります。OrcaRouterは200以上のモデルを1つのAPIの背後に、プロバイダー定価への0%の上乗せ、自動フェイルオーバー、ルーティングDSLを備えて提供しているので、ドメイン向けにチューニングされたLFM3チェックポイントを、より大規模な汎用モデルの隣に置き、2つ目の統合なしに比較したりフェイルオーバー先にしたりできます。モデル融合 — パネルが共同で回答すること — は、1.73Bのスペシャリストが1つのことに優れていて、セカンドオピニオンが必要な場合のもう1つの選択肢です。そのいずれも、ベースチェックポイント自体をどこかにホストする必要はありません。

まだ確認されていないものは何ですか

• ベース品質。 ベンチマーク表、評価ハーネスの出力、どのタスクにおけるLFM2.5-2.6B-Baseとの比較もありません。

• 独立した検証。 ベースモデルとチューニング済みモデルのどちらについても、その実行結果を公開した第三者機関のラボは存在しない。ローンチ記事に掲載された数値はすべてLiquid自身によるものである。

• 上流のTransformersサポート。 このリポジトリはカスタムモデリングコードとtrust_remote_codeを使用しています。それはローンチ時には普通のことですが、後々メンテナンスコストになります。

• ベースモデルがどのように提供されるのか。 ローンチ記事には、ベースモデルと事後学習済みモデルがHugging Face、Liquid Playground、Liquid APIで利用可能と書かれている。チューニングされていないベースチェックポイントをAPIがどう扱うのかは説明されておらず、その価格も公表されていない。

• ライセンスのエッジケース。 LFM Open License v1.0は、年間収益が1,000万ドル未満であれば商用利用が無料です。この閾値を超える場合は商用ライセンスが適用されます。テキスト自体は公開されていますが、ベースモデルで学習した派生モデルを商用提供する場合にどう扱われるかは、モデルカードではなく弁護士に確認すべき問題です。

何を観るべきか

次に意味のあるシグナルは、別の発表ではない。それは、ポストトレーニング済みモデルに対する最初の独立評価であり、ベースチェックポイントを学習させるのがどのようなものだったかを報告する最初の公開ファインチューニングだ。Liquid自身の位置づけがその検証を促している。6つのモデルを生み出し、2.69Bの前身を上回ると主張する1.73Bのトランクは、本当に効率的なアーキテクチャか、巧妙に選ばれたベンチマーク群のどちらかであり、両者を分けられるのは外部による実行だけだ。それまでは、リポジトリがすべてだ。3.46 GBのファイル、明確な仕様、招待ではないチャットテンプレート、そして収益ラインが近づく前に読む価値のあるライセンス。