LFM3-1.7B-Base : ce que dit le dépôt, et ce que Liquid AI n'a pas dit

Le checkpoint le plus important de la nouvelle famille de Liquid AI est celui dont il y a le moins à lire. LFM3-1.7B-Base est un modèle pré-entraîné exclusivement textuel de 1,73 milliard de paramètres, et le 27 octobre 2026, il est devenu le tronc à partir duquel tous les modèles LFM3 post-entraînés ont été construits — le modèle texte, le modèle vision, le modèle audio, le modèle omni et les deux modèles de décision. L'article de lancement de la famille le mentionne en une seule proposition. Il n'existe aucune annonce autonome à son sujet, aucun tableau de benchmarks du modèle de base et aucune couverture médiatique qui lui soit consacrée. Le dépôt, en revanche, est exceptionnellement explicite sur ce qu'est le checkpoint et à quoi il sert, ce qui rend cette publication facile à décrire et difficile d'en exagérer l'importance. Aucune majoration n'est ajoutée à ce que facture le fournisseur du modèle. Tarifs catalogue du fournisseur Une modification de prix du fournisseur se répercute sur votre facture le jour même.

Ce qui suit sépare ces deux choses. Tout ce qui figure dans la première moitié provient de la fiche modèle, du fichier de configuration, du texte de licence ou du billet de lancement de Liquid lui-même, et est vérifiable aujourd'hui. La seconde moitié correspond à ce qui reste véritablement inconnu trois jours après la mise en ligne des poids.

Deux dépôts, un article de lancement et un intervalle de douze heures

Les horodatages racontent l’histoire d’une sortie qui a eu lieu en public avant d’avoir lieu côté marketing. Le dépôt post-entraîné LFM3-1.7B a été créé le 23 octobre 2026. Le dépôt de base a été créé le 26 octobre à 16:28 UTC, et sa fiche a été modifiée pour la dernière fois le 27 octobre à 04:15 UTC — moins de douze heures plus tard. L’article de blog, « Présentation de LFM3 : chaque modalité pour une intelligence spécialisée », est daté du 27 octobre. Au moment où une personne extérieure à l’entreprise pouvait lire une spécification, les poids étaient déjà sur Hugging Face depuis un jour.

Cet ordre mérite d’être énoncé clairement, car c’est ce qui ressemble le plus à une « sortie discrète » ici. Liquid a bien annoncé la famille, et l’annonce désigne LFM3-1.7B-Base comme le checkpoint à partir duquel les six autres modèles ont été entraînés. Ce que l’entreprise n’a pas fait, c’est annoncer le checkpoint de base en tant que tel — aucun billet séparé, aucune évaluation spécifique à la base, aucun positionnement au-delà d’un paragraphe dans la fiche. La famille a eu droit au lancement. Le tronc a eu droit à un dépôt et à un renvoi vers la famille.

Qu’y a-t-il dans le dépôt ?

La fiche est compacte et, pour une fois, complète sur l'essentiel. Un seul fichier model.safetensors de 3,46 Go en bfloat16. Un tokenizer avec un vocabulaire de 128 000 tokens. Le code du modèle est livré sous forme de Python personnalisé aux côtés des poids, chargé avec trust_remote_code=True plutôt que via une version fusionnée en amont de Transformers. La licence est la LFM Open License v1.0, la même famille de conditions que Liquid utilise depuis LFM2.

• Paramètres — 1,73 Md, dense, chaque paramètre est lu à chaque token.

• Couches — 24 : treize blocs de convolution courte à portes, cinq blocs d’attention à fenêtre glissante, six blocs d’attention complète.

• Contexte — 262 144 jetons, entrée et sortie.

• Géométrie de l’attention — taille cachée de 2 048, seize têtes de requête, quatre têtes clé-valeur, dimension de tête de 128. Il s’agit donc d’une attention groupée à quatre pour un, et non à huit pour un comme dans LFM2.5.

• Fenêtre locale — 256 tokens, avec un cache de convolution de sept. Il s'agit d'un paramètre d'attention par couche, et non de la longueur du contexte, et cela a provoqué une petite vague de reportages erronés lorsque l'architecture est apparue pour la première fois dans une pull request du moteur la veille du lancement.

• Vocabulaires et langues — 128 000 tokens, seize langues répertoriées : anglais, arabe, chinois, français, allemand, italien, japonais, coréen, portugais, espagnol, vietnamien, thaï, indonésien, hindi, russe, polonais.

• Mémoire — environ 1 Go en précision 4 bits selon Liquid, 3,46 Go dans la version livrée en BF16.

Une petite incohérence mérite d’être connue avant de citer une taille. La barre latérale de Hugging Face arrondit le modèle à « 2B params », tandis que le tableau de la fiche indique 1,73 B. Le fichier tranche : 3,46 Go de bfloat16 correspondent à 1,73 milliard de paramètres à deux octets chacun, donc l’étiquette de la barre latérale est une convention d’arrondi, pas une seconde spécification. Au moment de la rédaction, le dépôt affichait quinze téléchargements au cours du dernier mois et huit mentions J’aime — le profil d’un checkpoint qui a été publié, lié depuis l’article de lancement, et n’a pas encore été repris par qui que ce soit.

L'architecture, sans le diagramme

La conception se comprend mieux comme un argument budgétaire. L’attention complète est la partie coûteuse d’un transformer en contexte long : chaque token se compare à tous les autres, et le coût augmente avec le carré de la séquence. La pile tri-hybride de Liquid ne consacre que six de ses vingt-quatre couches à cette opération. Treize couches sont des convolutions courtes à portes, qui mélangent l’information localement à un coût fixe par token, et cinq sont des blocs d’attention à fenêtre glissante qui voient 256 tokens à la fois. Deux tiers du réseau n’effectuent jamais la moindre opération d’attention globale.

C’est le même pari que Liquid fait depuis LFM2, poussé plus loin. LFM2.5-2.6B-Base utilisait trente couches réparties en vingt-deux convolutions et huit blocs d’attention complète, sans palier de fenêtre glissante. LFM3 remplace une paire de convolutions par un bloc d’attention glissante à cinq endroits de la pile, fait passer le cache de convolution de trois à sept, et ajoute les réglages de normalisation en sandwich et de rotation partielle qui apparaissent dans la configuration. Savoir si ce compromis précis améliore la qualité est une question à laquelle seule l’évaluation peut répondre, et à la date de publication, il n’existe aucune évaluation du modèle de base pour y répondre. Ce que la configuration établit, en revanche, c’est que le contexte de 256K n’est pas obtenu en mettant l’attention à l’échelle de 256K ; il est obtenu en gardant l’essentiel de la pile en local.

Le modèle de base est livré avec un gabarit de conversation.

C’est le détail qui risque le plus de dérouter quiconque télécharge le checkpoint en s’attendant à de la complétion de texte brute. LFM3-1.7B-Base inclut un gabarit de conversation complet, et la fiche indique que l’entraînement intermédiaire comprenait des données de conversation avec et sans traces de raisonnement, formatées avec le même gabarit que le modèle post-entraîné. Appelez apply_chat_template et le raisonnement est activé par défaut : la réponse commence dans un bloc de réflexion, sauf si vous passez enable_thinking=False, qui préremplit une trace vide et demande une réponse directe.

Ainsi, il se comporte un peu comme un modèle instruct tout en étant documenté comme quelque chose de tout à fait différent. La recommandation de la fiche elle-même est sans ambiguïté : LFM3-1.7B-Base « n'est recommandé que pour les tâches nécessitant un réglage fin lourd, comme les assistants spécifiques à une langue ou à un domaine, l'entraînement sur des données propriétaires, ou l'expérimentation de nouvelles approches de post-entraînement ». Pour le chat, l'appel d'outils et les agents, elle renvoie vers LFM3-1.7B. Le template est présent parce que les données de mi-entraînement ont été formatées de cette manière et parce qu'un fine-tune en hérite — pas parce que le checkpoint a été ajusté pour la conversation. Quiconque considère le template comme un signal de préparation sera déçu par les sorties, et la fiche le dit avant même qu'ils ne commencent.

Les chiffres que les gens citeront ne sont pas ceux de ce modèle.

L'article de lancement contient un tableau de benchmarks conséquent, et presque aucune de ses données ne s'applique au checkpoint concerné par cet article. La moyenne phare de 49.37 revient à LFM3-1.7B, le modèle post-entraîné, mesurée sur la suite interne de Liquid. Les lignes de comparaison — LFM2.5-2.6B à 31.55, MiniCPM5-2B à 39.19, Gemma 4 E4B à 31.74, Qwen3.5-4B à 39.27, Qwen3.5-9B à 47.24 — opposent des modèles post-entraînés à des modèles post-entraînés. Les scores de 43.40 sur SWE-bench Verified et de 73.46 sur LiveCodeBench v6 sont également ceux du modèle ajusté.

Deux affirmations sont rattachées au checkpoint de base dans une lecture rapide, à tort. La première est « 35 % de paramètres en moins » — il s'agit de LFM3-1.7B surpassant LFM2.5-2.6B, une affirmation sur la paire post-entraînée, et non un résultat de base à base. La seconde est l'affirmation selon laquelle LFM3 « égale Gemma 4 12B ». Cette phrase concerne LFM3-VL-2B, le modèle de vision, sur 62 benchmarks de vision. Elle ne dit rien du checkpoint de base texte, qui ne dispose d'aucune évaluation publiée. Un modèle de base sans tableau de benchmarks n'a rien d'inhabituel — Liquid n'en a délibérément publié aucun pour LFM2.5-2.6B-Base non plus — mais cette absence signifie que toute affirmation de qualité concernant ce checkpoint est actuellement une affirmation concernant le modèle qu'il a produit.

Formation, et la partie qui est réellement distinctive

Liquid indique que le point de contrôle a traité 22 000 milliards de tokens en deux étapes. L’étape principale de pré-entraînement a modifié la composition des données par rapport à LFM2, en ajoutant davantage d’articles scientifiques, du code au niveau des dépôts, des mathématiques et un éventail plus large de sources de connaissances. Les 3 500 derniers milliards de tokens constituent une étape de mi-entraînement sur des données sélectionnées de meilleure qualité, avec une part plus importante de traces agentiques et d’appels d’outils ; c’est à cette étape que la fenêtre de contexte est étendue à 256K.

La particularité ne réside pas dans le nombre de tokens ; c’est que des données agentiques ont été intégrées au modèle de base et non uniquement à l’entraînement postérieur. La plupart des fournisseurs conservent les traces d’appels d’outils pour l’étape d’ajustement par instructions. Liquid les a placées dans le socle, puis a entraîné six modèles différents par-dessus avec du SFT, du RL mixte, de la distillation on-policy multi-domaine et du RL agentique. C’est une stratégie cohérente pour une famille censée partager un même squelette entre modalités, et c’est aussi pourquoi le checkpoint de base embarque un template de chat. C’est une affirmation sur la méthodologie d’entraînement qui ne peut pas être vérifiée de l’extérieur, et aucune reproduction indépendante n’existe.

Ce que vous pouvez en faire aujourd'hui

La fiche renvoie à deux notebooks TRL, l’un pour l’affinage supervisé sur l’extraction de JSON structuré à partir de documents désordonnés et l’autre pour le pré-entraînement continu sur une nouvelle langue, en prenant le turc à partir de texte brut comme exemple. Les deux sont écrits pour LFM3-1.7B et nécessitent de modifier un seul model_id pour pointer vers le checkpoint de base. La page de documentation couvre le reste du parcours d’affinage. Le modèle instruct dispose d’un ensemble complet de variantes d’exécution — BF16 pour vLLM, SGLang et Transformers ; FP8 et NVFP4 pour SGLang ; GGUF pour llama.cpp, Ollama et LM Studio ; MLX pour Apple silicon ; ONNX Runtime. Le checkpoint de base ne possède qu’un seul artefact : le fichier safetensors BF16. Pas de GGUF, pas de build MLX, pas de version quantifiée. Si vous voulez l’exécuter sur un téléphone, c’est vous qui faites la conversion.

Où cela s'inscrit si vous servez des modèles pour gagner votre vie

Un checkpoint pré-entraîné n’est pas un point de terminaison de chat, et il vaut la peine d’être précis à ce sujet. LFM3-1.7B-Base n’apparaît pas dans le catalogue d’OrcaRouter au moment de la rédaction, et un modèle de base serait une chose étrange à router : il n’a pas de suivi d’instructions vers lequel router. L’endroit utile pour un routeur commence une étape plus tard, une fois le fine-tuning disponible. OrcaRouter place plus de 200 modèles derrière une seule API avec 0 % de marge sur les prix catalogue des fournisseurs, un basculement automatique et un DSL de routage, de sorte qu’un checkpoint LFM3 adapté à un domaine peut côtoyer un modèle général plus grand et être comparé ou faire l’objet d’un basculement sans seconde intégration. La fusion de modèles — un panel qui répond ensemble — est l’autre option lorsqu’un spécialiste de 1,73 B est bon dans un domaine et que vous avez besoin d’un second avis. Rien de tout cela n’exige que le checkpoint de base lui-même soit hébergé quelque part.

Qu'est-ce qui reste non confirmé ?

• Qualité de base. Aucun tableau de référence, aucune sortie de harnais d’évaluation, aucune comparaison avec LFM2.5-2.6B-Base sur aucune tâche.

• Vérification indépendante. Aucun laboratoire tiers n'a publié de série de tests du modèle de base ni du modèle ajusté. Chaque chiffre de l'article de lancement provient de Liquid lui-même.

• Prise en charge en amont par Transformers. Le dépôt utilise du code de modélisation personnalisé et trust_remote_code. C'est normal au lancement, mais cela représente un coût de maintenance par la suite.

• Comment la base est servie. L'article de lancement indique que les modèles de base et post-entraînés sont disponibles sur Hugging Face, le Liquid Playground et l'API Liquid. Ce qu'une API fait avec un checkpoint de base non ajusté n'est pas expliqué, et aucun tarif pour celui-ci n'est publié.

• Cas particuliers de licence. La LFM Open License v1.0 est gratuite pour un usage commercial tant que le chiffre d’affaires annuel est inférieur à 10 millions de dollars ; au-delà de ce seuil, une licence commerciale s’applique. Le texte est public, mais la manière dont il traite un modèle dérivé entraîné sur la base puis servi commercialement est une question pour un avocat, pas pour une fiche de modèle.

Quoi regarder

Le prochain signal significatif n’est pas une autre annonce — c’est la première évaluation indépendante du modèle post-entraîné, et le premier fine-tuning public qui rapporte ce que c’était que d’entraîner sur le checkpoint de base. La façon dont Liquid présente les choses invite elle-même à ce test : un tronc de 1,73 Md qui a produit six modèles et prétend surpasser un prédécesseur de 2,69 Md est soit une architecture réellement efficace, soit une suite de benchmarks bien choisie, et seules des exécutions externes permettront de distinguer les deux. D’ici là, le dépôt résume toute l’histoire : un fichier de 3,46 Go, une spécification claire, un template de chat qui n’est pas une invitation, et une licence qui vaut la peine d’être lue avant que la ligne de revenus ne s’en approche.