Kolibri vs MathForm-8B : l’une de ces affirmations de précision peut être vérifiée par un compilateur

Kolibri et MathForm-8B partagent une licence et presque rien d'autre. Les deux sont sous Apache 2.0, les deux sont à poids ouverts, les deux sont sortis au cours des trois derniers mois — Kolibri d'Aleph Alpha le 3 octobre 2026, MathForm-8B d'OpenBMB le 14 août 2026 — et les deux consacrent une large part de leurs fiches de modèle aux mathématiques. C'est là que la ressemblance s'arrête. Kolibri est un modèle de mélange d'experts allemand-anglais de 78,1 milliards de paramètres qui active 3,46 milliards de paramètres par token et est destiné à s'intégrer dans un flux documentaire réglementé. MathForm-8B est un modèle dense de 8 milliards de paramètres affiné à partir de Qwen3-8B avec une seule tâche : prendre un problème de mathématiques rédigé en anglais ordinaire et en produire un énoncé Lean 4 formellement correct. La différence qui compte pour quiconque évalue l'un ou l'autre n'est pas le nombre de paramètres. C'est que l'affirmation de précision de MathForm-8B est exécutable. On peut vérifier sa sortie avec un compilateur. Celle de Kolibri ne peut être vérifiée par rien d'autre qu'une nouvelle exécution de benchmark.

Cette asymétrie, c’est tout l’article, et elle se généralise bien au-delà de ces deux modèles. Un tableau de benchmarks d’un fournisseur est une affirmation. Qu’un assistant de preuve accepte une formalisation est un résultat. Quand tout l’espace de sortie d’un modèle est quelque chose qu’une machine peut vérifier, la couche marketing disparaît — soit le compilateur Lean accepte l’énoncé, soit il ne l’accepte pas, et aucune présentation dans un billet de lancement n’y changera rien.

Ce que MathForm-8B produit réellement

L'autoformalisation est une tâche étroite, peu glamour et vraiment difficile, et la fiche modèle est d'une précision rafraîchissante concernant la configuration.

• Entrée et sortie — un énoncé mathématique en langage naturel en entrée, une formalisation Lean 4 en sortie, complète avec un en-tête de théorème.

• Modèle de base — Qwen/Qwen3-8B, affiné ; Apache 2.0 avec le reste de la publication d’OpenBMB.

• Entraînement — ajustement supervisé suivi d’un apprentissage par renforcement sur le jeu de données FormalVerse, avec la compilation Lean et le retour de cohérence sémantique guidant le signal de renforcement.

• Pipeline de données — récupération des connaissances Mathlib, compilation et vérification sémantique, raffinement itératif, puis reconstruction de trajectoire. Le diagramme du pipeline sur la fiche du modèle est l’élément le plus informatif de cette publication.

• Évaluation — taux de réussite Pass@8 selon deux contrôles distincts, Syntax Check et Consistency Check, sur six benchmarks, rapportés sous forme de moyenne macro équipondérée dans une figure sur la carte plutôt que sous forme de tableau que l’on peut citer ligne par ligne.

• Chaîne d’outils — un serveur Kimina Lean en fonctionnement pour les vérifications de compilation, Lean 4.21.0 pour les expériences, et une séquence maximale de 16 384 jetons avec une température de 0,6 et top-p de 0,95.

• Service — vLLM ou SGLang avec un contexte de 16 384 tokens, exposé via une interface de chat compatible OpenAI. Ce dernier détail compte plus qu’il n’y paraît, car cela signifie que le modèle s’intègre à un pipeline existant comme un point de terminaison ordinaire.

Notez les deux vérifications distinctes. Le Syntax Check indique si l'énoncé Lean se parse et se type-check, ne serait-ce que du tout. Le Consistency Check indique si l'énoncé formel signifie la même chose que le problème en langage naturel — une propriété bien plus difficile, car un énoncé Lean syntaxiquement valide qui formalise le mauvais théorème est pire qu'une erreur de compilation. OpenBMB rapporte les deux, ce qui est exactement la bonne façon de procéder et la raison pour laquelle cette tâche a une histoire de vérification que le raisonnement généraliste n'a pas.

Ce que Kolibri fait avec les mathématiques, et pourquoi c'est un autre type de nombre

Kolibri est bon en mathématiques au sens des benchmarks. Sur le propre harnais de post-entraînement d'Aleph Alpha, avec un effort de raisonnement élevé, il obtient 96,9 sur AIME 2025 en anglais et 87,5 en allemand, 96,0 et 90,0 sur AIME 2026, et une moyenne anglaise de 96,5 sur sa suite de mathématiques, contre 88,8 en allemand. Pour situer les choses dans le même tableau, le 96,9 de Kolibri sur AIME 2025 en anglais se situe au-dessus de Nemotron 3 Super 120B-A12B à 91,7 et de Qwen3.6 35B-A3B à 84,6, et juste en dessous de Qwen3.8 27B à 97,9.

Chacun de ces chiffres est rapporté par le fournisseur, sur un banc d'essai du fournisseur, sans reproduction indépendante, et il n'existe aucune page Artificial Analysis pour Kolibri permettant de recouper. Ce n'est pas une critique des chiffres ; c'est une affirmation sur le type d'objet qu'ils constituent. Un score AIME est un pourcentage de réponses finales correctes à un examen à choix multiples. Il vous dit que le modèle peut atteindre un entier. Il ne vous dit rien de la solidité du raisonnement qui l'a produit, et aucun artefact ne subsiste qu'un tiers puisse examiner.

Placez à côté de la sortie de MathForm-8B : la différence est flagrante. Une réponse de Kolibri à un problème d'AIME est un nombre. Une sortie de MathForm-8B est un énoncé de théorème Lean 4 qui, soit compile contre Mathlib, soit ne compile pas. Si vous construisez un système où une affirmation mathématique doit être défendable — un pipeline de vérification formelle, un flux de travail d'assistant de preuve, une piste d'audit —, le second artefact vaut considérablement plus que le premier, et aucune ligne de benchmark ne l'exprime.

Où les deux se rencontreraient réellement

Présenté comme un combat, ce duel n’a rien d’intéressant : un spécialiste de 8B bat un généraliste de 78B dans la formalisation des mathématiques et perd sur tout le reste, y compris la prose administrative allemande, le raisonnement sur des documents à long contexte et l’appel d’outils sur une trajectoire d’agent de cent étapes. Mais les deux ne sont pas interchangeables, et la question utile est de savoir à quoi ressemble un pipeline construit à partir des deux.

La composition naturelle est une composition de routage. Un généraliste doté d'un raisonnement solide et d'une capacité d'appel d'outils gère l'ingestion, la désambiguïsation et la récupération ; un spécialiste est invoqué pour les deux pour cent de cas qui nécessitent un artefact formel. Faire cela à la main implique deux fournisseurs, deux contrats, deux SDK, deux ensembles d'identifiants et une couche de dispatch que quelqu'un doit maintenir. C'est le cas où un point de terminaison unique justifie son existence : une clé compatible OpenAI, une règle de routage qui envoie les requêtes de forme mathématique vers le point de terminaison du formaliseur et tout le reste vers le généraliste, et un basculement lorsque l'un des deux est lent. C'est le rôle du DSL de routage — composer plusieurs modèles en un seul appel plutôt que de câbler en dur un choix au moment du développement — et là où un panel de modèles répondant ensemble est utile, la fusion de modèles s'en charge. Ni Kolibri ni MathForm-8B ne figurent sur OrcaRouter aujourd'hui ; nous avons sondé le catalogue pour les deux sous toutes les orthographes de fournisseur et de modèle et aucun des deux n'y est. L'argument de composition porte sur la forme du problème, pas sur ces deux points de terminaison spécifiques.

Ce qui figure au catalogue, c'est la moitié généraliste de ce modèle, à un prix que l'on peut mesurer. Qwen3.8-27B est affiché à 0,33 $ par million de jetons d'entrée et à 2,40 $ en sortie, avec une fenêtre de 262 144 jetons, et Qwen3.8-Max à 2,00 $ et 6,00 $, avec une fenêtre de 1 M de jetons. Pour une équipe qui cherche à savoir si cela vaut même la peine d'ajouter une étape de formalisation à un pipeline documentaire, l'expérience peu coûteuse consiste à y router le travail généraliste, à mesurer le volume de requêtes qui nécessitent réellement un artefact Lean, puis à ne décider qu'ensuite si un point de terminaison spécialisé de 16 384 jetons vaut la peine d'être provisionné. Le prix catalogue du fournisseur est répercuté sans rien ajouter par jeton, donc les chiffres changent le jour où un fournisseur les change.

La licence est la seule ligne où ils sont identiques.

Les deux sont sous Apache 2.0, et dans une catégorie où les licences de recherche sur mesure et les avenants d’utilisation acceptable sont courants, c’est un véritable point de parité qu’il vaut la peine de nommer — cela signifie qu’aucun des deux modèles ne nécessite d’examen juridique avant de pouvoir être utilisé à des fins commerciales, modifié ou redistribué.

Les obligations divergent ailleurs. Kolibri implique une empreinte de poids d'environ 78 Go et un seuil matériel de deux cartes A100 80 Go, deux H100 SXM5, un H200, un B200 ou un B300, ainsi que le paquet aleph-alpha-inference du fournisseur et le plugin vLLM. MathForm-8B en bfloat16 représente environ 16 Go de poids et fonctionne sur un seul accélérateur moderne avec un contexte de 16 384 jetons ; ses dépendances sont une chaîne d'outils Lean et, pour le pipeline d'évaluation, un serveur Kimina Lean en cours d'exécution. L'un de ces déploiements tient dans une station de travail. L'autre non.

Les chiffres de contexte jouent en sens inverse, et de loin. La fenêtre native de Kolibri est de 262 144 tokens, validée jusqu'à 1 048 576, ce qui en fait un modèle documentaire : un dossier réglementaire allemand complet ou un manuel de maintenance aérospatiale tient en un seul appel. MathForm-8B est plafonné à 16 384 tokens par conception, car une demande de formalisation est un énoncé de problème unique et rien ne justifie qu'elle soit plus longue. Aucun de ces deux chiffres n'est un défaut. Ils décrivent simplement des tâches différentes.

Choisir, et la question de vérification en dessous

• Choisissez MathForm-8B si votre sortie doit être vérifiable. Si un système en aval consomme du Lean 4, ou si tout l’intérêt est qu’un assistant de preuve valide le résultat, aucun généraliste ne peut le remplacer, et ce sont les chiffres Pass@8 sous Syntax Check et Consistency Check qu’il faut examiner, plutôt que n’importe quelle ligne AIME.

• Choisissez Kolibri si vous avez besoin d’un modèle qui lit des documents en allemand et en anglais sur de longs contextes, raisonne à travers eux, appelle des outils, s’abstient lorsque le contexte ne permet pas de répondre, et peut être déployé à l’intérieur de votre propre périmètre sous une licence que vous pouvez énoncer en une ligne. Les mathématiques sont une capacité qu’il possède, pas un produit qu’il est.

• Envisagez les deux si vous construisez un pipeline de formalisation. Non pas comme des alternatives, mais comme deux points de terminaison derrière une seule règle de routage, le spécialiste étant sollicité pour la petite fraction de requêtes qui en ont besoin.

Et si vous évaluez l'un ou l'autre sur la base d'un chiffre de benchmark, appliquez d'abord un test : demandez quel artefact ce chiffre laisse derrière lui. Pour MathForm-8B, il y a un fichier Lean et un compilateur qui l'accepte ou non, et vous pouvez exécuter les deux vous-même cet après-midi. Pour Kolibri, il y a un pourcentage dans un tableau de lancement, rapporté par le fournisseur, non reproduit, sans page d'index indépendante pour le vérifier — et le seul moyen de le réfuter est de télécharger 78 Go de poids, de louer le matériel et de relancer le harnais. Cette asymétrie vaut plus que le score lui-même lorsque vous décidez ce qu'il faut mettre en production.