Beam 1.0 vs MathForm 8B : les erreurs d’un modèle sont détectées par un compilateur

Demandez MathForm 8B de formaliser un théorème et la réponse est soit un énoncé Lean 4 qui compile, soit un qui ne compile pas. Demandez Beam 1.0 de corriger un bug et la réponse est un diff qui s'exécute ou qui ne s'exécute pas, et l'écart entre ces deux choses constitue toute la différence entre ces modèles. MathForm 8B est le modèle d'autoformalisation à 8,19 milliards de paramètres d'OpenBMB, construit sur Qwen3-8B d'A​libaba et entraîné sur FormalVerse, un corpus d'environ 367 000 exemples Lean 4 vérifiés, via un affinage supervisé suivi d'un apprentissage par renforcement sur la compilation Lean et les retours de cohérence sémantique ; il a été publié le 14 août 2026 sous Apache 2.0. Beam 1.0 est le modèle à mélange d'experts clairsemé de Reflection, avec 501,3 milliards de paramètres dont 23,4 milliards actifs par token, annoncé le 5 octobre 2026 et distribué sous forme de poids téléchargeables le 16 octobre 2026, également sous Apache 2.0. Le rapport de taille est de 61 pour un et c'est le nombre le moins intéressant de la page.

Ce qui est intéressant, c’est que MathForm 8B produit une sortie qu’une machine peut arbitrer sans faire confiance à personne, alors que Beam 1.0 ne le fait pas. Tout ce qui suit découle de cela.

Ce que chaque modèle est invité à produire

MathForm 8B a un seul contrat de sortie. Il prend un énoncé mathématique rédigé en prose ordinaire et renvoie un énoncé Lean 4 — un en-tête, un théorème nommé, les hypothèses et le but. Le pipeline d'entraînement est construit autour de cette forme : la récupération des connaissances Mathlib pour ancrer l'énoncé dans des définitions existantes, la compilation et la vérification sémantique pour rejeter les mauvais candidats, le raffinement itératif pour les réparer, puis la reconstruction des trajectoires pour transformer les exemples survivants en données d'entraînement. L'article rapporte pour le modèle une moyenne de 88,06 % en Pass@8 sous contrôle syntaxique et de 72,37 % sous contrôle de cohérence sur six benchmarks. Ce sont les chiffres d'OpenBMB, non reproduits par quiconque d'autre, et pondérés vers les ensembles les plus faciles de l'évaluation — mais ce sont des chiffres portant sur une tâche qui a une bonne réponse.

Beam 1.0 n'a pas de tel contrat. C'est un modèle général : sa fiche décrit le gabarit de chat, le format de transmission de style Harmony avec des canaux d'analyse et finaux, six niveaux d'effort de raisonnement correspondant à des budgets de jetons de 8, 32, 64, 128, 256 et 512, et une convention d'appel d'outils où les fonctions sont déclarées en TypeScript à plat et invoquées dans des corps XML. Son évaluation couvre le codage agentique (SWE-bench Verified 81,6 % sur BF16, Terminal Bench v2.1 80,1, SWE Bench Pro v1 66,1, DeepSWE v1.1 43,3), le raisonnement (GPQA Diamond 90,6, AIME 2026 97,7, LiveCodeBench 88,3), l'utilisation d'outils (MCP Atlas 80,8) et la capacité générale (LongBench v2 67,5, IFBench 79,6). Chaque chiffre est propre à Reflection. On établit si le code qu'il écrit est *correct* en l'exécutant, en le relisant, ou en le livrant et en découvrant le résultat.

Donc : les défaillances de l’un des modèles s’annoncent d’elles-mêmes. Celles de l’autre sont des défaillances logicielles ordinaires qui surviennent plus tard, en revue ou en production, et ressemblent à tous les autres bugs que vous avez déjà rencontrés.

Les benchmarks ne se chevauchent pas, et c’est là le constat.

Alignez les deux ensembles d’évaluation et il n’y a presque rien à soustraire.

• Ce sur quoi Beam 1.0 est évalué — résolution de problèmes à l’échelle d’un dépôt, tâches en terminal, programmation compétitive, questions scientifiques de niveau universitaire avancé, orchestration d’outils, rappel sur contexte long et suivi d’instructions.

• Sur quoi MathForm 8B est évalué — l'exactitude de formalisation Pass@8 sous un vérificateur de syntaxe et sous un vérificateur de cohérence sémantique, sur six benchmarks mathématiques, face aux bases spécialisées de 7B à 32B de l'article.

• Le chevauchement — pratiquement nul. Il n’y a aucune ligne où les deux modèles ont été mesurés par la même entité sur la même tâche, et il n’y en aura pas, car l’un est mesuré sur une capacité générale et l’autre sur une seule transformation vérifiable.

• La seule dimension commune qui existe sur le plan conceptuel — le raisonnement — est mesurée sur des populations différentes. Le score de 90,6 de Beam 1.0 sur GPQA Diamond est un score de sciences à choix multiples. Le taux de cohérence de 72,37 % de MathForm 8B est une vérification de formalisation. Ni l’un ni l’autre ne prédit l’autre.

C'est pourquoi une comparaison de taille ici serait trompeuse, plutôt que simplement peu flatteuse. Beam 1.0 représente soixante et une fois la taille du modèle, et il ne peut pas du tout faire le travail de MathForm 8B sans y être entraîné — le contrat de sortie est suffisamment étroit pour que la capacité générale ne puisse pas le remplacer. Un généraliste de 501B à qui l'on demande de produire un théorème Lean nommé avec un en-tête correct produira quelque chose d'apparence plausible et souvent faux, ce qui, pour un assistant de preuve, est le pire mode de défaillance possible.

Ce que vous devez avoir pour exécuter l’un ou l’autre

MathForm 8B hérite de la licence de Qwen3-8B, que le Hub répertorie comme Apache 2.0, et c'est là son argument pratique : 8,19 milliards de paramètres denses, un modèle uniquement anglais, un budget de génération restreint à la sortie Lean plutôt qu'au raisonnement général, et un téléchargement plutôt qu'un cluster. Sa base, Qwen3-8B, est ce qu'un lecteur auto-hébergerait sinon — un 8B général doté d'un contexte natif de 32K extensible à 131K et d'une couverture de 119 langues. MathForm 8B sacrifie presque tout cela pour une seule compétence.

Beam 1.0 a besoin d'un endroit où s'installer. La fiche du modèle indique 52 couches, 256 experts dont huit routés par token, un vocabulaire de 152 000 tokens, une date d'arrêt des connaissances au 30 juin 2026 et une fenêtre de contexte de 1 000 000 de tokens. Il est livré en trois formats de poids — BF16 à 501.3B, FP8 à 501.3B, NVFP4 à 255B — auxquels s'ajoute un drafter DFlash2 de 2B pour le décodage spéculatif. La fiche ne comporte aucune recommandation de déploiement, et aucun prix d'API publié n'apparaît nulle part sur les propriétés de Reflection ; la page d'Artificial Analysis consacrée au modèle indique les champs de prix comme indisponibles et précise qu'aucune API accessible au public n'existe. C'est la version quatre bits qui fait de cet achat une option plausible plutôt qu'hypothétique, et cela reste une affaire de GPU.

OrcaRouter n'achemine ni l'un ni l'autre de ces modèles, et cette page ne suggère pas le contraire. Ce que nous acheminons, c'est le niveau de service dont ces deux modèles sont exclus : plus de 200 modèles accessibles derrière une seule clé compatible OpenAI, au prix catalogue du fournisseur, avec 0 % de marge, de sorte qu'une baisse de prix d'un fournisseur se répercute sur votre facture le jour même où elle est annoncée. Pour une équipe dont le véritable besoin est un modèle qui répond aujourd'hui plutôt qu'un checkpoint qui se compile demain, c'est la ligne que cette comparaison ne peut pas fournir.

La différence de vérifiabilité, en termes simples

Voici l'asymétrie énoncée comme un fait opérationnel plutôt qu'un benchmark.

Une sortie de MathForm 8B entre dans un pipeline qui comporte une barrière. Le compilateur Lean accepte l’énoncé ou le rejette. La vérification de cohérence sémantique réussit ou échoue. Une sortie erronée peut être écartée automatiquement, et le modèle peut être laissé dans une boucle d’agent qui réessaie jusqu’à ce que quelque chose soit vérifié — ce qui est exactement ce que l’étape RL l’a entraîné à faire. Le coût d’une mauvaise réponse est un échantillon rejeté, pas un défaut livré. C’est une propriété véritablement rare dans le domaine actuel des modèles à poids ouverts, et c’est pourquoi un modèle spécialisé de 8B peut être plus utile qu’un modèle général cent fois plus grand au sein d’un pipeline à l’image des mathématiques formelles.

Les sorties de Beam 1.0 ne comportent pas un tel garde-fou. Le tableau d’évaluation peut vous dire à quelle fréquence il a résolu un ticket GitHub sur SWE-bench, mais il ne peut pas vous dire si le patch qu’il écrit pour votre dépôt est correct, car cela dépend de vos tests. La fiche de modèle est étonnamment précise sur le format de transmission et étonnamment silencieuse sur la question de l’exactitude, et cela décrit bien où en est le domaine : l’outillage autour des modèles de codage agentiques est bon pour exécuter du code et mauvais pour le certifier.

Si votre domaine dispose d'un vérificateur — un système de types, un assistant de preuve, un schéma, un simulateur —, un spécialiste conçu pour ce vérificateur est souvent le téléchargement le plus avantageux. Si ce n'est pas le cas, vous achetez de la capacité et payez l'évaluation vous-même, et c'est le modèle généraliste plus grand qui vous en donnera davantage.

Choisir entre eux

Choisissez MathForm 8B si le travail est de la formalisation et rien d'autre — transformer un corpus de prose mathématique en Lean 4 qu'un assistant de preuve acceptera, à une échelle où un humain ne peut pas les vérifier un par un. L'empreinte de 8,19 milliards de paramètres, les conditions Apache 2.0 et la forme de sortie étroite sont autant d'avantages dans ce cadre. Ne le choisissez pour rien d'autre : il ne dialogue pas, il n'écrit pas de prose digne d'être livrée, il ne gère pas 119 langues comme le fait son modèle de base, et il n'a aucune capacité documentée en dehors de l'unique transformation pour laquelle il a été entraîné.

Choisissez Beam 1.0 si le travail relève du type agentique général — résoudre des problèmes dans de grands dépôts, piloter des outils, exécuter de longs plans à plusieurs étapes — et si vous disposez du matériel ou d’un partenaire de service pour un MoE de 501B. Le contexte de 1 M de tokens, le tableau d’évaluation publié et le checkpoint en quatre bits visent tous cette charge de travail. Prévoyez un budget pour les tokens de raisonnement : le template n’a pas d’interrupteur d’arrêt, la valeur par défaut servie est le niveau d’effort maximal, et la suppression du raisonnement des tours précédents est documentée comme dégradant les sorties.

Choisissez les deux si vous construisez le pipeline dont cet article parle vraiment. Le schéma qui a du sens, c’est un modèle général pour faire le travail ambigu et un spécialiste vérifiable pour faire la partie avec un verrou — et les deux rôles échouent de manières différentes, ce qui est la seule raison pour laquelle il vaut la peine de posséder les deux.

Où cette comparaison sera différente dans trois mois

Deux lignes manquent, et toutes deux peuvent être datées. La première est une évaluation indépendante des poids de Beam 1.0, devenue possible le 16 octobre 2026 et qui n’a pas encore eu lieu ; chaque chiffre que cette page attribue à Reflection provient encore d’une source unique. La seconde est le prix de Beam. Un modèle avec une table d’évaluation de 501 milliards de paramètres et sans tarif à l’usage est un modèle pour lequel la plupart des équipes ne peuvent pas établir de budget, et tant que Reflection ou un partenaire de service n’en publie pas, la comparaison honnête des coûts entre ces deux-là oppose un téléchargement à une location qui n’a pas été chiffrée.

L’écart de MathForm 8B est différent et ne se comblera pas en attendant. Ses chiffres annoncés de 88,06 % au contrôle syntaxique et de 72,37 % en cohérence sont des chiffres d’un fournisseur sur une tâche dotée d’un vérificateur, et la vérification est le produit — quiconque dispose du modèle et d’une installation de Lean peut le mesurer lui-même, ce qui est plus qu’on ne peut en dire de la plupart des chiffres de cette page. Voilà ce que vous rapporte un contrat restreint.

Rien de tout cela n'est hypothétique : les défaillances documentées de l'IA et les incidents d'agents qui sous-tendent des versions comme celle-ci sont recueillis dans l'OrcaRouter AI Incident Archive, où chaque entrée est accompagnée de ses propres sources, de son niveau de gravité, de son degré de confiance et de son indicateur de contestation.