AesCode-8B vs MathForm-8B: Beide sind 8B-Fine-Tunes, deren Ausgabe maschinell überprüfbar ist

AesCode-8B und MathForm-8B erschienen mit höchstens acht Wochen Abstand zueinander, beide aus Repositories statt aus Pressemitteilungen, und der Zufall ist interessanter, als er zunächst aussieht. Beide gehen von einem Checkpoint aus der Qwen3-Familie aus. Beide geben ihr gesamtes Trainingsbudget für eine schmale Ausgabeform aus. Und beide wurden um einen Prüfer herum gebaut: MathForm-8B wird gegen das Urteil eines Lean-4-Compilers trainiert, und AesCode-8B wird bewertet, indem jede Kandidatenseite in einem Sandbox-Browser gerendert und das DOM, die berechneten Stile und ein Screenshot zurückgelesen werden. Keines von beiden ist ein Chatbot, und keines versucht, einer zu werden. Was sie unterscheidet, ist, was eine Maschine verifizieren kann und was nicht – und, im Fall des neueren der beiden, was passiert, wenn die Hälfte der Punktzahl von einem Richter kommt, den niemand benannt hat.

Die Veröffentlichungsangaben sind nicht symmetrisch. MathForm-8B stammt von OpenBMB, und die Modellkarte datiert die Veröffentlichung auf den 14. August 2026; es basiert auf Qwen3-8B und wurde auf FormalVerse trainiert, einem Korpus von rund 367.000 verifizierten Beispielen in Lean 4, mit überwachtem Fine-Tuning, gefolgt von bestärkendem Lernen, das Lean-Kompilierung und semantische Konsistenzprüfungen als Belohnungssignal verwendet. In den Dateien von AesCode-8B findet sich nirgends ein Veröffentlichungsdatum. Microsoft erstellte das Repository von Hugging Face am 29. September 2026, committete die Gewichte am 7. Oktober 2026 um 03:35 UTC mit der Nachricht „Veröffentlichung von AesCode-8B“ und veröffentlichte den Trainingscode am 8. Oktober 2026 auf GitHub. Keines der beiden Ereignisse wurde von einer Ankündigung begleitet, das Zitat der Modellkarte lautet „In Begutachtung, 2027“, und das Repository verzeichnete zum Zeitpunkt dieses Textes zwei Downloads. Es ist eine Feinabstimmung von Qwen3-VL-8B-Instruct, was gerade deshalb erwähnenswert ist, weil es nicht derselbe Vorfahre ist wie der von MathForm-8B.

Die Abstammung erklärt den Großteil der Aufspaltung.

Qwen3-8B und Qwen3-VL-8B-Instruct teilen eine Generation und einen Familiennamen, aber nicht eine Aufgabe. Qwen3-8B ist ein reiner Text-Generalist: rund 8,2 Milliarden Gesamtparameter, davon etwa 7 Milliarden Nicht-Embedding-Parameter, Grouped-Query-Attention, einen nativen Kontext von 32K Token, der über YaRN auf 131K erweiterbar ist, und Training über 119 Sprachen und Dialekte hinweg. Qwen3-VL-8B-Instruct ist das Vision-Language-Geschwistermodell und der Checkpoint, von dem AesCode-8B ausgeht – die veröffentlichte AesCode-Konfiguration ist ein direktes Qwen3-VL-Rezept mit 36 verborgenen Schichten, Hidden-Size 4.096, 32 Attention-Heads mit 8 Key-Value-Heads und einem Vokabular von 151.936 Token.

Diese Weggabelung legt die Eingabeseite der Spezialisten fest, bevor einer der beiden trainiert wurde. MathForm-8B nimmt Text entgegen und gibt Text in einer formalen Syntax aus. AesCode-8B nimmt Text plus ein optionales Referenzbild entgegen und gibt ein Dokument aus.

• Base — MathForm-8B: Qwen3-8B, nur Text. AesCode-8B: Qwen3-VL-8B-Instruct, Bild und Text als Eingabe.

• Parameter — MathForm-8B: etwa 8,2B. AesCode-8B: etwa 8,8B in bf16 über vier Shards, was Hugging Face auf 9B rundet.

• Trainingsdaten — MathForm-8B: FormalVerse, rund 367K verifizierte Lean-4-Beispiele. AesCode-8B: 3.000 Cold-Start-Demonstrationen, dann GDPO-Reinforcement-Learning über 7.408 Prompts für 400 Schritte.

• Was prüft die Ausgabe? — MathForm-8B: ein Compiler für Lean 4, plus eine semantische Konsistenzprüfung gegen das ursprüngliche Problem. AesCode-8B: ein in einer Sandbox ausgeführtes Playwright-Rendering mit sechs deterministischen Verifizierern und einer modellbewerteten Rubrik.

• Lizenz — beide Apache 2.0, beide ohne Zugangsbeschränkung, beide erben vom Backbone der Qwen3-Familie.

• Überall gehostet – weder noch, soweit wir feststellen können.

Zwei verschiedene Bedeutungen von „verifizierbar“

Das ist der Unterschied, bei dem es sich lohnt, langsam zu sein, denn „maschinell überprüfbar“ wird für beides verwendet und bedeutet nicht dasselbe.

Der Checker von MathForm-8B ist ein Proof-Assistent. Lean 4 akzeptiert eine Aussage oder eben nicht, und das Urteil ist keine Frage von Meinung, Bewertungsraster oder Geschmack eines Judges. Die Trainingsschleife ist auf genau dieses Signal ausgerichtet: Die SFT-Phase auf FormalVerse lehrt die Abbildung von einem informellen Problem auf eine formale Theorem-Aussage mit einem Imports-Header und einem benannten Theorem, und die RL-Phase schärft sie mithilfe von Kompilierung plus einer Konsistenzprüfung, die fragt, ob die Formalisierung noch aussagt, was das ursprüngliche Problem aussagte. Kompilierung ist binär und für jeden mit derselben Lean-Version reproduzierbar. Die Konsistenzprüfung ist die weichere Hälfte, und sie ist die Hälfte, bei der die berichteten Zahlen schwach werden – genau das zeigen die veröffentlichten Ergebnisse.

Der Checker von AesCode-8B ist ein Renderer. Kandidaten werden in einem Playwright-Browser in einer Sandbox gerendert, wobei externe Anfragen blockiert werden, und die Harness liest das DOM, berechnete Styles, Bounding-Boxen, Konsolenstatus und einen Screenshot zurück. Sechs deterministische Kanäle bewerten die parsbaren Dinge — Ausführung, exakter Text, Grenzverhalten, Tabellen- und Diagrammdaten, semantisches Layout, — und ein siebter, die Visual Graph Rubric, bewertet Geometrie und Platzierung durch graphgebundene Ja/Nein-Fragen. Tabellen müssen echte HTML-Tabellen sein und Diagramme müssen ECharts-Spezifikationen sein, was eine Einschränkung ist, die echte Arbeit leistet: Sie zwingt die Ausgabe in eine Form, die ein Verifier parsen kann. Die deterministische Hälfte ist tatsächlich reproduzierbar. Die visuelle Hälfte wird von einem Vision-Language-Modell bewertet, dessen Identität die Dokumentation nicht nennt, was bedeutet, dass niemand außerhalb des Labors sie reproduzieren kann.

Der ehrliche Vergleich lautet also nicht: „Das eine ist verifiziert und das andere nicht.“ Er lautet vielmehr: Das primäre Signal von MathForm-8B ist ein Compiler und sein sekundäres Signal ist eine Konsistenzprüfung, während das primäre Signal von AesCode-8B aus einer Reihe deterministischer DOM-Assertions besteht und sein sekundäres Signal die Meinung eines Modells ist – verpackt in denselben Gesamtscore.

Was jede einzelne ist und was das wert ist

MathForm-8B berichtet über sechs Benchmarks hinweg eine durchschnittliche Pass@8 von 88,06 % unter der Syntaxprüfung und 72,37 % unter der Konsistenzprüfung. Die Streuung pro Benchmark ist der interessante Teil: 95,06 % Konsistenz bei FormalIMATH und 94,83 % bei ProverBench, dann 63 % bei FATE-H und 37 % bei FATE-X. Die letzten beiden sind die schwierigen, realistischen Aussagen, und der Abfall von den mittleren Neunzigern auf die mittleren Dreißiger ist die ehrliche Form der Leistungsfähigkeit. Alle diese Zahlen sind vom Anbieter angegeben und nicht reproduziert, und die Benchmark-Mischung ist zu den einfacheren Sets hin gewichtet.

AesCode-8B meldet 82,94 Overall auf Microsofts Infografik-Rubrik mit 300 Stichproben — Text 94,06, Boundary 88,36, Chart 87,79, Rule 90,00, Content 86,41, Layout 87,80, Style 93,21, Visual 75,80 — mit drei Generierungen pro Prompt und ohne Auswahl. Microsoft berichtet außerdem, dass es referenzkonditioniertes GPT-5.5 mit 81,28 und Claude Opus 4.8 mit 80,39 nach derselben Rubrik schlägt, dass ein schwerwiegender Canvas-Overflow-Fehler bei 4,3 % der 300 erneut auftritt, dass 22 Visual-Punkte den 32B-Begleiter von seinem eigenen Backbone trennen. Die Zahlen stammen vom Anbieter, beziehen sich auf die Aufgabe des Anbieters und wurden anhand von Kanälen bewertet, die der Anbieter entworfen hat.

Die beiden Zahlenreihen lassen sich überhaupt nicht miteinander vergleichen. Es gibt keine gemeinsame Aufgabe, keine gemeinsame Metrik und keine gemeinsame Bewertungsinstanz. 88,06 % neben 82,94 % zu stellen, hieße, eine Lean-Formalisierungs-Bestehensquote mit einer Infografik-Gesamtpunktzahl zu vergleichen, und keines der beiden Modelle wurde jemals anhand dessen bewertet, was das andere tut.

Eine Asymmetrie verdient es, benannt zu werden, weil sie gegen das neuere Modell spricht. Die Hauptkennzahl von MathForm-8B hat einen eingebauten externen Schiedsrichter: Jeder kann Lean installieren, dieselben Benchmarks laden und prüfen, ob die Aussagen kompilieren. Die Hauptkennzahl von AesCode-8B hat das nicht – die deterministischen Verifizierer könnten von einem entschlossenen Außenstehenden erneut ausgeführt werden, aber die visuelle Hälfte der Punktzahl hängt von einem Richter ab, den das Paper nicht identifiziert hat. Eine nicht reproduzierte Compiler-Bestehensrate ist eine schwächere Behauptung als eine Benchmark-Tabelle und dennoch eine stärkere als eine nicht reproduzierte Rubrik-Punktzahl mit einem anonymen Bewerter darin.

Sie laufen zu lassen ist eine andere Frage als jede der beiden Punktzahlen.

Beide sind heute Self-Host-Entscheidungen. MathForm-8B ist mit großem Abstand die günstigere: ein reiner Text-Checkpoint mit rund 8,2B Parametern und einem Generierungsbudget von etwa 16K Tokens Lean-Ausgabe, der sich auf eine einzelne Mittelklasse-Karte quantisieren lässt. AesCode-8B ist ein Vision-Language-Modell mit 8,8B Parametern, dessen Serving-Pfad sowohl Bilder als auch Text transportiert; der eigene Befehl der Karte lautet vllm serve microsoft/AesCode-8B --limit-mm-per-prompt image=2 --max-model-len 24576, und 17,5 GB bf16-Gewichte plus ein KV-Cache für 24.576 Tokens und zwei Bilder bedeuten, dass eine 24-GB-Karte knapp ist und 40–48 GB die realistische Untergrenze darstellen. Planen Sie zusätzlich einen Rendering-Stack ein, wenn Sie Ihre eigenen Ausgaben bewerten möchten, denn so wurden alle Qualitätsaussagen über das Modell getroffen.

Der größere versteckte Kostenfaktor ist, dass beide Modelle Spezialisten sind, die man dauerhaft übernehmen würde. Ein Team, das Formalisierung und Dokumentengenerierung benötigt, betreibt nun zwei 8B-Serving-Pfade, zwei Sätze von Prompt-Formaten, zwei Fehlerprofile, und keines der Modelle kann die Arbeit des anderen übernehmen. Genau dafür gibt es eine Routing-Ebene: Behalten Sie die Spezialisten dort, wo die Wirtschaftlichkeit und der Umgang mit den Daten den Besitz einer GPU rechtfertigen, und schicken Sie den allgemeinen Verkehr an etwas, das hinter demselben Endpunkt gehostet wird. Konkret sind die generalistischen Geschwister dieser beiden Basismodelle aufrufbar — Qwen3-VL-8B-Instruct für 0,18 $ pro Million Input-Tokens und 0,70 $ pro Million Output-Tokens bei einem Kontext von 131.072 Tokens, zusammen mit der Qwen 3.8-Familie und anderen offenen Checkpoints — alles über OrcaRouters eine API, die über 200 Modelle abdeckt, mit zu 0 % Aufschlag durchgereichten Listenpreisen der Anbieter und automatischem Failover zwischen Anbietern. Keiner der Spezialisten ist hier oder irgendwo sonst, wo wir es finden können, routbar; routbar ist der Generalist, auf den man zurückgreift, wenn die enge Aufgabe erledigt ist — das ist der Unterschied zwischen dem Testen eines Research-Checkpoints und dem Machen einer tragenden Abhängigkeit daraus.

Wenn du dich wirklich zwischen ihnen entscheiden musst

Wähle MathForm-8B, wenn das Artefakt kompilieren muss. Problembank-Konvertierung, formale Korpora für einen Prover, Vorformatierung von Aussagen für Lean-basierte Werkzeuge — das ist die komplette Aufgabenbeschreibung, und es ist das einzige der beiden, das dafür trainiert wurde. Nimm die FATE-Zahlen ernst, wenn du den Umfang absteckst: Bei den schwierigsten realistischen Aussagen erweist sich rund ein Drittel als konsistent, und du wirst unabhängig davon einen menschlichen Prüfschritt einbauen.

Wähle AesCode-8B, wenn das Artefakt gerendert werden muss. Ein Briefing geht hinein, ein editierbares HTML-Dokument kommt heraus, Tabellen sind Tabellen und Diagramme sind Diagrammspezifikationen, und das Ganze lässt sich in Git diffen. Akzeptiere die Style-Obergrenze — 53,21, eine Dimension, die so definiert ist, dass vor der Auslieferung keine weitere visuelle Überarbeitung nötig ist — als ehrliches Maß dafür, wie viel Bearbeitung noch bleibt, und akzeptiere, dass der 24.576-Token-Kontext nur an einzelnen Infografik-Seiten validiert wurde statt an den Multi-Slide-Decks, die Leute tatsächlich wollen.

Die Wahl, vor der die meisten Teams tatsächlich stehen, ist jedoch keine von beiden. Sie besteht darin, ob sich der Einsatz eines dieser engen Spezialisten überhaupt lohnt oder ob der dahinterstehende Generalist, über eine API aufgerufen, für Ihr Volumen gut genug ist. Das ist eher ein Nachmittag voller Prompt-Tests als ein GPU-Kauf, und die Zahlen beider Model Cards selbst liefern Ihnen den Grund dafür: Die Hard-Set-Konsistenz von MathForm-8B liegt bei 37 %, und der Style-Score von AesCode-8B liegt bei 53 %, also ist keines von beiden ein Modell, das man unbeaufsichtigt in eine Pipeline stecken würde.

Was beide Veröffentlichungen darüber verraten, wie Modelle heute ausgeliefert werden

Zwei 8B-Fine-Tunes, acht Wochen auseinander, aus zwei verschiedenen Laboren, veröffentlicht ohne Ankündigung, ohne Produktseite und ohne unabhängige Evaluierung, beide um eine Verifikationsschleife herum gebaut, beide Apache 2.0, keines wird von irgendjemandem bereitgestellt. Dieses Muster ist die eigentliche Geschichte, mehr noch als jedes der beiden Modelle. Die Forschungsmethode hat sich in die Reward-Funktion verlagert – OpenBMBs Compiler-Signal, Microsofts entkoppelte crossmodale Kanäle – und die veröffentlichten Artefakte sind zum Trainingsrezept plus den Gewichten geworden, wobei das Paper später kommt, wenn überhaupt.

Was das für alle bedeutet, die einen Vergleich wie diesen lesen, ist, dass die eigenen Zahlen des Anbieters für eine Weile alles sind, was man bekommt, und die nützliche Frage ist nicht, wie hoch sie sind, sondern wie überprüfbar sie sind. Die Overflow-Rate von AesCode-8B und seine Style-Obergrenze sind überprüfbare Behauptungen, die als Fehlschläge daherkommen. Die FATE-X-Konsistenzzahl von MathForm-8B ist dasselbe. Das sind die Zahlen, die man lesen sollte, und diejenigen, die man selbst erneut ausführen sollte, sobald die Checker durchgängig reproduzierbar sind.