MOSS-Image är ute: OpenMOSS har släppt en 5B DiT som tar bounding boxar i prompten

Den obekväma detaljen bakom lanseringen av MOSS-Image är att det mest högljudda som sagts om den ännu inte riktigt stämmer. Den 17 oktober gratulerade vLLM:s eget konto OpenMOSS-teamet för släppet med öppen källkod och skrev att man var "stolta över att stödja MOSS-Image på Day 0 med vLLM-Omni". Pull-förfrågan som faktiskt lägger till modellen i den körmiljön — [Modell] Lägg till MOSImage text-till-bild med SLG, 3 605 tillagda rader fördelade på 25 filer — öppnades den 14 oktober och är fortfarande öppen, och granskaren efterfrågar bevis på utdataparitet mot en fastnaglad referensimplementation. Den senaste publicerade versionen av vLLM-Omni är v0.31.0rc1, daterad den 6 oktober. Alltså innehåller ingen levererad version av vLLM-Omni den här modellen, och den ärliga versionen av Day 0-påståendet är att serveringsvägen finns som en gren du kan bygga, inte som ett paket du kan installera. Den distinktionen spelar större roll än vanligt här, eftersom MOSS-Image är en genuint intressant release vars egentliga innehåll ligger i vikterna: MOSS-Image-Base och MOSS-Image-SFT, släppta den 16 oktober 2026 under Apache 2.0, uppbyggda kring en kompakt diffusionstransformer som tar strukturerade JSON-layouter som prompt.

Kortversionen för den som vill få en bild av det. OpenMOSS – labbet bakom MOSS-serien för språk och tal, som arbetar med MOSI Intelligence och akademiska partner – släppte en 5B single-stream-diffusionstransformer tränad från grunden, parad med en fryst Qwen3.5-9B-textkodare och en fryst FLUX.2-VAE, under en tillåtande licens som täcker både vikter och inferenskod. Dess säljargument är inte rå bildkvalitet; det är att du kan ge den ett JSON-objekt som innehåller bounding boxes, bokstavliga textsträngar och typografiska noteringar, och den kommer att följa dem. De benchmark-siffror som anges för den är leverantörens egna, uppmätta på två benchmarks som leverantören också har byggt. Det är inte diskvalificerande, men det innebär att du bör läsa dem som en intern resultattavla från ett labb snarare än som en ligatabell.

Vad som faktiskt levererades, och var

Artefakterna är enkla och kontrollerbara. På Hugging Face finns OpenMOSS-Team/MOSS-Image-Base och OpenMOSS-Team/MOSS-Image-SFT som innehåller vikterna, med ModelScope-speglar för båda, ett Gradio Space som körs på en enda A10G, och ett GitHub-förråd som innehåller pipelinen, ComfyUI-pluginen och en teknisk rapport. Projektsidan på openmoss.ai anger samma datum: 16 oktober 2026 — Introduktion av MOSS-Image-Base, med kod och modellvikter tillgängliga.

Två checkpoints, en arkitektur. Base är den förtränade modellen; SFT är finjusterad på kurerad data. Leverantörens eget jämförelseexempel visar att SFT ger tätare textgruppering och en mer organiserad layout, vilket ungefär är vad man kan förvänta sig av en finjustering på kurerad data av en basmodell som medvetet lämnats odestillerad. Base-kortet är tydligt med att den "inte har genomgått någon efterträning eller destillering av inferensparametrar såsom CFG", där det angivna skälet är att bevara träningsinformation och göra modellen enklare att träna LoRAs på. Den praktiska konsekvensen är att Base är den bättre värden för finjustering och den sämre standarden för casual promptning.

Licensieringen är Apache 2.0 för vikterna och för den fristående pipeline-koden – ingen intäktsgräns, ingen bilaga för acceptabel användning, ingen separat kommersiell nivå. För en modell vars främsta förmåga är att återge läsbar text i bilder är det ett mer betydelsefullt faktum än benchmarktabellen, eftersom textåtergivning är precis den förmåga som dyker upp i kommersiellt arbete: produktmockuper, UI-kompositioner, infografik, affischer, annonslayouter.

Arkitekturen, i siffrorna som spelar roll

Den tekniska rapportens konfigurationstabell är där släppet slutar vara ett pressmeddelande och börjar vara en specifikation. Siffran 5B avser enbart diffusionsgeneratorn — en enkelströms-transformer, 42 gemensamma block djup, dold bredd 3072, 24 uppmärksamhetshuvuden på 128 dimensioner vardera, en 8192-bred feed-forward som använder SiTU-GLU-aktiveringar, och en fyraxlig roterande positionskodning vars första axel är reserverad för ett referensindex, så att referensbetingad generering kan läggas till senare utan att ändra positionsschemat.

Sedan finns den del som etiketten "5B" tyst utelämnar:

• Textkodare — Qwen3.5-9B, fryst, matar ut dolda token-tillstånd från sista lagret med dimension 4096 genom en linjär projektion till 3072 plus två transformerblock för enbart text. En 9B-kodare fastsatt på en 5B-generator utgör ett väsentligt större fotavtryck än vad rubriknumret antyder.

• VAE — FLUX.2:s VAE, fryst och laddad från FLUX.2-klein-4B, 32 latenta kanaler vid en spatial nedskalningsfaktor på 8, med 2×2 latenta patchar vilket ger en effektiv bildsteglängd på 16 pixlar. MOSS-Images eget modellkort noterar att den använder FLUX.2:s lilla avkodare.

• Nedladdningsstorlek — SFT-repositoriet uppgår till cirka 27,2 GB, varav textkodaren är ungefär 16,8 GB fördelat på fyra shards och transformatorn runt 10,2 GB fördelat på tre. Planera för kodaren, inte för märket.

• Prompt-tak — 4096 tokens i det slutliga förträningsstadiet, vilket matchar tillverkarens påstående om "upp till 4K tokens". Utdimensionerna måste vara positiva multiplar av 16, där guiden rekommenderar en, en och en halv eller två megapixlar och ett intervall för extrapolering som stöds från 0,25 M (512×512) till 4 M.

• Standardvärden för sampling — flow-matching Euler, 50 steg, CFG 3,0, shift 5,0, med skip-layer-guidning på den negativa grenen vid lager 22. Standardguidningsvägen kräver två transformer-framåtpassningar per steg, vilket är varför 50 steg inte är den billiga inställning det låter som.

• Träning – tre progressiva upplösningssteg: 256px i 2,1 M steg, 512px i 2,1 M steg, sedan ungefär 1024² i 0,31 M steg, där maximalt antal tokens per sampel ökar från 576 till 3 072 till 8 192. Korpusen är en ReLAION-härledd uppsättning som bantats från cirka 5 miljarder till 3 miljarder bilder genom deduplicering och borttagning av AI-bilder, där rapporten anger att ingen ytterligare filtrering tillämpas – bilder vars bildtexter innehåller artefakter behålls och deras artefakter beskrivs, i stället för att tas bort. Optimeringen är en hybrid av Muon–AdamW, och leverantörens egen ablation med 1B parametrar rapporterar 33,2 % och 28,6 % färre steg till samma förlust än AdamW vid två kontrollpunkter. Träningen uppges ha använt heterogena GPU-plattformar, vilket är ett påstående om hårdvarutillgång snarare än om modellen, och rapporten namnger dem inte.

En sak värd att nämna innan benchmarkarna

Promptförbättringsmodulen – delen som gör om "utforma en engelsk kunskapsinfografik om koalor" till en fullständig innehålls- och layoutspecifikation – är inte en liten egen modell från leverantören. Rapporten konstaterar uttryckligen att LayoutPE använder G​PT-6 med modulära uppgiftsinstruktioner vid inferens, och repositoryts medföljande promptförbättrings-skill beskrivs som utformad för agenter i G​PT-6-familjen. Så det starkaste end-to-end-resultatet nedan är inte en enda modells utdata; det är en pipeline med två modeller där specifikationshalvan körs på någon annans API. Om du tolkade Elo-rankningen som ett rent mått på generatorn, är den inte det.

Benchmark-tabellen, och vem som författade den

MOSS-Image utvärderas på två benchmarks som medföljer releasen, sprungna ur leverantörens eget argument att befintliga tester inte mäter det den bryr sig om. LongLongTextBench är 240 uppgifter för återgivning av litterär text – 120 engelska, 120 kinesiska, med en genomsnittlig mållängd på 1 339,8 tecken, ungefär elva gånger genomsnittet för LongTextBench. RealLayoutArena är 61 designuppgifter (20 affischer, 20 infografiker, 21 användargränssnitt) bedömda genom blind parvis mänsklig jämförelse och anpassade till en Bradley–Terry-Elo-skala. Där baslinjer förekommer är de leverantörens körningar av andras modeller. Varje siffra i detta avsnitt är leverantörsrapporterad, icke reproducerad, och inget av det har granskats oberoende.

På Mean-6-texttäckningen i LongLongTextBench får MOSS-Image 96,3 — den bästa siffran för öppna vikter i leverantörens tabell, klart före Qwen-Image-2512:s 64,9, och dess poäng för det längsta villkoret är 97,1 för engelska och 92,4 för kinesiska. Siffran som håller tabellen ärlig är raden ovanför: det är på leverantörens eget benchmark, i leverantörens egna körningar som GPT Image 2 får 99,0 och Nano Banana Pro 96,6. OpenMOSS publicerade en tabell där en konkurrent fortfarande vinner, vilket är värt något.

I 7Bench layoutkontroll är gapet mycket större – genomsnittlig IoU över detekterade målobjekt är 0,88 för MOSS-Image mot 0,44 för I​deogram 4.0, 0,33 för Nano Banana Pro och Seedream 5.0 Pro, 0,31 för Q​wen Image 3.0 Pro och 0,30 för GPT Image 2, med en Layout AUC på 0,70 mot ett fält som ligger på 0,16 till 0,20. Om dessa siffror håller vid reproduktion är exakt objektplacering den förmåga som den här modellen faktiskt besitter.

På RealLayoutArena end-to-end hamnar MOSS-Image på 1698,70 Elo med ett 95-procentigt konfidensintervall på 1655,96 till 1741,43 — tvåa totalt, efter GPT Image 2 på 1844,35 och före Seedream 5.0 Pro (1661,16), Qwen Image 3.0 Pro med promptförbättring (1614,84) och Nano Banana Pro (1590,19). När jämförelsen begränsas till enbart backbone under gemensamma förbättrade prompts i naturligt språk kommer MOSS-Image först på 1807,34, före ERNIE Image på 1748,51 och SenseNova-U1 på 1689,23. Promptstrategi-ablationen är den mest användbara raden i artikeln för alla som planerar att använda den: JSON-layoutprompts får 1622,87, prompts i naturligt språk får 1506,20 i samma system. Layoutgränssnittet är inte en bonusfunktion. Det är där prestandan finns.

Två förbehåll som rapporten riktar mot sig själv är värda att upprepas. LongTextBench beskrivs som nära mättnad för dagens starka modeller, vilket är leverantörens sätt att förklara varför man byggde ett svårare test i stället för att luta sig mot ett gammalt. Och konfidensintervallet för Elo från end-to-end överlappar ingenting, men det är brett – 85 Elo-poäng – i en arena med 61 uppgifter som bedöms av mänskliga bedömare.

Att köra det själv, och vad det kostar

I dag finns det inget kommersiellt API för MOSS-Image som vi kan verifiera, och det finns inte i vår egen katalog – OrcaRouter tillhandahåller över 200 modeller och MOSS-Image är inte en av dem, så inget här bör tolkas som att vi erbjuder det. Det som finns är egen hosting: Diffusers-vägen med en anpassad pipeline (pipeline_moss_image, diffusers 0.38 eller senare, transformers 5.3 eller senare, torch 2.9 eller senare, Python 3.10+), en Gradio-app och en inbyggd ComfyUI-plugin som kan installeras via ComfyUI Manager, med integration i det officiella ComfyUI-repositoriet beskriven som pågående. Det finns också en färdighet för promptförbättring för agentramverk, och den kompilerar utkast med pixelkoordinater till modellens JSON-format med centrerade koordinater utan att anropa någon bildtjänst – ett litet, genuint användbart verktyg.

Communityn har redan gjort den del som leverantören inte gjorde. Inom ungefär ett dygn efter släppet dök tredjepartsbyggen upp på Hugging Face: en Comfy-Org-paketering av modellen, ett experimentellt Kijai-bygge, GGUF-kvantiseringar, INT8- och INT4-ConvRot-konverteringar, ett W4A8 OrbitQuant-bygge, och — mest användbart för alla utan ett datacenter — en 4-stegs DMD LoRA och en 8-stegs destillerad variant som angriper 50-stegsstandarden frontalt. Inget av dessa stöds av leverantören och inget är benchmarkat, men de är den normala signalen att ett släpp har landat hos människor som tänker använda det snarare än citera det.

Det är här ett routningslager förtjänar sin plats, och det är värt att vara precis om gränsen. Vi hostar inte MOSS-Image, så vi kan inte tillhandahålla det och kommer inte att antyda något annat. Vad vi kan göra är den andra halvan av jämförelsen: om du vill mäta en självhostad MOSS-Image mot hostade bildmodeller, är den hostade sidan nåbar via en enda API-nyckel i vår katalog till leverantörens listpris med 0 % påslag — så en prisändring från en leverantör på en hostad modell slår igenom här samma dag, inte i en kvartalsvis kontraktscykel — med automatisk failover mellan leverantörer och ett routnings-DSL som låter dig placera flera modeller bakom en enda slutpunkt. Att testa en obeprövad checkpoint mot en hyrd sådan bör inte kräva ett andra SDK, och det är det enda påståendet som görs.

Vem bör agera i den här frågan, och vem bör vänta?

Om ditt arbete innebär att generera bilder som innehåller korrekt, läsbar flerspråkig text på specifika positioner — affischer, gränssnittsmockuper, informationskort, allt där layouten är själva leveransen snarare än en lycklig slump — är MOSS-Image det mest direkt riktade släppet med öppna vikter den senaste månaden, och Apache 2.0-licensen innebär att den vanliga kommersiella granskningen blir kort. Börja med SFT-checkpointen, räkna med att behöva tillhandahålla strukturerad JSON i stället för prosa, och avsätt utrymme för encoderns 16,8 GB innan du avsätter utrymme för generatorn.

Vänta om du behöver en anropbar slutpunkt den här veckan, om du hyr kapacitet i stället för att äga den, eller om du vill ha en oberoende siffra innan du satsar. Arkitekturen är en ren enkelströmsdesign med en fryst encoder och en fryst VAE, vilket gör den enkel att köra — men 50 steg med två framåtpassningar per steg är en verklig serveringskostnad, "5B"-märket underskattar nedladdningen, och huvudresultaten togs fram av leverantören på leverantörens egna benchmarks med ett specifikationssteg som körs på en tredjepartsmodell. Vänta på en reproduktion, eller på att vLLM-Omni-vägen smälter samman till något du kan installera.

Två frågor som den här utgåvan inte avgör

Rättfärdigar modellens layoutkontroll en förändring av arbetsflödet?

Det beror på om du kan uttrycka din avsikt som boxar och strängar. Layout-JSON använder absoluta pixelkoordinater mätta från canvasens mittpunkt, med bbox_format "yxyx", vilket skiljer sig från de relativa koordinatkonventioner som flera andra nya layoutsystem använder – leverantören hävdar att absoluta pixlar passar bättre för arbete med flera upplösningar. Att anamma det innebär att skriva om vilken promptlogik du än redan har, och leverantörens egen 7Bench-skillnad (0,88 mIoU mot ett fält på 0,30–0,44) är det enda beviset för att omskrivningen lönar sig. Den mättes av personerna som skrev metriken.

Är Fine-Tuning-berättelsen så öppen som licensen antyder?

Delvis okänt. Vikterna och pipelinekoden är Apache 2.0 och Base lämnades medvetet odestillerad så att LoRA:er skulle ha något att bita i, vilket är ett verkligt åtagande. Men rapportens träningsrecept – den stegvisa upplösningsplanen, ReLAION-filtreringsbesluten, Muon–AdamW-uppdelningen – är dokumentation, inte släppt data, och finjusteringsvägledningen består hittills av specifika instruktioner (håll textkodaren fryst; finjustera den inte) plus en captioning-prompt. Påståendet att enkel SFT låser upp referensbaserad generering och GIF-utdata anges som ett fynd med ett "håll utkik" kopplat till sig, inte som ett resultat du kan verifiera i dag.

Tre saker skulle flytta MOSS-Image från ett imponerande repo till ett självklart val, och ingen av dem finns ännu: en oberoende körning av LongLongTextBench eller RealLayoutArena av någon annan än författarna, vLLM-Omni-patchen mergad i en taggad release med beviset för utdataparitet som granskaren efterfrågade, och en destillerad checkpoint med få steg och en leverantörs välsignelse i stället för enbart community-konverteringar. Fram till dess är den korrekta sammanfattningen denna – en väldokumenterad 5B-diffusionstransformator med ett ovanligt starkt text- och layoutgränssnitt, en tillåtande licens som omfattar både koden och vikterna, benchmark-ledarskap på tester som den själv har skrivit och andraplats i end-to-end-jämförelsen, samt en serving-berättelse som är verklig men fortfarande ligger i en öppen pull request.

De dokumenterade AI-felen och agentincidenterna bakom släpp som detta samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omstridd flagga.