Ultramarine 1 Flash: Paper Instruments levert een inzetbaar model voor $0,13 per taak

Paper Instruments publiceerde Ultramarine 1 Flash op 14 oktober 2026, en het getal waarmee het bedrijf voor de dag komt, is geen benchmarkscore. Het is een prijs: $0,13 om één taak te voltooien op PI Knowledge Work, de interne suite van het bedrijf voor financieel, juridisch, consulting- en operationeel werk. Het model dat $8,19 kost om dezelfde taak te voltooien — Claude Fable 5 bij maximaal redeneervermogen — scoort daar 57,8. Ultramarine 1 Flash scoort 59,3. Lees dat paar zoals de leverancier het framet en je hebt een model dat een frontiersysteem verslaat tegen ongeveer een drieënzestigste van de kosten. Lees het aandachtiger en je hebt iets smallers en interessanters: een model dat is gebouwd voor een specifiek soort output, geprijsd tegen het tarief dat zijn eigen basismodel rekent, met de benchmark die dat zegt, geschreven door het bedrijf dat het verkoopt.

Het basismodel is het vermelden waard vooraf, want het verklaart het grootste deel van de prijs. Ultramarine 1 Flash is een post-training van GLM-5.3 Flash, het 320B-totaal / 18B-actieve native multimodale model van Z.ai, verbeterd via grootschalige reinforcement learning in plaats van vanaf nul gebouwd. De API-tarieven zijn $0,15 per miljoen invoertokens, $0,03 voor gecachte invoer en $0,50 voor uitvoer — identiek aan die van GLM-5.3 Flash, wat "hetzelfde als GLM-5.3 Flash" betekent in het eigen prijsblok van de leverancier.

Wat is geleverd, en wat is nog steeds een belofte

Op de dag van de release zijn twee dingen waar, en de kloof daartussen is het verhaal dat een groot deel van de berichtgeving zal afvlakken.

De Ultramarine API is live. Je kunt er vandaag werk naartoe sturen en de bovenstaande tarieven betalen. De landingspagina linkt ernaar onder een eenvoudige regel "Ultramarine API →".

De gewichten zijn er niet. Dezelfde pagina zegt: "Modelgewichten komen binnenkort", en het technische rapport beschrijft GLM-5.3 Flash als "een sterk open basismodel" — wat een uitspraak is over het basismodel, niet over het afgeleide model. Ultramarine 1 Flash is op dit moment een gesloten gehoste endpoint met de intentie om open gewichten uit te brengen. Of het uiteindelijk echt open wordt, is de allergrootste open vraag erover, en het is degene die veel secundaire samenvattingen al hebben beantwoord op basis van aannames in plaats van door het na te gaan.

Wat op de releasedag open source ging, is de scaffolding. De Feather-agentharness, waarbinnen het model is getraind en waarmee het wordt geëvalueerd, is gepubliceerd als repository. Dat geldt ook voor paper-docx, paper-pptx en paper-xlsx, de forks van Paper Instruments van de standaard Python Office-bibliotheken, die het model gebruikt om Excel-werkmappen, PowerPoint-presentaties en Word-documenten te maken. Die forks bestaan omdat, volgens het bedrijf zelf, agents die python-docx en consorten aansturen "tegen API-hiaten aanlopen, terugvallen op rauwe OOXML en stille corrupties en regressies veroorzaken."

De zes benchmarks, inclusief de twee die het verliest

Paper Instruments geëvalueerd op zes suites. Ultramarine 1 Flash gaat bij vier ervan aan kop en bij twee niet, wat een nuttiger samenvatting is dan het gemiddelde.

• JobBench — 62,9 voor Ultramarine 1 Flash, vóór Gemini 3.8 Flash met 60,6 en DeepSeek V4.1 Flash met 60,4, met Claude Fable 5 op 57,4 en GPT-5.6 Sol op 45,4.

• PI Knowledge Work, de interne suite — 59,3, voor Claude Fable 5 met 57,8 en GPT-5.6 Sol met 55,1.

• FrontierFinance — 53,3, voor GLM-5.3 Flash met 50,7 en Gemini 3.8 Flash met 50,0.

• AutomationBench — tweede. DeepSeek V4.1 Flash pakt het met 51,3 tegen de 50,2 van Ultramarine.

• DiligenceBench — derde. Gemini 3.8 Flash leidt met 53.1, Claude Fable 5 staat tweede met 52.9, Ultramarine 1 Flash staat op 50.6.

• APEX-Agents 1.1 — derde. Gemini 3.8 Flash met 64,3 en Claude Fable 5 met 63,6 komen er beide boven; Ultramarine 1 Flash staat op 57,0, nog steeds ruim voor op GPT-5.6 Sol met 51,5 en DeepSeek V4.1 Flash met 39,5.

Het patroon in de verliezen is consistent en verdient een naam: Ultramarine 1 Flash is het sterkst waar het deliverable een document is en het zwakst waar de taak een live agent-loop over systemen is. DiligenceBench is een evaluatie van een aandelenonderzoeksagent; APEX-Agents is een agentische suite. AutomationBench is automatisering. De twee benchmarks die de eigen uitgever rond kantoor-deliverables heeft gebouwd, zijn de twee die het met de grootste marge wint.

Waarom de scores er zo uitzien

Bijna al het professionele werk is niet controleerbaar door een parser. Een due-diligencememo compileert niet en een boarddeck heeft geen unit tests, dus er is geen regex die zegt of iets juist is. Dat is het probleem dat Paper Instruments wilde aanpakken, en het antwoord is letterlijk citeerbaar: "we scale non-verifiable task synthesis across agentic knowledge work."

Het mechanisme is een curriculum. Vier domeinen — finance, recht, consulting, operations — waaieren uit naar 19 praktijkgebieden en 88 verschillende omgevingstypen, die elk putten uit een taxonomie van assen: deliverableformaat, bronconflicten, stakeholders, transactiefase. Het bedrijf stelt de nominale configuratieruimte op ergens tussen 10⁷ en 10¹⁰ combinaties per praktijkgebied, wat net zozeer een verdediging tegen mode-collapse is als een schaalclaim. Elke omgeving is een echte werkruimte: een bestandssysteem opgebouwd uit SEC EDGAR-filings, analistenrapporten en gesynthetiseerde contracten, plus live systemen van record — ERP, CRM, WMS, MES, GRC — die via MCP, HTTP en CLI worden ontsloten.

Beoordeling is het punt waarop dit ongewoon wordt. Elke taak wordt geleverd met een rubric, en elk criterium is geschreven om een grens af te bakenen rond acceptabele antwoorden in plaats van er één te eisen. Het uitgewerkte voorbeeld in het rapport zelf zet een overfit criterium dat twee van de drie juiste antwoorden afwijst tegenover een vaag criterium dat drie foute antwoorden accepteert, en laat vervolgens de herschreven versie zien die de grens volgt. Op te leveren resultaten worden geparseerd en doorgegeven aan een rubric-beoordelaar — het open-sourcepakket van het bedrijf, met GPT-5.6 Terra als beoordelingsmodel. De training draaide op een context van 131.072 tokens, met een limiet van 250 beurten voor de agent en compactie bij 85% van het contextvenster.

Dat ontwerp is de bron van zowel het resultaat als de kanttekening. Het is de reden dat een model dat zo goedkoop is bijna een frontier-systeem kan evenaren op documentwerk: de taakdistributie is gefabriceerd om op documentwerk te lijken. Het is ook de reden dat er een label aan de cijfers moet hangen. Dit zijn de eigen benchmarks van de leverancier, beoordeeld door de eigen keurmeester van de leverancier, op taken die de leverancier zelf heeft geschreven. Paper Instruments meldt dat PI Knowledge Work correleert met de Artificial Analysis Intelligence Index met r = 0,81, wat een serieus getal is en een gedeeltelijk antwoord — maar een correlatie aan de kant van de leverancier blijft aan de kant van de leverancier. Geen enkele derde partij heeft nog een onafhankelijke evaluatie van Ultramarine 1 Flash gepubliceerd, en het model is één dag oud.

De bewering die niet standhoudt op de grafiek

Het meest verdedigbare aan de release is tegelijk het minst geciteerde: het model genereert 6,5% minder outputtokens dan zijn basismodel op alle zes benchmarks. 30,5 miljoen tegen 32,7 miljoen, inclusief redenering. Op een factuur per taak is dat het verschil tussen een goedkoper model en een goedkoper model dat ook goedkoper is om te draaien, en het is het soort engineering dat eerder op een factuur dan op een leaderboard terug te zien is.

De bewering die niet helemaal opgaat, is die over de kosten-kwaliteitsgrens. Op PI Knowledge Work scoort GPT-6 Luna bij maximale redeneerstand 58,3 tegen $0,11 per taak. De beste score van Ultramarine 1 Flash is 59,3 tegen $0,13. Een verschil van één punt en twee cent is zo klein dat "bevindt zich op de kosten-kwaliteitsgrens tegen het meest aantrekkelijke prijspunt" veeleer een positioneringsstatement dan een feit is — wat de eigen grafiek van de leverancier, tot zijn verdienste, laat zien voor iedereen die verder leest dan de kopvermelding. Een model dat één punt achterstaat en twee cent minder kost, is een echt alternatief voor volumewerk, en de eerlijke versie van deze release is dat Ultramarine 1 Flash aan de kop van een klein cluster staat in plaats van alleen op een grens.

Waar het past, als je het zo wilt noemen

Ultramarine 1 Flash is geen model voor algemeen gebruik en pretendeert dat ook niet te zijn. Het is tekst erin, en een Excel-werkmap, PowerPoint-presentatie of Word-document eruit, met de mogelijkheid om binnen een bedrijfssysteem te handelen terwijl het dat doet. Als je werklast een document is, is dit nu een van de goedkoopste geloofwaardige manieren om het te produceren.

Ultramarine 1 Flash staat niet in onze catalogus. Het model waarop het is bijgetraind is: GLM-5.3 Flash wordt aangeboden op OrcaRouter tegen $0.15 input en $0.50 output per miljoen tokens, met niets toegevoegd per token, en het tarief is de lijstprijs van de provider die rechtstreeks wordt doorgegeven, dus als Z.ai het getal wijzigt, wijzigt het aangeboden getal dezelfde dag mee. Dat is meer dan gebruikelijk van belang voor een release als deze, omdat het hele argument voor Ultramarine 1 Flash rekenwerk is dat tegen de tariefkaart van een basismodel is gedaan. Daarnaast zijn vier van de modellen waarmee het wordt vergeleken — GPT-5.6 Sol, DeepSeek V4.1 Flash, Gemini 3.8 Flash en Kimi K3 — bereikbaar vanaf hetzelfde endpoint, wat betekent dat je de vergelijking van de leverancier op de proef kunt stellen met je eigen documenten in plaats van met die van hen.

Wat zou de beoordeling veranderen

Drie dingen, in aflopende volgorde van hoeveel ze zouden uitmaken.

Eén onafhankelijke evaluatie op een suite die niemand bij Paper Instruments heeft geschreven. De leverancier heeft dit uitgelokt door de correlatie met een index van een derde partij te publiceren; de volgende stap is dat iemand anders de score publiceert.

De gewichten. "Binnenkort beschikbaar" is een tijdelijke aanduiding, en totdat die wordt ingelost, is "open model" een beschrijving van een intentie die de release niet onderbouwt. Als ze er komen, wordt een 18B-actief model dat is afgestemd op documentwerk iets dat je zelf kunt draaien, en is het bedrag van $0,13 niet langer de enige manier om deze capaciteit te kopen.

Een benchmark die het door zijn opzet niet wint. De vier suites die het aanvoert, vertellen je dat het goed is in het onderdeel waarvoor het is getraind. De twee waarin het achterblijft, vertellen je waar een generalistische agent nog steeds een specialist verslaat. Iedereen die een juridische of financiële agent-pipeline plant, zou die twee rijen en de rij van $0,13 samen moeten lezen en beslissen welke daarvan hun werklast beschrijft.

Vergelijkingen zoals deze zijn ook waar de faalmodi aan het licht komen: de gedocumenteerde AI-incidenten en agentfouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive , waar elke vermelding zijn eigen bronnen, ernstgraad, betrouwbaarheidsgraad en betwist-markering bevat.