Ultramarine 1 Flash vs GPT-5.6 Luna: Twee modellen die nooit op hetzelfde scorebord verschijnen

Het eerste dat opvalt aan deze combinatie is wat er ontbreekt in de eigen grafiek van de leverancier. Paper Instruments publiceerde Ultramarine 1 Flash op 14 oktober 2026 met zes benchmarktabellen en een kosten-kwaliteitsplot over zo'n dertig modelconfiguraties. GPT-5.6 Luna staat niet in de plot. Niet bij lage inspanning, niet bij gemiddelde, niet bij maximale. Het zustermodel GPT-5.6 Sol staat er bij elk inspanningsniveau; een model genaamd GPT-6 Luna staat er bij 58,3 voor $0,11 per taak; GPT-5.6 Luna komt er helemaal niet in voor. En aan de andere kant heeft Artificial Analysis wel een vermelding voor GPT-5.6 Luna — Intelligence Index 37, $0,18 per voltooide taak, 115,4 uitvoertokens per seconde — en helemaal geen vermelding voor Ultramarine 1 Flash.

Dat ontbreken is de vergelijking. GPT-5.6 Luna is OpenAI's snelle, kostenefficiënte tier uit de GPT-5.6-familie, uitgebracht op 9 juli 2026, met een onafhankelijke score op een samengestelde set van tien evaluaties. Ultramarine 1 Flash is een reinforcement-learning-posttraining van GLM-5.3 Flash, geprijsd op $0,15 voor input / $0,50 voor output per miljoen tokens, gebouwd om Excel-werkmappen, diapresentaties en Word-memo's te produceren in plaats van antwoorden, en met alleen de cijfers van zijn maker. Alles hieronder gaat over wat wel en niet kan worden geconcludeerd uit die opzet.

Waar de twee records zich daadwerkelijk bevinden

Luna's cijfers zijn metingen van Artificial Analysis op de eigen API van OpenAI. Die van Ultramarine zijn de gepubliceerde tarieven van Paper Instruments en de eigen gepubliceerde evaluaties, waarbij het contextcijfer is overgenomen uit de trainingsconfiguratie in het technische rapport.

• Onafhankelijke score — Intelligence Index 37 bij maximale inspanning, vierde van de 148 modellen in zijn klasse, voor GPT-5.6 Luna, tegenover geen enkele vorm van onafhankelijke evaluatie voor Ultramarine 1 Flash.

• Invoerprijs, op de tariefkaarten — $0,20 per miljoen tokens vs. $0,15. Het Paper Instruments-model is 25% goedkoper aan de invoerkant.

• Outputprijs — $1,20 vs $0,50 per miljoen. 2,4x, het grootste verschil in de vergelijking.

• Gecachte invoer — $0,02 per miljoen (90% korting) voor Luna vs. $0,03 (80% korting). Een cent verschil, in het voordeel van OpenAI.

• Context — 1.050.000 tokens op Luna's tariefkaart vs. 131.072 in Ultramarine's trainingsconfiguratie. Acht keer zo groot als het venster, en de enige regel waar het verschil niet klein is.

• Maximale uitvoer — 128.000 tokens tegenover niet gepubliceerd.

• Gemeten kosten per voltooide taak — $0,18 op de Intelligence Index voor Luna (maximale inspanning) vs. $0,13 op PI Knowledge Work voor Ultramarine 1 Flash. Twee verschillende suites, twee verschillende soorten taken, twee getallen die vergelijkbaar lijken maar dat niet zijn.

Eerste token — 121,46 seconden voor Luna bij maximale inspanning op OpenAI's API, tegenover een mediaan van 1,85 seconden voor zijn prijsklasse; voor Ultramarine 1 Flash in geen enkele vorm gepubliceerd.

Het eerste token na twee minuten, en waarom het een instelling is en geen gebrek

Dat cijfer van 121,46 seconden verdient een eigen sectie, want het is het soort getal dat als een defect wordt aangehaald terwijl het eigenlijk een parameter is.

GPT-5.6 Luna voert bij maximale reasoning-inspanning zijn beraadslaging uit voordat het iets uitzendt. Op de Intelligence Index produceert het 115,4 outputtokens per seconde zodra het begint en in totaal 150 miljoen outputtokens om de suite te voltooien — 41e van 60 in zijn klasse qua verboseheid, door Artificial Analysis beschreven als ietwat verbose tegenover een mediaan van 95 miljoen. De Index-score van 37 wordt bij die maximale instelling gemeten.

Het model ondersteunt configureerbare inspanning, wat betekent dat dezelfde gewichten die er twee minuten over doen om te beginnen, kunnen worden afgesteld op een niveau dat onmiddellijk reageert, tegen een lagere score. OpenAI publiceert geen uitsplitsing per inspanningsniveau in het record van Artificial Analysis, dus de grootte van die daling is niet bekendgemaakt — een standaardaanroep ligt ergens onder 37, met een hoeveelheid die niemand buiten OpenAI heeft gemeten. Voor een fan-outstap waarin honderd goedkope aanroepen elk iets korts opstellen, is dat de juiste configuratie. Voor de enkele moeilijke taak aan het einde van een keten geldt: maximale inspanning. Beide zijn hetzelfde model en geen van beide is verkeerd geconfigureerd.

Ultramarine 1 Flash publiceert geen latentiecijfer, geen doorvoercijfer en geen tijd tot het eerste token. Het technische rapport ervan maakt echter wel de operationele envelop bekend waarbinnen het is getraind en geëvalueerd — 131.072 tokens context, een limiet van 250 beurten op de agentlus, compactie die wordt geactiveerd bij 85% van het venster of wanneer er nog 30.000 tokens resteren — en een harness die is gebouwd om zijn eigen werkgeheugen te compacteren, is een harness die is gebouwd voor langdurige taken. Dat is een gevolgtrekking over de vorm van de taak, geen bewijs over snelheid, en het eerlijke standpunt is dat de ene kant van deze vergelijking een gemeten latentieprobleem heeft en de andere kant geen meting.

Wat een deliverable-benchmark meet dat een intelligentie-index niet kan

De reden dat de twee modellen elkaar nooit ontmoeten, is geen toeval van de planning. De benchmarks meten met opzet verschillende dingen.

De Intelligence Index die Luna een 37 geeft, is samengesteld uit tien evaluaties — AA-Briefcase, GDPval-AA, AutomationBench en andere — elk met antwoorden die een beoordelaar kan controleren. Dat is wat hem reproduceerbaar maakt, en daarom kan een evaluator zonder belang bij welk model dan ook hem uitvoeren en een vergelijkbaar getal voor iedereen publiceren.

PI Knowledge Work is precies gebouwd omdat de reproduceerbare delen van professioneel werk niet de delen zijn die ertoe doen. Een due-diligencememo compileert niet. Een board deck heeft geen unit tests. Een prijsmodel met een live forecast erin zal op een manier fout zijn die een meerkeuzebeoordelaar niet kan zien. Dus schreef Paper Instruments in plaats daarvan rubrieken, één per taak, elk criterium getrokken als een grens over acceptabele antwoorden in plaats van als een eis voor één antwoord. Het rapport contrasteert een overfit criterium dat twee van de drie correcte antwoorden afwijst met een vaag criterium dat drie foute antwoorden accepteert, en laat vervolgens de herschreven versie zien die overeenkomt met de grens — wat een eerlijke demonstratie is van waarom dit moeilijk is en een eerlijke waarschuwing over hoeveel gewicht een enkele rubriekscore zou moeten dragen.

Wat de resulterende getallen waard zijn, simpel gezegd: Ultramarine 1 Flash scoort 59,3 op die suite voor $0,13 per taak. GPT-5.6 Sol, Luna's grotere broer, scoort 55,1 voor $2,09 en komt voor in alle zes de Paper Instruments-tabellen — 45,4 op JobBench tegenover de 62,9 van Ultramarine, 46,8 op FrontierFinance tegenover 53,3, 51,5 op APEX-Agents 1.1 tegenover 57,0. De leverancier meldt dat zijn suite correleert met de Artificial Analysis Intelligence Index met r = 0,81, wat een serieus getal is, en een getal uit tweede hand. Geen enkele derde partij heeft Ultramarine 1 Flash op wat dan ook laten draaien.

De vergelijking die aan beide zijden op dezelfde manier wordt gemeten

Er is precies één categorie metingen in deze combinatie waarbij het cijfer van geen van beide kanten afhangt van de methodologie van de andere: token-efficiëntie, gemeten binnen één enkele suite door één enkele harness.

Artificial Analysis registreert GPT-5.6 Luna op 150 miljoen outputtokens om de Intelligence Index te voltooien, 58% boven de mediaan van 95 miljoen voor zijn klasse. Dat cijfer ligt achter de $0,18 per taak — een snel model dat heel veel schrijft is niet de goedkoopste manier om een voltooide taak te kopen, en de verbosity-ranglijst maakt de reden zichtbaar.

Paper Instruments doet de tegenovergestelde bewering over zijn eigen model, en doet dat op een controleerbare manier in plaats van het simpelweg te beweren. Op alle zes zijn benchmarks produceerde Ultramarine 1 Flash 6,5% minder outputtokens dan GLM-5.3 Flash, het model waarop het is na-getraind — 30,5 miljoen tegen 32,7 miljoen, redenering inbegrepen — terwijl het op alle zes hoger scoorde. Aan beide kanten van die vergelijking staat dezelfde harness op dezelfde taken, dus het is niet vatbaar voor de kritiek die boven al het overige hier hangt. Het is ook de richting die niet gratis is: post-trainingruns worden even vaak praatzieker als zwijgzamer.

Voor iedereen wiens factuur wordt gedomineerd door outputtokens, is dat het meest overdraagbare feit in de release. Het zegt niet dat Ultramarine 1 Flash zuiniger is dan GPT-5.6 Luna. Het zegt dat de relatie dat het per basismodel de kortste van de twee is, standhield, op een suite die niemand buiten het bedrijf heeft gereproduceerd.

Zelf de test uitvoeren

GPT-5.6 Luna wordt aangeboden via OrcaRouter tegen $0,20 voor invoer en $1,20 voor uitvoer per miljoen tokens, waarbij het effortniveau per verzoek wordt ingesteld. Dat is de lijstprijs van de provider die ongewijzigd wordt doorgegeven met niets extra per token, wat van belang is voor een model waarvan de prijs al eens is gewijzigd — de verlaging van 80% die OpenAI eerder dit jaar doorvoerde, is hier terug te zien zonder dat iemand een contract opnieuw hoefde te onderhandelen. Hetzelfde endpoint bereikt GPT-5.6 Sol, Claude Fable 5, DeepSeek V4 Flash en GLM-5.3 Flash, waarvan de laatste de basis is waarop Ultramarine 1 Flash is getraind en tegen exact hetzelfde tarief van $0,15 / $0,50 wordt aangeboden.

Ultramarine 1 Flash staat niet in onze catalogus; de route ernaartoe is de eigen API van de leverancier en de platforms van derden die het doorverkopen. Die asymmetrie is de praktische vorm van deze vergelijking. Een van deze twee modellen kun je vandaag in een productiepad zetten, met een gerouteerde fallback erachter en een gemeten p50 voor je. Het andere pilot je op het endpoint van de leverancier en beoordeel je op zijn eigen output.

Welke test is het waard om uit te voeren, en hij is goedkoop: stuur dezelfde batch documenten naar beide, met Luna's standaardinspanning en met maximale inspanning, en vergelijk de artefacten en de facturen. Het hele argument van de specialist is dat zijn output minder herwerk nodig heeft. Dat is in een middag meetbaar en het is het enige bewijs dat een koppeling zou beslechten waar niemand een gedeeld scorebord heeft gepubliceerd.

De positie, uiteengezet als wat bekend is en wat niet.

Bekend, met een bron: GPT-5.6 Luna scoort 37 op een index die is opgebouwd uit tien controleerbare evaluaties, tegen $0,18 per voltooide taak, met een venster van 1.050.000 tokens en een eerste token dat net iets meer dan twee minuten kan duren bij het inspanningsniveau dat de 37 oplevert. Het is goedkoop per token, capabel voor zijn klasse, en — volgens de eigen meting van Artificial Analysis — geneigd om 58% meer te schrijven dan vergelijkbare modellen.

Gerapporteerd door zijn maker, niet gereproduceerd: Ultramarine 1 Flash scoort 59,3 op een volgens een rubric beoordeelde suite van financiële, juridische, consulting- en operations-deliverables tegen $0,13 per taak, tegenover $8,19 voor Claude Fable 5 bij 57,8 en $2,09 voor GPT-5.6 Sol bij 55,1, en het verslaat zijn eigen basismodel op alle zes suites terwijl het 6,5% minder tokens genereert.

Onbekend: of iets daarvan een document overleeft dat niemand bij Paper Instruments heeft geschreven, hoe de latentie van het model eruitziet onder belasting, en of de regel "Modelgewichten binnenkort beschikbaar" op de pagina van de leverancier uitmondt in een daadwerkelijke release.

Elk artikel dat daaruit een winnaar kiest, heeft er zelf een bedacht. Wat zuiver gesteld kan worden, is dat als je een geverifieerde score nodig hebt voordat je je vastlegt, GPT-5.6 Luna het enige model in deze combinatie is dat er een heeft, en dat als je werk een op te leveren resultaat is in plaats van een antwoord, de interessante bewering volledig aan de andere kant ligt en door niemand is getest die niet betaald is om het te testen.

Vergelijkingen zoals deze zijn ook waar de faalmodi aan het licht komen: de gedocumenteerde AI-incidenten en agentfouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive , waar elke vermelding zijn eigen bronnen, ernstgraad, betrouwbaarheidsgraad en betwist-markering bevat.