OrcaCyber Nano 1.0: Eerste van 21 op een board zonder rechter erin

OrcaCyber Nano 1.0 — de 27B Mix-13G-build, 13,0 GB op schijf — staat bovenaan een ranglijst van 21 modellen voor 16 GB-GPU's met een score van 89,8 van de 100, met 60 tokens per seconde op één enkele Tesla V100. De ranglijst wordt beheerd door een externe GitHub-repository, niet door ons. Elk antwoord wordt met code beoordeeld in plaats van met een LLM-beoordelaar. En het tweede dat het vermelden waard is, is iets wat een leverancier normaal weglaat: OrcaCyber Nano 1.0 is niet het snelste model op die ranglijst. MiniCPM-V 4.7 haalt daar 93,4 tokens per seconde. De Nano wint op het gemiddelde van zeven categorieën, niet op snelheid, en de twee naaste concurrenten — Qwen3.8-27B in twee verschillende community-quantisaties — liggen 1,2 en 1,4 punten achter hem.

Wat volgt is een lezing van die evaluatie zoals de repository die op 2026-10-19 publiceert, plus de eigen gepubliceerde metadata van het model van 2026-10-19. Waar een getal afkomstig is van OrcaRouter's eigen aankondiging in plaats van van het board van een derde partij, wordt dat in de zin vermeld. Niets hieronder is door ons opnieuw uitgevoerd.

Het bestuur, en wie het leidt

De V100-LLM-repository bundelt een GUI, een set inferentie-engines en een scoringssuite om lokale modellen te draaien op één NVIDIA Tesla V100 van 16 GB onder Windows. Een model, een preset en een engine kiezen, downloaden wat ontbreekt, chatten met afbeeldingen en live tokens per seconde bekijken, gebeurt allemaal in die GUI. De scoringssuite is het onderdeel dat de ranglijst heeft opgeleverd, en de repository publiceert het volledige testharnas naast de scores, wat ongewoon genoeg is om de alinea waard te zijn.

De eerste suite van het board was te gemakkelijk. De repository zegt het ronduit: de meeste modellen scoorden tussen 90 en 100 op versie één, wat betekende dat het ze niet van elkaar kon onderscheiden, en die oudere resultaten staan nog steeds in de repo voor iedereen die de mislukking wil zien. Versie twee — de moeilijke suite — was zo ontworpen dat geen enkel model uit de 16 GB-klasse alles goed krijgt. Hij bevat 72 taken verdeeld over zeven categorieën:

• Programmeren, 16 opdrachten — een expressie-parser zonder eval, regex-matching, Dijkstra met tie-breaking, een LRU-cache met TTL, topologische sortering, bewerkingsafstand, Romeinse cijfers, sudoku, knapzakprobleem, spiraalmatrix, een JSON-minifier. Beoordeeld door verborgen unit tests voor edge cases die op de gegenereerde code worden uitgevoerd in een sandbox met een time-out.

• Redeneren, 20 opdrachten — wiskunde met meerdere stappen, logica, datums, combinatoriek en verhaalsommen. Het exacte antwoord moet op de laatste regel staan.

• Instructies, 12 opdrachten — drie tot vijf regels tegelijk: woordenaantallen, verboden letters, exacte formaten, volgorde, JSON-structuur. Elke regel van een opdracht moet gelden, niet de meeste ervan.

• Webzoeken, 8 taken — meerstapsvragen waarbij je zoekt, het resultaat leest, opnieuw zoekt met wat je hebt gevonden, en soms rekent met een rekenmachine als hulpmiddel. Beoordeeld op het juiste antwoord en op het minimale aantal verschillende zoekopdrachten. Het "web" is een vaste offline index van 13 pagina's.

• Agent, 6 taken — een klein gesimuleerd project met bestandstools en run_tests: een bug oplossen, een functie toevoegen, hernoemen in meerdere bestanden, een configuratie repareren, een CSV-rapport maken. Beoordeeld op de uiteindelijke bestandsstatus en de eigen tests van het project.

• Visie, 8 taken — gegenereerde afbeeldingen: een tabelkolom optellen, een rij opzoeken, een staafdiagram lezen, stippen tellen, kleine tekst lezen, ruimtelijke relaties, een analoge klok, een kassabon.

• Lange context, 2 taken — een tekst van ongeveer 14.000 tokens met drie feiten ver uit elkaar verborgen, waarvan één een kluiscode die in drie delen is opgesplitst. Exact antwoord.

Wat "geen rechter" waard is

De meeste leaderboards van deze omvang worden beoordeeld door een taalmodel dat het antwoord leest en beslist of het goed is. Dat is goedkoop, en het maakt het leaderboard onmogelijk te reproduceren: de rechter is een model, het model heeft een versie, en hetzelfde antwoord kan op dinsdag anders scoren dan op maandag. De harde suite verwijdert de rechter en stelt vijf regels vast die de score herhaalbaar maken.

• Alles wordt door code gecontroleerd. Hetzelfde antwoord krijgt altijd dezelfde score.

• Deterministisch en offline. Temperatuur nul, denken uitgeschakeld, geen internettoegang — het web van de webzoekcategorie is de vaste index van 13 pagina's.

• Dezelfde preset die een gebruiker krijgt. Elk model draait met de preset die de GUI aanbeveelt, dus de snelheid en de score zijn diegene die iemand ziet na installatie, niet een op winnen afgestemde configuratie.

• Elke taak is aantoonbaar oplosbaar. De repository bevat een correcte referentieoplossing voor elke programmeer- en agenttaak, en twee zelftestscripts controleren of die oplossingen voor de beoordelaars slagen. Berekende antwoorden — datums, sommen, codes — worden in het taakbestand bevestigd.

• Het antwoord is de laatste regel. Een model mag hardop nadenken; de beoordelaar leest de laatste regel. Toolaanroepen worden geaccepteerd in het OpenAI-formaat en in de Qwen XML tool_call tekstformaten.

De rekenkunde achter de scores is al even onmodieus. Elke categorie is het percentage taken dat is gehaald. Het totaal is het gemiddelde van de zeven categorieën, waarbij elke categorie even zwaar weegt. Snelheid is de gemiddelde generatiesnelheid over antwoorden van 64 tokens of meer tijdens de run. Elke run wordt opgeslagen als een JSON-bestand per model, waarin het antwoord op elke taak en of die is geslaagd, wordt vastgelegd, zodat een meningsverschil over een score kan worden getoetst aan de vastgelegde gegevens.

Waar OrcaCyber Nano 1.0 daadwerkelijk uitkomt

De zeven categoriescores, op 100: coderen 88, redeneren 95, instructies 58, webzoeken 100, agent 100, visie 88, lange context 100. Gemiddelde: 89,8.

De 58 is het interessante getal, en het is precies het getal dat een marketingpagina zou wegpoetsen. Instructies is de categorie waarin een model drie tot vijf gelijktijdige beperkingen moet vasthouden — een woordlimiet, een verboden letter en een exacte uitvoervorm — en Nano verliest daar vijf van de twaalf taken. Al het andere zit op 88 of hoger. Twee categorieën zijn perfect.

De dichtstbijzijnde concurrent is Qwen3.8-27Bin HauhauCS' Aggressive IQ3_XS-quantisatie met 88,6 overall en 42,2 tokens per seconde; derde is de Unsloth UD-IQ3_S-build van hetzelfde model met 88,4 en 52,1 tokens per seconde. Beide scoren 94 tot 100 op coderen en redeneren, beide zakken naar 50 op instructies — dus die zwakte in het volgen van instructies is een eigenschap van de 27B-klasse op dit compressieniveau, niet een defect dat uniek is voor de Nano. Wat de eerste van de derde scheidt, is 1,4 punt die dun verspreid liggen: een paar taken in een categorie, geen ander modelniveau.

Zestig tokens per seconde, en waarom het snelste model elders is

De hoofdsnelheid is 60 tokens per seconde bij een context van 32k, en de repository is zorgvuldig over wat dat getal precies inhoudt. Het is de snelheid van de getunede fast-32k-preset met multi-tokenvoorspelling op diepte 3, gemeten als 66,6 tokens per seconde bij code en 54,0 bij chat, met een gemiddelde van 60,3. Het gewone gemiddelde over alle evaluatieantwoorden is 56,9. Beide cijfers staan in de voetnoot van de tabel in plaats van alleen het flatterende cijfer.

De snelheid daalt naarmate de context groeit, en de repository publiceert de reeks: 57 tokens per seconde bij 96k, 32 bij 160k en 24 bij 262k zodra er 20.000 tokens zijn ingevuld. Promptverwerking bij korte prompts is 501 tokens per seconde. Tot 19.600 tokens doorstaat elke preset.

Het snelste model op de ranglijst is een ander model. MiniCPM-V 4.7 in de 35B-A3B Q3-mixbuild draait op 93,4 tokens per seconde bij een context van 128k, en dat bereikt het door de vision-encoder naar de CPU te verplaatsen, zodat al zijn experts op de kaart blijven. Het staat overall vierde met 87,5. De eigen framing van de repository is een afweging, geen volledige overwinning: de Nano wordt daar omschreven als de snelste dense 27B in de tabel, wat een beperktere claim is dan de snelste model zijn, en een claim die klopt.

De meetomgeving wordt één keer vermeld en geldt voor de hele tabel: één Tesla V100-SXM2-16GB, een Xeon E5-2660 v4, 64 GB DDR4. De geteste engines zijn PXA, llama.cpp met een V100-specifieke patch, een Prism ML-fork en Strata, elk onder de MIT-licentie; CUDA-DLL's vallen onder NVIDIA's EULA. Modelgewichten worden niet meegeleverd — elk ervan wordt gedownload van de eigen pagina van de auteur op Hugging Face.

Wat het model is, op basis van zijn eigen metadata

De Hugging Face-repository orcarouter/OrcaCyber-Nano-1.0 meldt een contextvenster van 262.144 tokens, een afbeelding-tekst-naar-tekst-pipeline (deze accepteert zowel afbeeldingen als tekst), de GGUF-bibliotheek en de talen Engels en Chinees. De toegang is beperkt: je moet inloggen om te downloaden. Het licentieveld vermeldt other met de licentienaam qwen. Op 2026-10-19 toonde de repository 18.606 downloads en 151 likes, en het veld voor het basismodel noemt OrcaCyber-Nano-1.0-AI-Defense met de relatie quantized — de open-weightbestanden zijn quantisaties van een op defensie afgestemd moedermodel, wat de eerlijke manier is om dat veld te lezen.

Er zijn vier bestanden, en hun omvang verklaart het grootste deel van de deploymentbeslissingen in de volgende sectie:

• Mix-13G — 12.993.304.352 bytes, de 13,0 GB-build die 89,8 scoorde.

• Mix-15.7G — 15.695.148.832 bytes, de grotere build, nog steeds binnen het budget van een 16 GB-kaart.

• DFlash2 Q8_0 — 2.056.414.112 bytes, het conceptmodel voor speculatieve decoding.

• mmproj F16 — 927.606.848 bytes, de vision-projector, die ervoor zorgt dat de acht vision-taken mogelijk zijn.

De engine plus een werkende installatie nemen samen ongeveer 14 GB op schijf in beslag: 13,0 GB aan gewichten, circa 0,9 GB aan projector en de runtime.

Dertien gigabyte past op de kaart. Tweehonderdtweeënzestigduizend tokens passen er niet op.

Het zijn twee verschillende beweringen, en in de berichtgeving worden ze vaak op één hoop gegooid. Het gewichtsbestand van 13,0 GB past binnen 16 GB VRAM, en daarom draait het model op een V100 met ruimte voor de KV-cache van een context van 32k. De maximale context van 262.144 tokens past niet op de kaart; daarvoor is de KV-cache in het systeemgeheugen nodig, en de vereisten van de repository vermelden 64 GB systeem-RAM voor de 262k-preset tegenover 32 GB voor normaal gebruik. Ga je tot dat plafond, dan is de snelheid de 24 tokens per seconde uit de ladder hierboven.

De rest van de hardwarevereisten is bescheiden en specifiek. Elke NVIDIA-kaart met 16 GB vanaf Volta draait de stack; het stuurprogramma moet uit de R576-serie of nieuwer zijn; een V100 die in TCC-modus staat, is prima. Er is geen WSL, geen Docker, geen CUDA-toolkit, geen Visual Studio en geen Python te installeren, omdat de map zijn eigen engines en zijn eigen draagbare Python meelevert. Ongeveer 20 GB vrije schijfruimte is per model nodig.

De leveranciersnummers, gelabeld

OrcaRouter heeft OrcaCyber Nano 1.0 op 2026-10-18 aangekondigd als noodrelease, open-weight, en het in een driedelige modellenserie geplaatst naast OrcaCyber Zero 1.5 en OrcaCyber Ultra 1.0. In dezelfde week opende het bedrijf gratis prioriteitstoegang tot zijn OrcaCyber-modellen voor teams die actief op een inbraak reageren. De post van de volgende dag begon met de leaderboard-uitslag en beschreef Nano als, volgens de eigen vroege evaluaties van de leverancier, het meest capabele lokale model in zijn klasse onder 16 GB.

Die laatste zin is een claim van de leverancier en is niet onafhankelijk gereproduceerd. Dat geldt ook voor de benchmark die de aankondiging herhaalde: 78,4% op SWE-bench Verified, naast de door DeepSeek gerapporteerde 79,0% voor DeepSeek V4 Flash. Beide cijfers zijn gerapporteerd door hun respectieve leveranciers; noch de 78,4 noch de 79,0 is door deze publicatie uitgevoerd, en de vergelijking is vooral interessant omdat een 27B-model binnen 0,6 punt van een veel groter gehost model wordt geplaatst op de eigen harness van een leverancier. Lees het als een aankondiging, niet als een resultaat.

De modelkaart zelf is het vermelden waard vanwege wat er niet in staat. De tags noemen cybersecurity, reverse engineering, function calling en vision, maar de kaart bevat geen cyber-specifieke benchmarkcijfers — geen incidentresponsscore, geen vulnerability-detectiepercentage, geen CTF-resultaat. Die staan in plaats daarvan op de Zero-pagina's. En het CyberGym-cijfer dat rondgaat in onze cyberlijn hoort bij een gecombineerde opzet — Zero 1.0 plus DeepSeek V4 Flash plus adaptieve routing — niet bij de solotest van één afzonderlijk model. Als je dit model kiest voor defensiewerk, is de eerlijke stand van het bewijs: een door code beoordeelde algemene suite zette het als eerste van 21 op een 16 GB-kaart, en het cyber-specifieke bewijs staat elders en hoort bij andere modellen.

Waar het naast de gehoste cybermodellen staat

OrcaCyber Nano 1.0 is een release van gewichten voor lokale hardware. Je downloadt 13 GB, je draait het zelf, en de score hierboven is wat het op jouw kaart presteert. Het is vandaag geen endpoint in onze catalogus, en niets in dit artikel mag zo worden gelezen dat het dat wel zegt. Wat de catalogus wél bevat, is de rest van de serie — OrcaCyber Zero 1.5 en OrcaCyber Ultra 1.0 — onder dezelfde sleutel en hetzelfde OpenAI-compatibele endpoint als meer dan 200 andere modellen, waaronder Claude Opus 5.5, GPT-6.1 Sol, Kimi K3, Qwen3.8-Max en DeepSeek V4 Flash, zonder tokentoeslag bovenop de lijstprijs van de provider en met automatische failover tussen providers.

Die tweedeling is het nuttige onderscheid om in je hoofd te houden. Nano is het model dat je bezit en offline draait, waarbij er geen data de machine verlaat — dat is precies het punt van een cybermodel voor incidentrespons, omdat de machines die je het meest moet inspecteren vaak juist degene zijn die je niet naar een API kunt sturen. Zero 1.5 en Ultra 1.0 zijn de modellen die je aanroept. Een lokale laag voor het air-gapped werk, een gehoste laag voor de doorvoer, één gedeelde woordenschat van modelnamen tussen beide.

Wat je met de 89,8 moet doen, hangt af van waarvoor je hem nodig had. Als je zat te wachten op bewijs dat een 27B-model van 13 GB concurrerend is op een 16GB-kaart — niet alleen uitvoerbaar, maar concurrerend met 21 alternatieven op taken die allemaal door uitvoerbare code worden beoordeeld — dan is dit dat bewijs, met zijn instructieopvolgingskloof zichtbaar bij 58 en zijn snelheidsplafond zichtbaar bij 60 tokens per seconde. Als je het snelste op een V100 nodig had, dan is dat een ander model op hetzelfde scorebord met 93,4, en het staat één rij verder in de tabel.