OrcaCyber Nano 1.0: Först av 21 i en styrelse utan domare

OrcaCyber Nano 1.0 – 27B Mix-13G-versionen, 13,0 GB på disk – ligger högst upp på en topplista med 21 modeller för 16 GB GPU:er och har en poäng på 89,8 av 100, vid 60 tokens per sekund på ett enda Tesla V100. Listan drivs av ett GitHub-repository från tredje part, inte av oss. Den bedömer varje svar med kod i stället för med en LLM-domare. Och det andra som är värt att säga är det som en leverantör vanligtvis utelämnar: OrcaCyber Nano 1.0 är inte den snabbaste modellen på den listan. MiniCPM-V 4.7 ligger på 93,4 tokens per sekund där. Nano vinner på genomsnittet av sju kategorier, inte på hastighet, och de två närmaste konkurrenterna – Qwen3.8-27B i två olika community-kvantiseringar – ligger 1,2 respektive 1,4 poäng efter den.

Det som följer är en tolkning av den utvärderingen såsom förrådet publicerar den 2026-10-19, plus modellens egen publicerade metadata från 2026-10-19. När en siffra kommer från OrcaRouters eget tillkännagivande i stället för från tredjepartstavlan, anges det i meningen. Inget nedan har körts om av oss.

Styrelsen, och vem som styr den

Det V100-LLM-förvaret paketerar ett GUI, en uppsättning inferensmotorer och en poängsättningssvit för att köra lokala modeller på ett NVIDIA Tesla V100 16 GB-kort under Windows. Att välja en modell, en förinställning och en motor, ladda ned det som saknas, chatta med bilder och följa tokens per sekund i realtid sker allt i det GUI:t. Poängsättningssviten är den del som tog fram rangordningen, och förvaret publicerar hela testriggen tillsammans med poängen, vilket är tillräckligt ovanligt för att vara värt ett stycke.

Styrelsens första svit var för lätt. Repositoriet säger det rakt ut: de flesta modeller fick mellan 90 och 100 poäng på version ett, vilket innebar att den inte kunde skilja dem åt, och de äldre resultaten finns fortfarande i repot för alla som vill se misslyckandet. Version två – den svåra sviten – utformades så att ingen modell i 16 GB-klassen får allt rätt. Den innehåller 72 uppgifter i sju kategorier:

• Kodning, 16 uppgifter — en uttrycksparser utan eval, regexmatchning, Dijkstra med tie-break, en LRU-cache med TTL, topologisk sortering, redigeringsavstånd, romerska siffror, sudoku, ryggsäcksproblemet, spiralmatris, en JSON-minifierare. Betygsätts av dolda enhetstester för kantfall som körs mot den genererade koden i en sandlåda med en tidsgräns.

• Resonemang, 20 uppgifter — flerstegsmatematik, logik, datum, kombinatorik och textproblem. Det exakta svaret måste stå på sista raden.

• Instruktioner, 12 uppgifter — tre till fem regler samtidigt: ordantal, förbjudna bokstäver, exakta format, ordning, JSON-form. Varje regel i en uppgift måste hålla, inte bara de flesta.

• Webbsökning, 8 uppgifter – multi-hop-frågor där du söker, läser resultatet, söker igen med det du hittade och ibland räknar med ett kalkylatorverktyg. Poängsätts utifrån rätt svar och minsta antal olika sökningar. "Webben" är ett fast offlineindex med 13 sidor.

• Agent, 6 uppgifter — ett litet simulerat projekt med filverktyg och run_tests: åtgärda en bugg, lägg till en funktion, byt namn över filer, rätta en konfiguration, bygg en CSV-rapport. Bedöms utifrån det slutliga filtillståndet och projektets egna tester.

• Syn, 8 uppgifter — genererade bilder: summera en tabellkolumn, slå upp en rad, läs ett stapeldiagram, räkna prickar, läs liten text, rumsliga relationer, en analog klocka, ett kvitto.

• Lång kontext, 2 uppgifter — en text på cirka 14 000 tokens med tre fakta gömda långt ifrån varandra, varav ett är en valvkod uppdelad i tre delar. Exakt svar.

Vad "ingen domare" är värt

De flesta topplistor av den här storleken poängsätts av en språkmodell som läser svaret och avgör om det är bra. Det är billigt, och det gör listan omöjlig att reproducera: domaren är en modell, modellen har en version, och samma svar kan få olika poäng på en tisdag än det fick på en måndag. Den svåra sviten tar bort domaren och anger fem regler som gör poängen upprepbar.

• Allt kontrolleras av kod.Samma svar får alltid samma poäng.

• Deterministisk och offline. Temperatur noll, tänkande inaktiverat, ingen internetåtkomst – webbsökkategorins webb är det fasta indexet på 13 sidor.

• Samma förinställning som en användare får. Varje modell körs med den förinställning som GUI:t rekommenderar, så hastigheten och poängen är de som en person ser efter installation, inte en konfiguration som är finjusterad för att vinna.

• Varje uppgift är bevisligen lösbar. Repot innehåller en korrekt referenslösning för varje kodnings- och agentuppgift, och två självtestskript kontrollerar att dessa lösningar godkänns av bedömarna. Beräknade svar – datum, summor, koder – verifieras i uppgiftsfilen.

• Svaret är den sista raden. En modell kan tänka högt; bedömaren läser den sista raden. Verktygsanrop accepteras i OpenAI-formatet och i Qwen XML-tool_call-textformat.

Poängberäkningen är lika omodern. Varje kategori är andelen godkända uppgifter. Övergripande är medelvärdet av de sju kategorierna, där varje kategori viktas lika. Hastighet är den genomsnittliga genereringstakten för svar på 64 tokens eller mer under körningen. Varje körning sparas som en JSON-fil per modell som registrerar varje uppgifts svar och huruvida det godkändes, så en oenighet om en poäng kan hänvisas till protokollet.

Var OrcaCyber Nano 1.0 faktiskt landar

De sju kategoriernas poäng, av 100: kodning 88, resonemang 95, instruktioner 58, webbsökning 100, agent 100, vision 88, lång kontext 100. Medelvärde: 89.8.

58 är det intressanta talet, och det är det som en marknadsföringssida skulle avrunda bort. Instruktioner är kategorin där en modell måste hålla tre till fem samtidiga villkor — ett ordantal och en förbjuden bokstav och en exakt utdataform — och Nano förlorar fem av tolv uppgifter där. Allt annat ligger på 88 eller högre. Två kategorier är perfekta.

Den närmaste konkurrenten är Qwen3.8-27B i HauhauCS:s Aggressive IQ3_XS-kvantisering med 88,6 totalt och 42,2 tokens per sekund; trea är Unsloths UD-IQ3_S-bygge av samma modell med 88,4 och 52,1 tokens per sekund. Båda ligger på 94 till 100 i kodning och resonemang, båda faller till 50 i instruktioner — så svagheten i instruktionsföljning är en egenskap hos 27B-klassen vid den här komprimeringsnivån, inte en defekt som är unik för Nano. Det som skiljer ettan från trean är 1,4 poäng utspridda tunt: några uppgifter i en kategori, inte en annan modellnivå.

Sextio tokens per sekund, och varför den snabbaste modellen finns någon annanstans

Den framhävda hastigheten är 60 tokens per sekund vid en kontext på 32k, och repositoriet är noga med vad den siffran avser. Det är hastigheten för modellens intrimmade fast-32k-förinställning med multi-token-förutsägelse på djup 3, uppmätt till 66,6 tokens per sekund för kod och 54,0 för chatt, med ett medelvärde på 60,3. Det vanliga medelvärdet över samtliga utvärderingssvar är 56,9. Båda siffrorna finns i fotnoten till tabellen i stället för bara den smickrande siffran.

Hastigheten sjunker när kontexten växer, och repot publicerar stegen: 57 tokens per sekund vid 96k, 32 vid 160k och 24 vid 262k när 20 000 tokens har fyllts i. Promptbearbetning för korta promptar är 501 tokens per sekund. Upp till 19 600 tokens klarar varje förinställning.

Den snabbaste modellen på resultattavlan är en annan. MiniCPM-V 4.7 i 35B-A3B Q3 mix-bygget kör på 93,4 tokens per sekund vid en kontext på 128k, och den når dit genom att flytta visionskodaren till processorn så att alla dess experter stannar på kortet. Den ligger fyra totalt på 87,5. Repositoriets egen formulering är en avvägning, inte en totalseger: Nano beskrivs där som den snabbaste täta 27B-modellen i tabellen, vilket är ett snävare påstående än den snabbaste modellen, och ett sant sådant.

Mätmiljön anges en gång och gäller för hela tabellen: en Tesla V100-SXM2-16GB, en Xeon E5-2660 v4, 64 GB DDR4. Motorerna som testas är PXA, llama.cpp med en V100-specifik patch, en Prism ML-fork och Strata, var och en under MIT-licensen; CUDA-DLL:er följer NVIDIAs EULA. Modellvikter medföljer inte — var och en laddas ned från författarens egen sida på Hugging Face.

Vad modellen är, utifrån dess egen metadata

Hugging Face-repositoriet orcarouter/OrcaCyber-Nano-1.0 anger ett kontextfönster på 262 144 tokens, en bild-text-till-text-pipeline (den tar emot både bilder och text), GGUF-biblioteket samt språken engelska och kinesiska. Det är åtkomstbegränsat: du måste logga in för att ladda ner. Licensfältet anger other med licensnamnet qwen. Per 2026-10-19 visade repositoriet 18 606 nedladdningar och 151 gillamarkeringar, och dess basmodellfält anger OrcaCyber-Nano-1.0-AI-Defense med relationen kvantiserad – de öppna viktfilerna är kvantiseringar av en försvarsanpassad förälder, vilket är det ärliga sättet att läsa det fältet.

Det finns fyra filer, och deras storlekar förklarar de flesta av driftsättningsbesluten i nästa avsnitt:

• Mix-13G — 12 993 304 352 byte, 13,0 GB-bygget som fick 89,8.

• Mix-15.7G — 15 695 148 832 byte, den större versionen, fortfarande inom budgeten för ett 16 GB-kort.

• DFlash2 Q8_0 — 2 056 414 112 byte, utkastmodellen för spekulativ avkodning.

• mmproj F16 — 927 606 848 byte, visionsprojektorn, som är det som gör de åtta visionsuppgifterna möjliga.

Med motorn tillagd upptar en fungerande installation cirka 14 GB på disk: 13,0 GB vikter, ungefär 0,9 GB projektor och körtiden.

Tretton gigabyte får plats på kortet. Tvåhundrasextiotvå tusen token gör det inte.

Det här är två olika påståenden, och medierapporteringen tenderar att sammanblanda dem. Viktfilen på 13,0 GB ryms inom 16 GB VRAM, vilket är anledningen till att modellen körs på en V100 med utrymme för KV-cachen för en kontext på 32k. Den maximala kontexten på 262 144 token får inte plats på kortet; den behöver KV-cachen i systemminnet, och repots kravlista anger 64 GB system-RAM för 262k-förinställningen jämfört med 32 GB för vanlig användning. Pressar man upp till det taket är hastigheten 24 token per sekund enligt trappan ovan.

Resten av hårdvarukraven är blygsamma och specifika. Alla NVIDIA-kort med 16 GB från Volta och framåt kan köra stacken; drivrutinen måste vara från R576-serien eller nyare; ett V100 som lämnats i TCC-läge går bra. Det finns ingen WSL, ingen Docker, inget CUDA Toolkit, ingen Visual Studio och ingen Python att installera, eftersom mappen levereras med sina egna motorer och sin egen portabla Python. Det behövs cirka 20 GB ledigt diskutrymme per modell.

Leverantörsnumren, märkta

OrcaRouter meddelade OrcaCyber Nano 1.0 den 2026-10-18 som en nödutgåva med öppna vikter och placerade den i en serie med tre modeller tillsammans med OrcaCyber Zero 1.5 och OrcaCyber Ultra 1.0. Samma vecka öppnade företaget gratis prioritetsåtkomst till sina OrcaCyber-modeller för team som aktivt hanterar ett intrång. Nästa dags inlägg inleddes med resultatet från resultattavlan och beskrev Nano som, enligt leverantörens egna tidiga utvärderingar, den mest kapabla lokala modellen i sin klass under 16 GB.

Den sista formuleringen är ett leverantörspåstående och har inte oberoende reproducerats. Detsamma gäller benchmarkresultatet som tillkännagivandet upprepade: 78.4 % på SWE-bench Verified, ställt bredvid DeepSeeks rapporterade 79.0 % för DeepSeek V4 Flash. Båda dessa siffror rapporteras av respektive leverantör; varken 78.4 eller 79.0 har körts av den här publikationen, och jämförelsen är intressant främst eftersom en 27B-modell placeras inom 0.6 poäng från en mycket större värdbaserad modell i en leverantörs egen testrigg. Läs det som ett tillkännagivande, inte som ett resultat.

Modellkortet i sig är värt att notera för vad det inte innehåller. Dess taggar nämner cybersäkerhet, reverse engineering, funktionsanrop och vision, men kortet innehåller inga cyberspecifika benchmarksiffror – ingen incidentresponspoäng, ingen detektionsgrad för sårbarheter, inget CTF-resultat. De finns i stället på Zero-sidorna. Och CyberGym-siffran som cirkulerar kring vår cyberlinje tillhör en kombinerad uppsättning – Zero 1.0 plus DeepSeek V4 Flash plus adaptiv routning – inte någon enskild modells solokörning. Om du väljer den här modellen för försvarsarbete är det ärliga evidensläget: en kodbedömd allmän testsvit placerade den först av 21 på ett 16 GB-kort, och den cyberspecifika evidensen finns någon annanstans och tillhör andra modeller.

Där den ligger intill de värdbaserade cybermodellerna

OrcaCyber Nano 1.0 är ett släpp av vikter för lokal hårdvara. Du laddar ner 13 GB, kör den själv, och poängen ovan är vad den presterar på ditt grafikkort. Det är inte en slutpunkt i vår katalog i dag, och inget i den här artikeln bör läsas som att det säger något annat. Det katalogen däremot har är resten av serien – OrcaCyber Zero 1.5 och OrcaCyber Ultra 1.0 – under samma nyckel och samma OpenAI-kompatibla slutpunkt som över 200 andra modeller, inklusive Claude Opus 5.5, GPT-6.1 Sol, Kimi K3, Qwen3.8-Max och DeepSeek V4 Flash, utan tokenpåslag över leverantörens listpris och automatisk redundansväxling mellan leverantörer.

Den uppdelningen är den användbara att hålla i huvudet. Nano är modellen du äger och kör offline, utan att data lämnar maskinen – vilket är hela poängen med en cybermodell för incidenthantering, eftersom de maskiner du oftast behöver inspektera är just de som du inte kan skicka till ett API. Zero 1.5 och Ultra 1.0 är modellerna du anropar. En lokal nivå för det luftgapade arbetet, en hostad nivå för genomströmningen, en gemensam vokabulär av modellnamn mellan dem.

Vad du ska göra med 89,8 beror på vad du behövde det till. Om du väntade på bevis för att en 27B-modell på 13 GB är konkurrenskraftig på ett 16 GB-kort – inte bara körbar, utan konkurrenskraftig mot 21 alternativ på uppgifter som alla bedöms av körbar kod – är det här det beviset, med sin lucka i instruktionsföljning synlig vid 58 och sitt hastighetstak synligt vid 60 tokens per sekund. Om du behövde det snabbaste på en V100 är det en annan modell på samma kort vid 93,4, och den finns en rad längre ner i tabellen.