OrcaCyber Nano 1.0 : premier de 21 au sein d’un conseil sans juge

OrcaCyber Nano 1.0 — la version 27B Mix-13G, 13,0 Go sur disque — occupe la première place d’un classement de 21 modèles pour GPU de 16 Go avec un score de 89,8 sur 100, à 60 tokens par seconde sur un seul Tesla V100. Le classement est géré par un dépôt GitHub tiers, pas par nous. Il note chaque réponse avec du code plutôt qu’avec un juge LLM. Et la deuxième chose qu’il vaut la peine de dire est celle qu’un fournisseur omet normalement : OrcaCyber Nano 1.0 n’est pas le modèle le plus rapide de ce classement. MiniCPM-V 4.7 y tourne à 93,4 tokens par seconde. Le Nano gagne sur la moyenne de sept catégories, pas sur la vitesse, et les deux concurrents les plus proches — Qwen3.8-27B dans deux quantifications communautaires différentes — sont à 1,2 et 1,4 point derrière lui.

Ce qui suit est une lecture de cette évaluation telle que le dépôt la publie le 2026-10-19, ainsi que les métadonnées publiées par le modèle lui-même à la date du 2026-10-19. Lorsqu’un chiffre provient de l’annonce d’OrcaRouter elle-même plutôt que du classement tiers, cela est précisé dans la phrase. Rien de ce qui suit n’a été réexécuté par nos soins.

Le conseil d’administration, et qui le dirige

Le V100-LLM est un dépôt qui regroupe une interface graphique, un ensemble de moteurs d'inférence et une suite d'évaluation pour exécuter des modèles locaux sur une seule carte NVIDIA Tesla V100 16 Go sous Windows. Le choix d'un modèle, d'un préréglage et d'un moteur, le téléchargement de ce qui manque, la conversation avec des images et le suivi en direct des jetons par seconde se font tous dans cette interface graphique. La suite d'évaluation est l'élément qui a produit le classement, et le dépôt publie l'ensemble du banc d'essai à côté des scores, ce qui est suffisamment inhabituel pour mériter ce paragraphe.

La première suite du board était trop facile. Le dépôt le dit clairement : la plupart des modèles ont obtenu entre 90 et 100 sur la version un, ce qui signifiait qu’elle ne pouvait pas les distinguer, et ces anciens résultats sont toujours dans le dépôt pour quiconque souhaite constater l’échec. La version deux — la suite difficile — a été conçue pour qu’aucun modèle de classe 16 Go n’obtienne tout juste. Elle contient 72 tâches réparties en sept catégories :

• Codage, 16 tâches — un analyseur d'expressions sans eval, correspondance d'expressions régulières, Dijkstra avec départage, un cache LRU avec TTL, tri topologique, distance d'édition, chiffres romains, sudoku, sac à dos, matrice en spirale, un minificateur JSON. Évalué par des tests unitaires cachés sur des cas limites exécutés contre le code généré dans un bac à sable avec un délai d'expiration.

• Raisonnement, 20 tâches — mathématiques à plusieurs étapes, logique, dates, combinatoire et problèmes rédigés. La réponse exacte doit apparaître sur la dernière ligne.

• Instructions, 12 tâches — trois à cinq règles à la fois : nombre de mots, lettres interdites, formats exacts, ordre, structure JSON. Chaque règle d'une tâche doit être respectée, et non seulement la plupart d'entre elles.

• Recherche web, 8 tâches — questions à sauts multiples où vous recherchez, lisez le résultat, effectuez une nouvelle recherche avec ce que vous avez trouvé, et parfois calculez avec un outil de calcul. Évaluées sur la bonne réponse et sur le nombre minimal de recherches distinctes. Le « web » est un index hors ligne fixe de 13 pages.

• Agent, 6 tâches — un petit projet simulé avec des outils de fichiers et run_tests : corriger un bug, ajouter une fonction, renommer dans plusieurs fichiers, corriger une configuration, générer un rapport CSV. Évalué sur l'état final des fichiers et les tests propres au projet.

• Vision, 8 tâches — images générées : additionner une colonne d'un tableau, retrouver une ligne, lire un graphique à barres, compter des points, lire un texte en petits caractères, des relations spatiales, une horloge analogique, un reçu.

• Contexte long, 2 tâches — un texte d'environ 14 000 tokens avec trois faits cachés loin les uns des autres, dont l'un est un code de coffre-fort divisé en trois parties. Réponse exacte.

Ce que vaut « pas de juge »

La plupart des classements de cette taille sont notés par un modèle de langage qui lit la réponse et décide si elle est bonne. C’est peu coûteux, et cela rend le classement impossible à reproduire : le juge est un modèle, le modèle a une version, et une même réponse peut obtenir une note différente un mardi de ce qu’elle aurait obtenu un lundi. La suite difficile retire le juge et énonce cinq règles qui rendent le score reproductible.

• Tout est vérifié par le code. La même réponse reçoit toujours le même score.

• Déterministe et hors ligne. Température zéro, réflexion désactivée, aucun accès Internet — le web de la catégorie recherche web est l’index fixe de 13 pages.

• Le même préréglage qu’obtient un utilisateur. Chaque modèle s’exécute avec le préréglage recommandé par l’interface graphique, de sorte que la vitesse et le score sont ceux qu’une personne voit après l’installation, et non une configuration optimisée pour gagner.

• Chaque tâche est prouvée résoluble. Le dépôt contient une solution de référence correcte pour chaque tâche de codage et d'agent, et deux scripts d'autotest vérifient que ces solutions passent les évaluateurs. Les réponses calculées — dates, sommes, codes — sont vérifiées dans le fichier de la tâche.

• La réponse se trouve à la dernière ligne. Un modèle peut réfléchir à voix haute ; le correcteur lit la dernière ligne. Les appels d’outils sont acceptés au format OpenAI et dans les formats textuels XML Qwen tool_call.

L’arithmétique des scores est tout aussi peu à la mode. Chaque catégorie correspond au pourcentage de tâches réussies. Le score global est la moyenne des sept catégories, chacune pondérée de la même manière. La vitesse est le taux de génération moyen sur les réponses de 64 jetons ou plus pendant l’exécution. Chaque exécution est enregistrée dans un fichier JSON par modèle consignant la réponse de chaque tâche et son résultat (réussi ou non), de sorte qu’un désaccord sur un score puisse être vérifié dans le registre.

Où OrcaCyber Nano 1.0 se situe réellement

Les sept scores par catégorie, sur 100 : codage 88, raisonnement 95, instructions 58, recherche web 100, agent 100, vision 88, contexte long 100. Moyenne : 89,8.

Le 58 est le nombre intéressant, et c’est celui qu’une page marketing arrondirait pour le faire disparaître. Instructions est la catégorie où un modèle doit respecter trois à cinq contraintes simultanées — un nombre de mots, une lettre interdite et une forme de sortie exacte — et Nano échoue à cinq des douze tâches dans cette catégorie. Tout le reste est à 88 ou au-dessus. Deux catégories sont parfaites.

Le concurrent le plus proche est Qwen3.8-27B dans la quantification Aggressive IQ3_XS de HauhauCS, avec 88,6 au global et 42,2 jetons par seconde ; le troisième est la version UD-IQ3_S d'Unsloth du même modèle, à 88,4 et 52,1 jetons par seconde. Les deux obtiennent entre 94 et 100 en codage et en raisonnement, et chutent tous deux à 50 sur les instructions — la faiblesse du suivi des instructions est donc une caractéristique de la classe 27B à ce niveau de compression, et non un défaut propre au Nano. Ce qui sépare le premier du troisième, ce sont 1,4 point répartis de façon ténue : quelques tâches dans une catégorie, pas un autre niveau de modèle.

Soixante tokens par seconde, et pourquoi le modèle le plus rapide se trouve ailleurs

La vitesse annoncée est de 60 tokens par seconde avec un contexte de 32 k, et le dépôt est prudent quant à ce que représente ce chiffre. Il s'agit de la vitesse du préréglage optimisé du modèle fast-32k avec prédiction multi-token à une profondeur de 3, mesurée à 66,6 tokens par seconde sur du code et 54,0 sur le chat, pour une moyenne de 60,3. La moyenne simple sur toutes les réponses d'évaluation est de 56,9. Les deux chiffres figurent dans la note de bas de page du tableau, et pas seulement le plus flatteur.

La vitesse diminue à mesure que le contexte s’allonge, et le dépôt publie la progression : 57 tokens par seconde à 96k, 32 à 160k, et 24 à 262k une fois 20 000 tokens remplis. Le traitement des prompts sur les prompts courts est de 501 tokens par seconde. Jusqu’à 19 600 tokens, tous les préréglages réussissent.

Le modèle le plus rapide du tableau est un autre. MiniCPM-V 4.7 dans la configuration 35B-A3B Q3 mix tourne à 93,4 jetons par seconde avec un contexte de 128k, et y parvient en déplaçant l’encodeur visuel sur le CPU afin que tous ses experts restent sur la carte. Il se classe quatrième au classement général avec 87,5. La présentation du dépôt elle-même y voit un compromis, pas une victoire sur toute la ligne : le Nano y est décrit comme le 27B dense le plus rapide du tableau, ce qui est une affirmation plus restreinte que celle de modèle le plus rapide, et une affirmation vraie.

L’environnement de mesure est indiqué une seule fois et s’applique à l’ensemble du tableau : un Tesla V100-SXM2-16GB, un Xeon E5-2660 v4, 64 Go de DDR4. Les moteurs testés sont PXA, llama.cpp avec un correctif spécifique à la V100, un fork de Prism ML et Strata, chacun sous licence MIT ; les DLL CUDA suivent l’EULA de NVIDIA. Les poids des modèles ne sont pas fournis — chacun est téléchargé depuis la page de son auteur sur Hugging Face.

Ce qu’est le modèle, d’après ses propres métadonnées

Le dépôt Hugging Face orcarouter/OrcaCyber-Nano-1.0 indique une fenêtre de contexte de 262 144 jetons, un pipeline image-texte-vers-texte (il accepte les images ainsi que le texte), la bibliothèque GGUF et les langues anglaise et chinoise. Il est à accès restreint : vous devez vous connecter pour le télécharger. Le champ de licence indique other avec le nom de licence qwen. Au 2026-10-19, le dépôt affichait 18 606 téléchargements et 151 mentions J’aime, et son champ de modèle de base indique OrcaCyber-Nano-1.0-AI-Defense avec la relation quantized — les fichiers à poids ouverts sont des quantifications d’un parent ajusté pour la défense, ce qui est la manière honnête de lire ce champ.

Il y a quatre fichiers, et leurs tailles expliquent la plupart des décisions de déploiement de la section suivante :

• Mix-13G — 12 993 304 352 octets, la version de 13,0 Go qui a obtenu 89,8.

• Mix-15.7G — 15 695 148 832 octets, la version la plus volumineuse, qui tient encore dans les limites d'une carte de 16 Go.

• DFlash2 Q8_0 — 2 056 414 112 octets, le modèle brouillon pour le décodage spéculatif.

• mmproj F16 — 927,606,848 octets, le projecteur de vision, ce qui rend possibles les huit tâches de vision.

Ajoutez le moteur, et une installation fonctionnelle occupe environ 14 Go sur le disque : 13,0 Go de poids, environ 0,9 Go de projecteur, et le runtime.

Treize gigaoctets tiennent sur la carte. Deux cent soixante-deux mille jetons, non.

Ce sont deux affirmations différentes, et la couverture médiatique tend à les amalgamer. Le fichier de poids de 13,0 Go tient dans 16 Go de VRAM, ce qui explique pourquoi le modèle tourne sur une V100 avec de la place pour le cache KV d’un contexte de 32k. Le contexte maximal de 262 144 tokens ne tient pas sur la carte ; il nécessite le cache KV en mémoire système, et les prérequis du dépôt indiquent 64 Go de RAM système pour le préréglage 262k, contre 32 Go pour un usage ordinaire. Si vous poussez jusqu’à ce plafond, la vitesse est de 24 tokens par seconde, d’après l’échelle ci-dessus.

Le reste de la configuration matérielle requise est modeste et spécifique. Toute carte NVIDIA de 16 Go à partir de Volta fera tourner la stack ; le pilote doit être de la série R576 ou plus récent ; une V100 laissée en mode TCC convient. Il n’y a ni WSL, ni Docker, ni CUDA toolkit, ni Visual Studio, ni Python à installer, car le dossier fournit ses propres moteurs et son propre Python portable. Environ 20 Go d’espace disque libre sont nécessaires par modèle.

Les numéros de fournisseur, étiquetés

OrcaRouter a annoncé OrcaCyber Nano 1.0 le 18 octobre 2026 comme version d’urgence à poids ouverts, et l’a intégré à une série de trois modèles aux côtés de OrcaCyber Zero 1.5 et OrcaCyber Ultra 1.0. La même semaine, l’entreprise a ouvert un accès prioritaire gratuit à ses modèles OrcaCyber pour les équipes répondant activement à une intrusion. La publication du lendemain a commencé par le résultat du classement et a décrit Nano comme, selon les premières évaluations du fournisseur, le modèle local le plus performant de sa catégorie sous 16 Go.

Cette dernière phrase est une affirmation du fournisseur et n'a pas été reproduite de manière indépendante. Il en va de même pour le benchmark que l'annonce a repris : 78,4 % sur SWE-bench Verified, mis en regard des 79,0 % rapportés par DeepSeek pour DeepSeek V4 Flash. Ces deux chiffres sont rapportés par leurs fournisseurs respectifs ; ni le 78,4 ni le 79,0 n'ont été exécutés par cette publication, et la comparaison est intéressante principalement parce qu'un modèle de 27B est placé à 0,6 point d'un modèle hébergé bien plus grand sur le propre harnais d'un fournisseur. À lire comme une annonce, pas comme un résultat.

La fiche du modèle mérite une remarque pour ce qu’elle ne contient pas. Ses étiquettes mentionnent la cybersécurité, l’ingénierie inverse, l’appel de fonctions et la vision, mais la fiche ne comporte aucun chiffre de référence spécifique à la cybersécurité — aucun score de réponse aux incidents, aucun taux de détection de vulnérabilités, aucun résultat CTF. Ceux-ci se trouvent plutôt sur les pages Zero. Et le chiffre CyberGym qui circule autour de notre gamme cyber appartient à une configuration combinée — Zero 1.0 plus DeepSeek V4 Flash plus routage adaptatif — et non à l’exécution en solo d’un modèle unique. Si vous choisissez ce modèle pour des travaux de défense, l’état honnête des preuves est le suivant : une suite générale évaluée par code l’a placé premier sur 21 sur une carte de 16 Go, et les preuves spécifiques à la cybersécurité se trouvent ailleurs et appartiennent à d’autres modèles.

Où il se situe à côté des modèles cyber hébergés

OrcaCyber Nano 1.0 est une publication de poids pour matériel local. Vous téléchargez 13 Go, vous l’exécutez vous-même, et le score ci-dessus correspond à ce qu’il obtient sur votre carte. Ce n’est pas un point de terminaison de notre catalogue aujourd’hui, et rien dans cet article ne doit être interprété comme affirmant le contraire. Ce que le catalogue propose, c’est le reste de la série — OrcaCyber Zero 1.5 et OrcaCyber Ultra 1.0 — avec la même clé et le même point de terminaison compatible OpenAI que plus de 200 autres modèles, notamment Claude Opus 5.5, GPT-6.1 Sol, Kimi K3, Qwen3.8-Max et DeepSeek V4 Flash, sans majoration par token par rapport au prix catalogue du fournisseur et avec basculement automatique entre fournisseurs.

Cette division est celle qu’il est utile de garder en tête. Nano est le modèle que vous possédez et exécutez hors ligne, aucune donnée ne quittant la machine — ce qui est tout l’intérêt d’un modèle cyber pour la réponse aux incidents, car les machines que vous devez le plus inspecter sont souvent celles que vous ne pouvez pas envoyer à une API. Zero 1.5 et Ultra 1.0 sont les modèles que vous appelez. Un palier local pour le travail en environnement isolé, un palier hébergé pour le débit, un seul vocabulaire de noms de modèles entre les deux.

Ce qu'il faut faire du 89,8 dépend de ce pour quoi vous en aviez besoin. Si vous attendiez la preuve qu'un modèle 27B à 13 Go est compétitif sur une carte de 16 Go — pas simplement exécutable, compétitif face à 21 alternatives sur des tâches toutes évaluées par du code exécutable — c'est cette preuve, avec son écart de suivi d'instructions visible à 58 et son plafond de vitesse visible à 60 jetons par seconde. Si vous cherchiez la chose la plus rapide sur une V100, c'est un autre modèle sur la même carte à 93,4, et c'est une ligne plus bas dans le tableau.