OrcaCyber Nano 1.0: первый из 21 в совете, где нет судьи

OrcaCyber Nano 1.0 — сборка 27B Mix-13G, 13,0 ГБ на диске — занимает верхнюю строчку в таблице лидеров из 21 модели для GPU с 16 ГБ с результатом 89,8 из 100, при 60 токенов в секунду на одной Tesla V100. Таблицу ведёт сторонний репозиторий на GitHub, а не мы. Он оценивает каждый ответ кодом, а не с помощью LLM-судьи. И второе, о чём стоит сказать, — то, что производитель обычно опускает: OrcaCyber Nano 1.0 — не самая быстрая модель в этой таблице. MiniCPM-V 4.7 там работает со скоростью 93,4 токена в секунду. Nano побеждает по среднему в семи категориях, а не по скорости, и два ближайших конкурента — Qwen3.8-27B в двух разных вариантах квантования от сообщества — отстают от неё на 1,2 и 1,4 балла.

Ниже приведена интерпретация этой оценки в том виде, в каком репозиторий публикует её на 2026-10-19, а также собственные опубликованные метаданные модели от 2026-10-19. Если какое-либо число взято из собственного анонса OrcaRouter, а не из стороннего рейтинга, это указано в соответствующем предложении. Мы ничего из приведённого ниже не перезапускали.

Совет директоров и кто им руководит

Репозиторий V100-LLM объединяет графический интерфейс, набор движков вывода и набор тестов для оценки, предназначенный для запуска локальных моделей на одной карте NVIDIA Tesla V100 16 GB под Windows. Выбор модели, пресета и движка, загрузка недостающего, общение с изображениями и просмотр скорости генерации токенов в секунду в реальном времени — всё это происходит в том же графическом интерфейсе. Набор тестов для оценки — это та часть, которая сформировала рейтинг, и репозиторий публикует весь тестовый стенд вместе с оценками, что достаточно необычно, чтобы заслуживать отдельного абзаца.

Первый набор тестов совета был слишком простым. В репозитории об этом сказано прямо: большинство моделей набрали от 90 до 100 баллов на первой версии, а это означало, что он не мог их различить, и те старые результаты всё ещё лежат в репозитории для всех, кто хочет увидеть этот провал. Вторая версия — сложный набор — была разработана так, чтобы ни одна модель класса 16 ГБ не справлялась со всем правильно. В неё входят 72 задачи в семи категориях:

• Программирование, 16 задач — парсер выражений без eval, сопоставление с регулярными выражениями, алгоритм Дейкстры с разрешением ничьих, LRU-кэш с TTL, топологическая сортировка, расстояние редактирования, римские цифры, судоку, задача о рюкзаке, спиральная матрица, минификатор JSON. Оценивается скрытыми модульными тестами на граничные случаи, которые запускаются для сгенерированного кода в песочнице с тайм-аутом.

• Рассуждения, 20 задач — многошаговые математические задачи, логика, даты, комбинаторика и текстовые задачи. Точный ответ должен быть указан в последней строке.

• Инструкции, 12 заданий — от трёх до пяти правил сразу: количество слов, запрещённые буквы, точные форматы, порядок, структура JSON. Каждое правило задания должно соблюдаться, а не большинство из них.

• Веб-поиск, 8 задач — многошаговые вопросы, где вы ищете, читаете результат, снова ищете по найденному, а иногда вычисляете с помощью калькулятора как инструмента. Оценка ставится за правильный ответ и за минимальное число различных поисков. «Веб» — это фиксированный офлайн-индекс из 13 страниц.

• Агент, 6 задач — небольшой смоделированный проект с файловыми инструментами и run_tests: исправить ошибку, добавить функцию, переименовать в нескольких файлах, исправить конфигурацию, сформировать CSV-отчёт. Оценивается по итоговому состоянию файлов и собственным тестам проекта.

• Зрение, 8 задач — сгенерированные изображения: просуммировать столбец таблицы, найти строку, прочитать столбчатую диаграмму, посчитать точки, прочитать мелкий текст, пространственные отношения, аналоговые часы, чек.

• Длинный контекст, 2 задачи — текст объёмом около 14 000 токенов с тремя фактами, спрятанными далеко друг от друга, один из которых — код хранилища, разделённый на три части. Точный ответ.

Чего стоит «без судьи»?

Большинство таблиц лидеров такого размера оцениваются языковой моделью, которая читает ответ и решает, хорош ли он. Это дёшево, но из-за этого таблицу невозможно воспроизвести: судья — это модель, у модели есть версия, и один и тот же ответ может получить разную оценку во вторник и в понедельник. В сложном наборе тестов судья убран и сформулированы пять правил, которые делают оценку воспроизводимой.

• Всё проверяется кодом. Один и тот же ответ всегда получает одинаковую оценку.

• Детерминированный и офлайн. Температура равна нулю, режим рассуждения отключён, доступа в интернет нет — «веб» категории веб-поиска представляет собой фиксированный индекс из 13 страниц.

• Тот же пресет, который получает пользователь. Каждая модель работает с пресетом, который рекомендует GUI, поэтому скорость и оценка — те, которые человек видит после установки, а не конфигурация, настроенная под победу.

• Каждая задача доказанно разрешима. В репозитории хранится корректное эталонное решение для каждой задачи по программированию и каждой агентной задачи, а два скрипта самопроверки проверяют, что эти решения проходят грейдеры. Вычисляемые ответы — даты, суммы, коды — утверждаются в файле задачи.

• Ответ — последняя строка. Модель может рассуждать вслух; проверяющий читает последнюю строку. Вызовы инструментов принимаются в формате OpenAI и в формате Qwen XML tool_call (текстовые форматы).

Арифметика подсчёта баллов столь же непопулярна. Каждая категория — это процент пройденных задач. Итоговый показатель — среднее по семи категориям, причём все категории имеют одинаковый вес. Скорость — это средняя скорость генерации по ответам длиной 64 токена и более во время прогона. Каждый прогон сохраняется в виде JSON-файла для каждой модели, в котором записаны ответ на каждую задачу и то, пройдена ли она, поэтому при разногласиях по поводу оценки можно обратиться к записи.

Где на самом деле оказывается OrcaCyber Nano 1.0

Оценки по семи категориям из 100: кодинг 88, рассуждения 95, инструкции 58, веб-поиск 100, агентность 100, зрение 88, длинный контекст 100. Среднее: 89,8.

58 — интересное число, и именно его маркетинговая страница округлила бы. «Инструкции» — это категория, где модель должна удерживать от трёх до пяти одновременных ограничений — количество слов, запрещённую букву и точную форму вывода — и здесь Nano проигрывает пять из двенадцати задач. Всё остальное — на уровне 88 или выше. Две категории идеальны.

Ближайший конкурент — Qwen3.8-27B в квантовании Aggressive IQ3_XS от HauhauCS с общим баллом 88,6 и 42,2 токена в секунду; третье место — сборка Unsloth UD-IQ3_S той же модели с 88,4 и 52,1 токена в секунду. Обе набирают от 94 до 100 баллов в программировании и рассуждениях, обе опускаются до 50 в инструкциях — значит, слабость в следовании инструкциям является свойством класса 27B на этом уровне сжатия, а не дефектом, уникальным для Nano. Первое место от третьего отделяют 1,4 балла, распределённые тонким слоем: несколько задач в категории, а не другой уровень модели.

Шестьдесят токенов в секунду, и почему самая быстрая модель находится в другом месте

Заявленная скорость — 60 токенов в секунду при контексте 32k, и в репозитории аккуратно поясняют, что это за число. Это скорость настроенного пресета модели fast-32k с предсказанием нескольких токенов на глубине 3: 66,6 токена в секунду на коде и 54,0 на чате, в среднем 60,3. Простое среднее по всем ответам при оценке — 56,9. В сноске к таблице приведены оба числа, а не только более выгодное.

Скорость падает по мере роста контекста, и репозиторий публикует шкалу: 57 токенов в секунду при 96k, 32 при 160k и 24 при 262k после заполнения 20 000 токенов. Обработка промптов на коротких промптах — 501 токен в секунду. До 19 600 токенов проходят все пресеты.

Самая быстрая модель в таблице — другая. MiniCPM-V 4.7 в сборке 35B-A3B Q3 mix работает со скоростью 93,4 токена в секунду при контексте 128k и добивается этого, перенося визуальный энкодер на CPU, чтобы все её эксперты оставались на видеокарте. В общем зачёте она занимает четвёртое место с результатом 87,5. Само описание в репозитории подаёт это как компромисс, а не как безоговорочную победу: Nano там названа самой быстрой плотной моделью на 27B в таблице — это более узкое утверждение, чем «самая быстрая модель», и оно верно.

Среда измерений описывается один раз и относится ко всей таблице: один Tesla V100-SXM2-16GB, Xeon E5-2660 v4, 64 ГБ DDR4. Тестируемые движки — PXA, llama.cpp со специальным патчем для V100, форк Prism ML и Strata, каждый под лицензией MIT; на DLL-файлы CUDA распространяется лицензионное соглашение конечного пользователя NVIDIA. Веса моделей не поставляются в комплекте — каждая загружается со страницы своего автора на Hugging Face.

Что представляет собой модель, согласно её собственным метаданным

Репозиторий Hugging Face orcarouter/OrcaCyber-Nano-1.0 сообщает о контекстном окне в 262 144 токена, пайплайне image-text-to-text (он принимает изображения, а также текст), библиотеке GGUF и языках — английском и китайском. Доступ к нему ограничен: чтобы скачать, нужно войти. В поле лицензии указано other с названием лицензии qwen. По состоянию на 2026-10-19 репозиторий показывал 18 606 загрузок и 151 лайк, а в поле базовой модели указано OrcaCyber-Nano-1.0-AI-Defense с отношением quantized — открытые веса представляют собой квантованные версии родительской модели, настроенной для защиты, и это честный способ интерпретировать это поле.

Есть четыре файла, и их размеры объясняют большинство решений по развёртыванию в следующем разделе:

• Mix-13G — 12 993 304 352 байта, сборка объёмом 13,0 ГБ, набравшая 89,8 балла.

• Mix-15.7G — 15 695 148 832 байт, более крупная сборка, всё ещё укладывающаяся в ёмкость 16-гигабайтной карты.

• DFlash2 Q8_0 — 2 056 414 112 байт, черновая модель для спекулятивного декодирования.

• mmproj F16 — 927 606 848 байт, визуальный проектор, который делает возможными восемь задач компьютерного зрения.

Добавьте движок — и рабочая установка займёт около 14 ГБ на диске: 13,0 ГБ весов, примерно 0,9 ГБ проектора и среда выполнения.

Тринадцать гигабайт помещаются на карте. А двести шестьдесят две тысячи токенов — нет.

Это два разных утверждения, и пресса обычно их смешивает. Файл весов объёмом 13,0 ГБ помещается в 16 ГБ видеопамяти — поэтому модель работает на V100, и ещё остаётся место для KV-кэша контекста на 32k. Максимальный контекст в 262 144 токена не помещается на видеокарте; для него нужен KV-кэш в системной памяти, а в требованиях репозитория для пресета 262k указано 64 ГБ системной ОЗУ против 32 ГБ для обычного использования. Если дойти до этого потолка, скорость составит 24 токена в секунду — как в приведённой выше лестнице.

Остальные требования к оборудованию скромные и конкретные. Любая видеокарта NVIDIA с 16 ГБ начиная с Volta запустит этот стек; драйвер должен быть из серии R576 или новее; V100, оставленная в режиме TCC, подойдёт. Не нужно устанавливать WSL, Docker, CUDA Toolkit, Visual Studio и Python, потому что в папке уже есть собственные движки и собственный портативный Python. На каждую модель требуется около 20 ГБ свободного диска.

Номера поставщиков, помеченные

OrcaRouter объявила о выпускеOrcaCyber Nano 1.0 18 октября 2026 года в качестве экстренного релиза с открытыми весами и включила её в серию из трёх моделей вместе с OrcaCyber Zero 1.5 и OrcaCyber Ultra 1.0. На той же неделе компания открыла бесплатный приоритетный доступ к своим моделям OrcaCyber для команд, активно реагирующих на вторжение. В посте следующего дня на первом месте был результат в таблице лидеров, а Nano была описана как, по собственным ранним оценкам поставщика, самая мощная локальная модель в классе до 16 ГБ.

Эта последняя фраза — заявление вендора, и она не была независимо воспроизведена. То же относится и к бенчмарку, который повторяется в анонсе: 78,4% в SWE-bench Verified, рядом с заявленными DeepSeek 79,0% для DeepSeek V4 Flash. Оба этих числа приводятся их соответствующими вендорами; ни 78,4, ни 79,0 не проверялись этим изданием, и сравнение интересно главным образом потому, что модель на 27B ставят в пределах 0,6 балла от гораздо более крупной хостируемой модели на собственном стенде вендора. Воспринимайте это как анонс, а не как результат.

Сама карточка модели заслуживает упоминания из-за того, чего в ней нет. В её тегах указаны кибербезопасность, реверс-инжиниринг, вызов функций и компьютерное зрение, но в карточке нет киберспецифичных показателей бенчмарков — ни оценки реагирования на инциденты, ни доли обнаружения уязвимостей, ни результата CTF. Они находятся на страницах Zero. А показатель CyberGym, который фигурирует в материалах нашего кибернаправления, относится к комбинированной конфигурации — Zero 1.0 плюс DeepSeek V4 Flash плюс адаптивная маршрутизация — а не к одиночному запуску какой-либо одной модели. Если вы выбираете эту модель для оборонных задач, честное состояние доказательств таково: общий набор тестов с оценкой кода поставил её на первое место из 21 на карте объёмом 16 ГБ, а киберспецифичные доказательства находятся в другом месте и принадлежат другим моделям.

Где оно располагается рядом с размещёнными кибермоделями

OrcaCyber Nano 1.0 — это релиз весов для локального оборудования. Вы скачиваете 13 ГБ, запускаете его самостоятельно, и оценка выше — это то, что он показывает на вашей карте. Сегодня это не эндпоинт в нашем каталоге, и ничто в этой статье не должно восприниматься как утверждение об обратном. В каталоге же представлены остальные модели серии — OrcaCyber Zero 1.5 и OrcaCyber Ultra 1.0 — с тем же ключом и тем же OpenAI-совместимым эндпоинтом, что и более 200 других моделей, включая Claude Opus 5.5, GPT-6.1 Sol, Kimi K3, Qwen3.8-Max и DeepSeek V4 Flash, без наценки на токены сверх прайс-листа провайдера и с автоматическим переключением при сбое между провайдерами.

Именно это разделение стоит держать в голове. Nano — это модель, которой вы владеете и которую запускаете офлайн, так что данные не покидают машину; в этом весь смысл кибермодели для реагирования на инциденты, ведь машины, которые чаще всего нужно проверять, нередко нельзя отправить в API. Zero 1.5 и Ultra 1.0 — это модели, к которым вы обращаетесь. Локальный уровень — для работы в изолированной среде, хостинговый — для пропускной способности, и единый набор названий моделей, общий для обоих.

Что делать с 89.8, зависит от того, для чего он вам был нужен. Если вы ждали доказательства того, что модель 27B при 13 GB конкурентоспособна на карте с 16 GB — не просто запускаема, а конкурентоспособна с 21 альтернативой на задачах, которые все оцениваются исполняемым кодом, — то это и есть такое доказательство, с её разрывом в следовании инструкциям, видимым на отметке 58, и потолком скорости, видимым на отметке 60 токенов в секунду. Если вам нужно было самое быстрое на V100, то это другая модель на той же плате с 93.4, и она на одну строку ниже в таблице.