OrcaCyber Zero 1.5 vs OrcaCyber Zero 1.0: что изменилось, что нет и что охватывают эти цифры

Двадцать три дня разделяют две страницы моделей, а разница короче, чем подразумевает пост о запуске. OrcaCyber Zero 1.5 появилась на OrcaRouter 10 октября 2026 года как преемница OrcaCyber Zero 1.0, анонсированная с обновлёнными весами и свежим набором результатов бенчмарков. Веса вполне могут быть новыми. Коммерческие условия — нет: цена входа, цена выхода, цена чтения из кэша, контекстное окно, потолок выхода, флаги возможностей и уровень доступа идентичны между двумя поколениями, вплоть до последнего десятичного знака. Что изменилось — это доказательства: четыре опубликованные строки бенчмарков там, где раньше была одна, и панель задержки, теперь измеряемая за три дня вместо семи. Оба поколения отвечают на одном и том же OpenAI-совместимом эндпоинте, так что сравнение стоит одного идентификатора модели. Собственные показатели модели ничего не говорят о том, что делает агент, построенный на ней, когда он уже работает, — эта запись ведётся отдельно, в архиве инцидентов ИИ.

Поля, которые не переместились

Начните здесь, потому что следующий релиз наводит на мысль, что они это сделали.

• Цена — $3.00 за 1 млн входных токенов, $7.50 за 1 млн выходных, $0.75 за 1 млн кэшированных входных. Идентично на обеих страницах и не менялось с момента выпуска Zero 1.0 17 сентября.

• Контекстное окно и лимит вывода — 1 000 000 токенов на входе, 128 000 токенов на выходе. Идентично, и оба показателя не изменились по сравнению с предыдущей моделью.

• Флаги возможностей — `tools`, `json`, `reasoning`. Идентичны, в том же порядке.

• Доступ — уровень `sec-uncensored`, диапазон `offensive`, `locked: true`. Идентичен и по-прежнему остаётся самым строгим шлюзом на платформе.

Это вся коммерческая составляющая преемника, и ничего в ней не сдвинулось. Если вы ждали более дешёвый токен, более длинный контекст или более простой способ войти, ничего из этого не появилось.

Строки бенчмарка — это то, где на самом деле живёт релиз.

На странице Zero 1.0 указана ровно одна строка бенчмарка: CyberGym Level 1 pass@1, 98,07%, оценка от 17 сентября. На странице Zero 1.5 указаны четыре, все датированы 10 октября:

• Cybench — 100%, с уточнением в скобках «неограниченное выполнение агентом».

• CVE-Bench — 95,8 %, и само название бенчмарка указывает на это сужение: «CVE-Bench (оцениваемое подмножество)».

• HumanEval+ — 93,9%.

• SWE-bench Pro V2 — 76,5 %, самый низкий из четырёх и единственный в наборе показатель, относящийся к программной инженерии, а не к безопасности.

Каждая из этих пяти строк в обоих поколениях — четыре здешние и строка CyberGym в Zero 1.0 — была создана нами, и каждая строка это подтверждает: четыре новые содержат source: "orca", более старая — source: "orcarouter". Ни на одной из страниц нет строки от третьих лиц, и нет ни одной строки, дата оценки которой была бы иной, чем день запуска этого поколения. Это важно до того, как какие-либо из этих процентов будут где-либо процитированы, потому что список бенчмарка без столбца с источником читается так, будто числа пришли откуда-то из нейтрального источника. Но эти — нет.

Что содержал пост о запуске и что в нём опустили

Само объявление короткое. Продажу делает его карточка-ссылка: «Drop-in API OrcaCyber Zero 1.5 для любого OpenAI SDK — $3,00 / $7,50 за 1 млн токенов, p50 2947 мс через OrcaRouter. Нулевая наценка. Нулевая миграция. Один API.»

Эти 2947 мс — не то число, которое указано на странице модели сегодня. На странице указан p50 — 3220 мс. Оба значения наши, оба честные, и разрыв между ними — причина, по которой существует следующий раздел: для этой модели в обращении циркулирует больше цифр задержки, чем стоит за ними измерений.

Три показателя задержки для одной модели

• 2947 мс p50 — в карточке ссылки в посте о запуске.

• 3220 мс p50, 9656 мс p95 — на странице модели, агрегировано за дни, которые сейчас входят в её окно.

• 500 мс p50, 2,36 с p95 — согласно одной публикации, это время до первого токена за семь дней, измеренное на выборке, которую она описывает как небольшую, — порядка 1,3 тыс. токенов трафика.

Это три разные величины, измеренные в три разных момента времени на трёх разных объёмах. Показатель на карточке — это снимок. Показатель на странице — это скользящий агрегат, который меняется ежедневно. Третий — это время до первого токена (time-to-first-token): задержка перед появлением первого токена, а не время, затраченное на завершение ответа, — гораздо более дружелюбная метрика, и совсем не то же самое. Процитируйте любую из этих трёх без её уточнения — и вы придумали четвёртую.

Три дня данных под семидневной меткой

Обе страницы помечают свой блок задержки window_days: 7, и обе называют один и тот же источник: orcarouter-playground, нашу собственную измерительную установку, а не заявление вендора. Но у Zero 1.5 daily содержит три записи — 10, 11 и 12 октября, — тогда как у Zero 1.0 их семь. Ярлык «семь дней» на трёхдневной выборке — не ложь; это окно, которое ещё не заполнилось, и всё, что идёт дальше по цепочке, наследует более тонкую основу.

• p50 — 3220 мс сейчас, против 3691 мс у Zero 1.0. Совокупный показатель Zero 1.0 опирается примерно на вдвое больший объём трафика: 6,16 млрд токенов за семь дней против 3,52 млрд за три.

• Пропускная способность вывода — 75,69 токенов в секунду против 43,75. Самое крупное единичное изменение во всём диффе и то, которое с наибольшей вероятностью будет ощутимо в агентном цикле, совершающем десятки вызовов за одно исследование.

• Уровень ошибок — 0,13% против 1,20%, почти на порядок лучше.

• Uptime — значения нет. percent_24h показывает 0, а блок содержит has_data: false, что означает, что процент никогда не вычислялся, а не что сервис был недоступен. Оба поколения здесь одинаковы, поэтому из этого различия нельзя сделать никаких выводов.

То, что добавляют ежедневные массивы, — это направление, и эти два указывают в противоположные стороны:

• Zero 1.0, семь дней — 3663, 4614, 3408, 3729, 3791, 2152, 1946 мс. Два лучших дня — это два самых последних.

• Zero 1.5, три дня — 2965, 3289, 3416 мс. Худший день — самый последний, и его p95 уже достиг потолка в 10000 мс.

Три точки данных — это не тенденция, а неделя запуска — худшая из возможных выборок для обобщения: трафик нерепрезентативен, модель используют все, кому только что выдали доступ, а кэши холодные. Честное прочтение панели в её нынешнем виде таково: Zero 1.5 быстрее Zero 1.0 в совокупности и медленнее в каждый день с момента запуска. Вторую половину этого предложения было бы несправедливо говорить через семь дней, а через три она недостаточно обоснована. Следите за показателем; не действуйте на его основе.

100% на Cybench — это 100% чего?

Четыре процентных показателя, четыре разных уточнения — и именно в этих уточнениях и заключён смысл.

• Cybench — в строке указано «неограниченное выполнение агентом», которое описывает, как была настроена оценка, а не то, что разрешено делать платному аккаунту. Этот бенчмарк построен вокруг профессиональных задач в формате capture-the-flag, и в одном разборе 100% трактуются как 39 из 40 содержащихся в нём задач. Завершение задачи CTF — это тоже достижение иного рода, чем обнаружение уязвимости, для которой никто не опубликовал решение.

• CVE-Bench — в строке указано «оцениваемое подмножество», а в посте о запуске приводится знаменатель: 23 из 24. Бенчмарк построен на наборе веб-CVE критической степени серьёзности, поэтому оценка по подмножеству меняется при изменении исключённых задач, а критерии исключения не публикуются.

• SWE-bench Pro V2 — 76,5%, и этот результат заведомо несопоставим с другими вариантами SWE-bench. Это различие исчезает в тот самый момент, когда число ставят рядом с обычным результатом SWE-bench, — а именно это с ним обычно и происходит.

• HumanEval+ — 93,9%, и единственная строка без необычного уточнения.

98% принадлежат тестовому стенду, а не модели

Цифра, которую вероятнее всего будут цитировать рядом с Zero 1.5, — это 98,07%, и она принадлежит не Zero 1.5. Это результат Zero 1.0 на CyberGym Level 1, и на собственной странице Zero 1.0 эта модель описывается как "модель передового уровня в OrcaCyber Harness" — то есть сообщаемый показатель является свойством стенда: модели вместе с её памятью, этапами верификации и средой исполнения, а не самой модели как таковой. Читайте две таблицы бенчмарков как одну последовательность — и вы придёте к выводу, что 98,07 стало 100. Это два разных бенчмарка, запущенных двумя разными конфигурациями двух разных поколений.

Есть ещё одно, менее значительное расхождение, о котором стоит упомянуть, раз уж мы об этом заговорили. В одной публикации результат CyberGym указан как 1 477 из 1 507 задач и 98,01%; на нашей странице — 1 478 из 1 507 и 98,07%. Обе дроби внутренне согласованы, и третий десятичный знак мы здесь пока не сверили. Считайте это нерешённым, а не выбирайте вариант, который лучше читается.

Цена удержалась, и это самое интересное.

• $3.00 / $7.50 / $0.75 за 1 млн токенов, без изменений в этом релизе.

• **Что касается цен OrcaRouter, цена провайдера по прайс-листу передаётся без каких-либо надбавок** — 0% наценки. Поэтому изменение цены поставщиком доходит до нас в тот же день, а не после цикла пересмотра цен, а единая конечная точка с одним ключом и одним счётом — это место, где сверяются расходы по нескольким моделям.

• Цена токена — сильнейший коммерческий аргумент запуска, противостоящий тому, что, по сообщениям, взимают сопоставимые модели безопасности с ограниченным доступом, — на порядок больше, как минимум в одном случае, за модель, у которой вообще нет опубликованной цены токена.

• Единица, определяющая покупку, — не токен. Расследование в сфере безопасности включает десятки вызовов модели, повторное чтение одного и того же репозитория, обращения к внешним инструментам и пересмотр выводов, прежде чем находка будет принята, поэтому кэшированный ввод по цене в четверть от тарифа за ввод значит здесь больше, чем в чат-нагрузке. Покупателю следует измерять стоимость в расчёте на подтверждённую находку, а это число не публикует ни одна из страниц моделей.

Ворота тоже не изменились

Доступ по-прежнему осуществляется через уровень Security Research: уровень sec-uncensored, диапазон offensive, заблокировано: true. Опубликованный процесс требует согласия на взаимодействие, passkey и принятия условий, что является намеренным ограничением, а не ограничением по возможностям — воспроизведение уязвимостей и тестирование на проникновение — это одни и те же операции, независимо от того, согласилась ли цель с ними.

Одну фразу из материалов о запуске стоит повторить, потому что именно она переживёт запуск: ограничения на уровне модели и средства контроля доступа к API не заменяют авторизацию на уровне приложения. Агент безопасности не должен наследовать разрешение изменять системы, читать производственные данные или выполнять чувствительные операции лишь потому, что лежащая в его основе модель способна рассуждать об этих операциях. Уровень решает, кто может держать ключ. Он не решает, к чему этот ключ может иметь доступ.

Чего всё ещё не хватает, в том числе и на нашей собственной странице

• У Zero 1.5 нет слогана, нет обзора и нет примеров использования.Все три поля заполнены у Zero 1.0 — полноценный слоган, обзор, в котором названы harness и показатель CyberGym, и четыре проработанных примера использования. Страница преемника содержит более длинныйlong_description (791 символ против 626), и это весь текст, который начинается с буквального заголовка "Оценки, заявленные вендором:". В той мере, в какой страница описывает себя, она описывает собственные цифры.

• Ни количества параметров, ни архитектуры, ни состава обучающих данных — верно для обоих поколений, и причина, по которой два процентных показателя из двух бенчмарков нельзя отнести к модели, а не к скаффолду.

• Нет технического отчёта для 1.5.У Zero 1.0 он был — именно там объяснялась рамка его харнесса.

• Ни одна цифра ни на одной из страниц не была независимо воспроизведена.

• Ноль упоминаний. Блок тональности Hacker News показывает mentions_7d: 0 и mentions_prev_7d: 0 для обеих моделей. Для передового релиза в области безопасности это само по себе сигнал, и он указывает на шлюз доступа, а не на модель: модель, которую большинство людей не может вызвать, не обсуждается.

Кому следует двигаться, а кому — ждать

Если у вас уже есть доступ Security Research и вы используете Zero 1.0, то нечего пересогласовывать и не нужно планировать миграцию: тот же эндпоинт, та же цена, та же структура запроса, так что переход — это просто смена одного идентификатора модели. Измеренные улучшения пропускной способности и частоты ошибок — это причина попробовать, и они получены на нашем собственном измерительном стенде, а не в результате бенчмарка, проведённого командой самой модели, а значит, вы можете проверить их на своём собственном трафике, вместо того чтобы верить им на слово.

Если у вас нет этого уровня, этот релиз не меняет вашу позицию ни на один токен — порог доступа, цена и контекстное окно остаются ровно там же, где и были.

Дождаться нужно панели задержки. Zero 1.5 быстрее своего предшественника по данным за три дня и медленнее в каждый из этих трёх дней подряд, а семидневное окно, которое позволило бы установить, какой из этих двух фактов верен, ещё не закрылось. Перечитайте страницу на следующей неделе. Если ежедневный p50 всё ещё растёт выше 3416 мс, значит, именно агрегированное число на карточке было неверным.