SWE-2 Flash против North Mini Code: бенчмарк внутри бенчмарка

Вот неудобное сопоставление. SWE-2 Flash — это посттренировочная модель с 276 млрд параметров, выпущенная 4 ноября 2026 года, с восемью строками бенчмарков и без какой-либо возможности её вызвать. North Mini Code — это модель Cohere с 30 млрд параметров, выпущенная в июне 2026 года под Apache 2.0, чья таблица бенчмарков пересекается с SWE-2 Flash ровно по нулю строк — и при этом имеет независимую оценку, которой у SWE-2 Flash нет вообще. На бумаге более новая и крупная модель выигрывает во всём. По фактическим данным, более старая и маленькая — единственная из двух, которую измерила третья сторона.

Эта инверсия — суть всей статьи, и она полезнее сравнения оценок, потому что сравнение оценок на самом деле невозможно провести.

Два MoE с противоположными бюджетами параметров

Обе — разреженные модели смеси экспертов, построенные вокруг одного и того же соображения о затратах: платить за активные параметры, а не за общее их число. Они находятся почти на противоположных концах диапазона.

• Общее количество параметров — SWE-2 Flash 276B против North Mini Code 30B

• Активных на токен — SWE-2 Flash 12B vs North Mini Code 3B

• Схема экспертов — SWE-2 Flash наследует структуру Inkling-Small; North Mini Code маршрутизирует к 8 из 128 экспертов

• Контекст — неопубликованная версия SWE-2 Flash против North Mini Code 256K, с максимальным объёмом вывода 64K

• Максимальный объём вывода — неопубликованный SWE-2 Flash против North Mini Code 64K

• Лицензия — SWE-2 Flash не раскрыта, в отличие от North Mini Code Apache 2.0 в BF16, FP8 и W4A16

Девятикратная разница в активных параметрах — это число, которое объясняет всё остальное. SWE-2 Flash может позволить себе быть более крупной и медленнее обучаемой моделью, которая дёшево работает на токен, потому что активируется только 12B её параметров. North Mini Code работает на доле от этого, поэтому Cohere может развернуть его на конфигурации класса ноутбука, и поэтому его потолок в бенчмарках ниже.

Почему нельзя поставить 89.2 рядом с 36.0

Сравнение, которое будет ходить, — это Terminal-Bench: SWE-2 Flash с 89,2, North Mini Code с 36,0. Разрыв в 53 пункта, из-за которого это было бы не статьёй. Это недопустимое вычитание — по причине, которую легко упустить.

North Mini Code сообщает о {{1}}"Terminal-Bench v2"{{/1}} на уровне 36.0 и о {{2}}"Terminal-Bench Hard"{{/2}} на уровне 31.1. SWE-2 Flash сообщает о {{3}}"Terminal-Bench 2.1"{{/3}} на уровне 89.2 и о {{4}}"Terminal-Bench 4.0"{{/4}} на уровне 20.0. {{5}}"v2" и "2.1" — это соседние обозначения для набора задач, который может быть одним и тем же, а может и не быть{{/5}}, и ни один из поставщиков не указывает количество задач, испытательный стенд или правила начисления баллов в сравниваемых материалах.

Внутренние данные показывают, что эти версии — разительно разные инструменты. Две собственные строки SWE-2 Flash в Terminal-Bench различаются на 69 баллов — 20,0 в 4.0 и 89,2 в 2.1. Когда одна модель получает 20 и 89 на двух бенчмарках с одинаковым названием и разными числами, версия и есть измерение. Сопоставлять результат 2.x с результатом v2 и называть разницу разрывом в возможностях — самая распространённая ошибка в этой области сравнений.

Другие строки выглядят общими, но таковыми не являются. North Mini Code указывает SWE-bench Pro на уровне 40,2; SWE-2 Flash указывает SWE-Bench Pro v2 Hard на уровне 89,9. Это разные поколения бенчмарка и отфильтрованное подмножество. North указывает SWE-bench Verified на уровне 67,6; SWE-2 Flash вообще не указывает Verified. North указывает SciCode 38,2 и LiveCodeBench v6 70,3; SWE-2 Flash не указывает ни того, ни другого.

Остаётся DeepSWE 1.1, где SWE-2 Flash сообщает 60.1, а North Mini Code не сообщает ничего.

Независимый номер есть только у одного из них.

North Mini Code имеет индекс интеллекта Artificial Analysis, равный 27,6, и индекс программирования 33,4. Это сторонние измерения по единой методологии, проведённые на модели, которую может скачать и повторно запустить любой желающий.

У SWE-2 Flash нет записи в Artificial Analysis, потому что Artificial Analysis измеряет модели через API, а у SWE-2 Flash нет API. Каждый показатель, относящийся к нему, — 60.1, 89.2, 20.0, 24.0 на FrontierCode 2.0 — принадлежит самой Cognition, получен на нераскрытом стенде, а FrontierCode — собственный бенчмарк Cognition. Ничто здесь не говорит о том, что эти числа неверны. Здесь говорится, что у читателя нет способа отличить реальную возможность от щедрого каркаса.

Для 30B-модели с открытыми весами, выпущенной в июне, AA Coding Index 33,4 — скромный результат: выше 25,9 у GLM-4.7-Flash, но ниже 35,2 у Qwen3.6 35B-A3B. Кроме того, это показатель, который можно проверить, а это ценнее строки от вендора, которую проверить нельзя.

Скорость и то, какое утверждение поддаётся проверке.

Cohere сообщает о примерно 199 выходных токенах в секунду в своём собственном API — примерно в 2,8 раза больше пропускной способности Devstral Small 2. Это измерение на обслуживаемом эндпоинте: запрос отправляется, токены возвращаются, и любой, у кого есть доступ, может это воспроизвести.

Cognition сообщает примерно о 200 токенах в секунду для SWE-2 Flash против 60 у SWE-2 — эти цифры получены при воспроизведении сокращённых стенограмм сессий с имитированными скоростями. Два числа различаются не более чем на один токен в секунду и означают совершенно разные вещи. Одно — измерение пропускной способности; другое — демонстрация того, как модель выглядела бы на такой скорости.

Это закономерность, наблюдаемая во всём сравнении. Более старая модель публикует менее впечатляющие утверждения, но прикладывает больше методики. Более новая модель публикует лучше выглядящие утверждения, но не прикладывает никакой.

В чём North Mini Code действительно слаб

Не всё говорит в пользу Cohere. North Mini Code — специалист по программированию и ведёт себя соответственно: он набирает 14% на GDPval-AA и 37% на τ²-Bench Telecom — обе оценки относятся к агентным задачам вне программирования, где универсальная модель показала бы гораздо лучший результат. Если вашему агенту нужно делать что-то помимо написания и тестирования кода — обрабатывать клиентский рабочий процесс, анализировать бизнес-процесс — North Mini Code — неподходящий инструмент, и более широкая база SWE-2 Flash, вероятно, будет лучшим выбором.

Его контекстное окно опубликовано и велико — 256 000 токенов при ограничении вывода в 64 000 токенов — хотя доступное на практике окно по-прежнему зависит от стека обслуживания. А 30B-модель с 3B активных имеет более низкий потолок, чем 276B-модель с 12B активных; никакая методологическая прозрачность этого не компенсирует.

Стоимость и аргументы в пользу слоя маршрутизации

North Mini Code можно бесплатно скачать на условиях Apache 2.0; также доступен платный хостинговый тариф в собственном API Cohere и доступ через несколько сторонних платформ. SWE-2 Flash бесплатен в Devin до 30 ноября 2026 года, а после этой даты цена не определена; при этом в обозримом будущем не появится его загружаемая версия.

Ни одна из них не входит в каталог OrcaRouter. Модель Cohere может развернуть у себя любой, у кого есть соответствующее оборудование, а у модели Cognition просто нет эндпоинта, куда можно было бы направлять запросы, — поэтому честная формулировка такова: это решение в любом случае принимается вне нашего каталога. Что действительно меняет слой маршрутизации — это цена ошибки. OrcaRouter передаёт прайс-листовую цену провайдера без наценки (0 %) и автоматически переключается при сбое, поэтому приложение, написанное под один ID модели, — это не приложение, написанное под безотказность одного вендора. Для пары, в которой одна сторона может быть переоценена 1 декабря, а другая может вообще никогда не стать доступной для вызова, именно эта переносимость и стоит инженерной проработки.

Как решить

Если вам нужна модель, которую вы можете сами запускать, изучать, квантовать и тестировать, North Mini Code — единственный вариант в этой паре, а его опубликованное контекстное окно и бюджет в 3B активных параметров делают её практичной на скромном оборудовании. Примите более низкий потолок возможностей и узкую специализацию на программировании.

Если вы работаете внутри Devin и важен бесплатный период, то SWE-2 Flash — заметно более сильная модель по своим собственным показателям, а стоимость того, чтобы попробовать её до 30 ноября, равна нулю.

Что делать не следует — так это ставить 89,2 рядом с 36,0 и делать из этого какие-либо выводы. Эти числа получены разными инструментами, о них сообщают разные компании, и относятся они к семейству бенчмарков, в котором номер версии и есть измерение. Единственное защитимое утверждение об этой паре — то, которое меньше всего похоже на вердикт: один из показателей был оценён независимо, а другой — нет, и это большее различие, чем любая строка в любой из двух таблиц.