SWE-2 Flash против Flint v1.0: одна честная строка бенчмарка и много шума

Две небольшие по числу активных параметров модели для программирования на основе смеси экспертов, выпущенные с разницей в пятнадцать дней, обе заявляют об одном и том же уровне производительности при лишь доле стоимости флагманской модели. SWE-2 Flash от Cognition, выпущенная 4 ноября 2026 года, имеет 276 млрд параметров всего при 12 млрд активных. Flint v1.0 от Recursive, выпущенная 21 октября 2026 года, — 39,8 млрд всего при примерно 2,5 млрд активных. Это одна и та же архитектурная ставка в очень разных масштабах — и честный способ сравнить их — сразу признать, что их опубликованные таблицы пересекаются ровно в одной строке.

Эта строка — Terminal-Bench 2.1: 89,2 у SWE-2 Flash против 54,9 у Flint v1.0. Это разрыв в 34 пункта, это самый сильный показатель, который в этом противостоянии выдала какая-либо из компаний, и к нему прилагаются две оговорки, достаточно существенные, чтобы изменить его восприятие. Всё остальное, что вам, возможно, захочется сравнить, — это либо другая версия бенчмарка, либо другое подмножество того же бенчмарка.

Та же ставка, противоположная лицензия

Общий тезис таков: стоимость инференса определяется активными, а не общими параметрами, поэтому можно построить большую разреженную модель и платить только за ту часть, которая срабатывает. Flint задействует 6 из 256 маршрутизируемых экспертов плюс общий эксперт на каждый токен, по всем 49 слоям, 35 из которых используют скользящее окно размером 513 токенов, а 14 — полное внимание. SWE-2 Flash наследует эту структуру от своей базы Inkling-Small: 276 млрд общих параметров, 12 млрд активных; модель прошла постобучение, включавшее этап промежуточного обучения, который Cognition раньше не использовала.

Разница, которая важнее любой детали архитектуры, заключается в том, что вам разрешено делать с выходными данными:

• Веса — Flint v1.0 распространяется под лицензией Apache 2.0 на Hugging Face в форматах BF16, FP8 и квантованных версиях. SWE-2 Flash полностью не раскрывается; обещана программа обмена с партнёрами, но её условия пока не уточнены.

• Распространение — Flint работает под управлением llama.cpp, Ollama, LM Studio, vLLM и SGLang на принадлежащем вам оборудовании. SWE-2 Flash работает внутри Devin Desktop и Devin CLI и нигде больше.

• Цена — предельные затраты Flint — это ваш GPU. SWE-2 Flash бесплатен до 30 ноября 2026 года, а после этой даты опубликованного тарифа за токен нет.

• Контекст — Flint публикует 262,144 токена, с возможностью настройки примерно до 512K. SWE-2 Flash не публикует ничего.

Это не маленькая разница в позиционировании. Одно — это артефакт, который можно изучить, квантовать, дообучить и запустить на ноутбуке. Другое — продукт с бесплатным месяцем.

Единственная строка, которую вы можете сравнить

Terminal-Bench 2.1 — единственный бенчмарк, по которому обе компании приводят число для одной и той же версии. Результат Flint 54,9 был получен через Terminus 2, при этом pass@1 усреднён как минимум по пяти попыткам. Результат SWE-2 Flash 89,2 был получен на испытательном стенде, который Cognition не называет, при нераскрытой настройке уровня усилий, из анонсирующего поста, в котором отсутствует приложение с методологией, имевшееся у его сентябрьского предшественника.

Итак, разрыв в 34 пункта реален в том смысле, что оба числа были получены на одном и том же наборе задач, и нестрог в том смысле, что одна сторона рассказала, как к нему пришла, а другая — нет. Модель, оценённая внутри совместно спроектированного агентного каркаса — а именно таким и является Devin, — как правило, обойдёт ту же модель, оценённую через универсальный харнесс. Число Flint — консервативное именно потому, что Recursive опубликовала метод.

Если хотите одно предложение: в единственной общей строке SWE-2 Flash намного впереди, и ни одна из компаний не дала независимой стороне возможности проверить.

Две оценки Pro, которые выглядят одинаково, но таковыми не являются

Вот в чём ловушка этого противостояния, и ради неё стоит не торопиться. Recursive сообщает, что Flint v1.0 набирает 89,7 на SWE-bench Pro v2. Cognition сообщает, что SWE-2 Flash набирает 89,9 на SWE-Bench Pro v2 Hard. Два числа с разницей в 0,2 балла, стоящие рядом друг с другом в любой агрегации, которую вы найдёте.

Это не одно и то же измерение. «Hard» — это подмножество, отфильтрованный срез набора задач, а не весь набор. Цифра Flint относится к полному прогону Pro v2 под mini-swe-agent, причём решения, найденные в интернете, засчитываются как неудачи — это более строгая методика оценки, чем принимают большинство вендоров. Ставить 89.9 рядом с 89.7 и называть это ничьей — как раз тот тип сравнения, который порождает уверенные, но неверные выводы.

Та же осторожность применима к строке, которую не содержит ни одна из таблиц. Flint сообщает SWE-bench Verified на уровне 74.2. SWE-2 Flash вообще не сообщает Verified — вместо этого он сообщает Pro v2 Hard, DeepSWE 1.1 и SWE-Atlas QA. Таким образом, бенчмарк, по которому у большинства команд есть интуитивное понимание, недоступен для более новой модели, что превращает «Flint отстаёт по SWE-bench» в необоснованное утверждение, а не в вывод.

Контекст — это спецификация, которая решает.

Для агентного программирования контекстное окно — не второстепенная деталь: оно определяет, может ли модель удержать релевантную часть репозитория за один шаг планирования или же эту часть приходится подавать ей по частям. Flint заявляет 262 144 токена. SWE-2 Flash не заявляет ничего, и за три дня освещения ни одно издание этого не установило.

Контекст Flint имеет свою оговорку. Измерения сообщества показывают, что пропускная способность обваливается на длинном контексте — примерно 110 токенов в секунду при коротких промптах, снижаясь до 9 токенов в секунду ближе к 115 000 токенов. Окно в 262K, работающее на 9 ток/с, — это окно, которое используешь осознанно, для одного крупного чтения, а не оставляешь открытым на протяжении долгой сессии. Квантование смягчает вычислительные затраты, но не эту кривую.

Неопубликованное окно SWE-2 Flash — более существенная неизвестность, потому что Devin — продукт для длительных сессий. Если вы выбираете между ними, исходя из предположения, что закрытая модель лучше работает с более крупными репозиториями, то вы делаете выбор на основе числа, которое никто не публиковал.

Скорость, которую можно проверить, против скорости, которую проверить нельзя

Cognition утверждает, что SWE-2 Flash выдаёт около 200 токенов в секунду против 60 у SWE-2. Эта цифра получена при воспроизведении сокращённых стенограмм сессий на симулированных скоростях, а не при замере времени работы реального эндпоинта. Это демонстрация, а не измерение, и сейчас у любого, кто находится за пределами Cognition, нет способа это проверить.

Заявления Flint о пропускной способности в сравнении скромнее и гораздо легче поддаются опровержению: примерно от 125 до 131 токена в секунду на M4 Pro MacBook Pro, выше 150 на RTX Spark с 64 ГБ. Эти показатели были измерены на оборудовании, которое можно купить, людьми, опубликовавшими конфигурацию. Сообщается, что квантованная сборка NVFP4 отстаёт от BF16 примерно на 0,7 пункта в бенчмарках, а это как раз тот тип заявления, который сообщество может и будет проверять.

Один реальный недостаток, о котором стоит знать: в варианте GGUF в llama.cpp была ошибка с шаблоном чата, а у модели гораздо более скромный опыт использования сообществом по сравнению с чем угодно от крупной лаборатории. Ранние пользователи сейчас занимаются отладкой.

Во что вам на самом деле обходится каждый вариант

Flint v1.0 можно скачать бесплатно, и он обходится ровно в столько, во сколько обходится ваш инференс. Модель с 39,8 млрд параметров при 2,5 млрд активных будет работать на ноутбуке с хорошими характеристиками с приемлемой скоростью — в этом и заключается весь смысл архитектуры. Цена внедрения — операционная: вы сами отвечаете за стек обслуживания, выбор квантования и режимы отказов.

SWE-2 Flash ничего не стоит до 30 ноября 2026 года, а затем будет стоить неизвестную сумму, потому что Cognition опубликовала соотношение — одну пятую цены SWE-2 — а не тариф. Если процесс планирования в вашей команде требует числа, которое можно вписать в таблицу, именно это является блокирующей проблемой, а не разрыв в результатах бенчмарков.

Ни одной из этих моделей сегодня нет в каталоге OrcaRouter, и мы не собираемся утверждать обратное. В этом сравнении полезно не маршрутизировать между этими двумя, а провести бенчмаркинг поля вокруг них: за одним ключом OrcaRouter доступно более 200 моделей при наценке 0% к прайс-листу провайдера, что превращает запуск одной и той же задачи из репозитория через десяток кандидатов в изменение одной строки. Когда вы выбираете между двумя моделями, где одна сторона опубликовала свою тестовую обвязку, а другая — нет, ваша собственная оценка ценнее, чем таблица любого из вендоров.

Кто должен выбирать

Выбирайте Flint v1.0, если вам нужны веса. Если ваше ограничение — резидентность данных, работа в офлайн-режиме, дообучение или стоимость за токен, не зависящая от ценового решения другой компании, то отставание на 34 пункта в Terminal-Bench — это цена, которую вы вполне можете быть готовы заплатить; а контекст 262K и опубликованный harness Flint дают вам модель, о которой можно рассуждать, а не чёрный ящик.

Выбирайте SWE-2 Flash, если вы уже работаете в Devin и бесплатного окна достаточно, чтобы ответить на ваш вопрос. Это более эффективная модель по единственному показателю, который измеряли обе компании, причём с большим отрывом, и попробовать её ничего не стоит до конца ноября.

Чего никому не стоит делать, так это выбирать любой из них, опираясь на цифры SWE-bench Pro. 89,7 и 89,9 — это не один и тот же тест, и разница между ними меньше, чем разница между любым из этих чисел и тем, что реально выдаст ваш репозиторий.