Clef-Flash против Qwen3-8B: 38 миллисекунд против 8B, который уже используют все

Есть конкретная, неблагодарная работа, которую многие команды поручают Qwen3-8B: прочитать эту заявку, эту строку лога, эту форму и сказать мне, в какую из моих четырёх корзин она попадает. Это задача классификации, замаскированная под разговор, и Qwen3-8B настолько хорош в ней, что никто не удосужился заменить его. 30 сентября 2026 года Cloudflare опубликовала веса для Cloudflare/clef-flash — 9B-модели, созданной выполнять эту одну задачу и ничего больше, и интересный вопрос не в том, умнее ли она Qwen3-8B. А в том, стоит ли вообще платить сгенерированными токенами за то, что вы сейчас получаете от 8B-универсала.

Clef-Flash отвечает на этот вопрос структурой, а не бенчмарком. Он принимает состояние и схему из до 64 типизированных вопросов и возвращает логит для каждого допустимого варианта за один неавторегрессионный проход — без промежуточного текста, без парсинга, без вывода, кроме вероятностей. Cloudflare измерила для него медианную задержку запроса в 38,8 мс против примерно 500 мс для Jev, модели принятия решений от TypeSafe, с которой его сравнивали в бенчмарке. Qwen3-8B нет в этой таблице, потому что Qwen3-8B играет не в эту игру: он пишет ответ, а вы его читаете.

Эта пара заслуживает полноценного сравнения, а не страницы со строками характеристик, по той причине, что у двух моделей нет ни одного общего бенчмарка. Каждый показатель Clef-Flash, который сейчас в ходу, был получен Cloudflare на основе индекса, опубликованного конкурентом, и никто за пределами Cloudflare не воспроизвёл ничего из этого. За Qwen3-8B — три поколения независимого использования и публичная история, с которой можно поспорить. Именно эта асимметрия, а не разрыв в задержке, должна определять, стоит ли вам совершать замену.

Два контракта вывода, а не два размера

Числа параметров здесь достаточно близки, чтобы это лишь отвлекало: 9 млрд у Clef-Flash против 8,2 млрд у Qwen3-8B, из них 6,95 млрд — не эмбеддинги. Значение имеет другое: что каждой модели разрешено выдавать.

Qwen3-8B — каузальная языковая модель. Дайте ей тикет в поддержку, и она выдаёт токены, а по умолчанию сначала создаёт блок рассуждений, потому что режим мышления включён, если его не отключить. Она умеет классифицировать, объяснять, эскалировать, составлять черновик ответа или сообщать, что в вашей таксономии отсутствует случай, — и всё это на одних и тех же весах, без необходимости задавать схему. В её карточке заявлены 36 слоёв, групповое внимание запросов с 32 головами запросов на 8 голов KV, более 100 языков и длина контекста 32 768 токенов нативно, расширяемая до 131 072 с помощью YaRN. Это модель, к которой чаще всего обращаются команды, потому что это модель, которая умеет всё.

Clef-Flash — это результат постобучения, а не собеседник. Cloudflare заморозила основу Qwen3.5-9B — включая её визуальный энкодер — и обучила поверх неё объединённую голову схемы: 243,5 МБ весов головы против четырёх шардированных файлов основы, которые в сумме дают около 18,8 ГБ. Голова считывает финальные скрытые состояния основы, маршрутизирует доказательства из состояния к каждому вопросу и оценивает все варианты ответов всех вопросов вместе. Ограничения — это и есть фича. Cloudflare ограничивает её так, чтобы она выдавала только вероятности, поэтому базовая модель присутствует в её происхождении, но никогда — в её выводе.

Обратите внимание, чья это линия происхождения. Clef-Flash происходит от Qwen3.5-9B — поколения, следующего за линией Qwen3, к которой относится Qwen3-8B. Так что это не та история дообучения собственной базовой модели, которую обычно получает 9B-производная, — это другая ветвь того же семейного дерева, переобученная под другой контракт.

Одна и та же задача, запущенная двумя способами

Обе модели могут маршрутизировать заявку в службу поддержки. Они ошибаются по-разному, и именно режимы отказов определяют, во что обходится миграция.

С Qwen3-8B вся работа сосредоточена в промпте и парсере. Вы описываете свои категории, просите вернуть одну из них, а затем обрабатываете случай, когда модель отвечает: «это похоже на биллинг, хотя, возможно, это технический вопрос» — настоящий ответ на реальную неоднозначность, которую ваш код последующей обработки не может использовать. В руководстве самой карточки прямо указано, что для работы над эффективностью режим мышления следует отключать, что жадное декодирование ухудшает вывод, а также что при включённом режиме мышления не следует переносить блок рассуждений дальше в историю многоходового диалога. Каждая из этих инструкций — это решение, которое навязывает вам модель общего назначения.

С Clef-Flash работа переходит к схеме. Вы объявляете от двух до 26 вариантов ответа на вопрос для вопроса типа выбор, или от двух до 26 уровней для вопроса типа оценка, и на выходе получаете выбранный вариант, вероятность для каждого варианта и значение уверенности. Три детали в этом контракте стоят больше, чем цифра задержки из заголовка. Во-первых, уверенность — это не правильность: в документации Cloudflare прямо сказано, что она измеряет, насколько сконцентрированы вероятности, а не вероятность того, что ответ верен. Во-вторых, при равенстве решение принимается в порядке объявленных вами вариантов, так что если два варианта действительно пересекаются, вы молча приняли решение, задав порядок списка. В-третьих, и это кусает больнее всего, варианта «ничего из перечисленного» нет, если вы сами его не прописали. Модель принятия решений оценивает только те варианты, которые ей дали; тикет о запросе на приватность, которому передали схему из billing, technical и sales, вернётся как наименее плохой из этих трёх, а не как отказ.

Последний пункт обоюдоострый, и в этом честная суть данного сравнения. Qwen3-8B скажет вам, что ваша таксономия сломана. Clef-Flash — нет, а в пайплайне это настоящая регрессия — та, которую обнаруживаешь месяц спустя в неправильно направленной очереди. Компромисс реальный: реальная задержка и реальная детерминированность против модели, способной выявить вопрос, который вам не пришло в голову задать.

Что числа говорят и о чём молчат

Опубликованные результаты Clef-Flash основаны на прогоне Cloudflare набора тестов Jev Decision Index 0.2.1, и тот же прогон лёг в основу поста в блоге вендора. Сильные показатели стоит привести точно: BFCL case-exact 98.8, точность API-Bank 93.1, симулятор бытовой техники на 97.7, макро-F1 ContractNLI 84.3, выбранное качество RouterBench 79.9. На четырёх сквозных бизнес-процессах в собственном наборе оценки TypeSafe Clef-Flash занимает первое место в обслуживании клиентов с 77.0 против 76.0 у Jev и 76.3 у более крупной 27B Clef, и проигрывает в обработке счетов с 57.1 против 61.8 у Jev и 64.7 у Clef.

Слабые ячейки так же информативны, как и сильные. CLINC150 с обработкой выхода за пределы области даёт Clef-Flash 66,8 macro-F1 против 97,4 у 27B Clef и 89,3 у Jev — обрыв в тридцать пунктов ровно на той форме бенчмарка, которая проверяет, умеет ли модель воздерживаться от ответа. When2Call — 65,6 против 81,0 у Jev. GPQA Diamond — 51,0 против 78,3. POP909-CL оказывается на 1,6 — числе, которое карточка не объясняет.

Теперь та часть, о которой таблицы вам не расскажут: У Qwen3-8B нет строки ни в одной из них. Ни одна из моделей не оценивалась по бенчмаркам другой. Собственные показатели Clef-Flash — MMLU 91,8 и GSM8K 67,3 — были получены с помощью его стенда для типизированных решений, а это не тот стенд, на котором Qwen сообщала свои числа, и сравнение этих двух было бы категориальной ошибкой, замаскированной под сравнение. Так что честная позиция такова: общего табло не существует, и эта статья не будет его выдумывать. Что существует — это разрыв в задержке, который поставщик измерил на своей собственной инфраструктуре, структурно иная структура затрат и набор ячеек Decision Index, которые никто за пределами Cloudflare не воспроизвёл.

Во что обходится одно решение

В документации Cloudflare по Workers AI указано, что Clef-Flash стоит $0,09 за миллион входных токенов, а за вывод плата не взимается, потому что вывода фактически нет — разобранный в документации пример возвращает три выходных токена на запрос из трёх вопросов. Поэтому решение о маршрутизации для тикета размером 1500 токенов стоит около $0,000135 на входные данные и ничего измеримого после этого. Если запускать миллион таких в день, вы получите примерно $135 в день, и эта цифра не меняется, когда тикет становится сложнее, а только когда он становится длиннее.

У авторегрессионной модели такого потолка нет. Каждое из этих миллионов решений также тарифицирует сгенерированные токены, а если режим размышления включён — а для Qwen3-8B он включён по умолчанию — модель может потратить сотни токенов на рассуждения о том, к какой из четырёх категорий относится письмо о сбросе пароля, прежде чем дать ответ. Отключить размышление с помощью enable_thinking=False или тега /no_think — это самая результативная строка в любом классификационном промпте, построенном на этой модели, и её легко упустить. Сравнение идёт не между «дешёвой моделью» и «дорогой моделью»; это фиксированная цена только за вход против цены, которая растёт в зависимости от того, сколько модель решит сказать.

Контекст, три числа с трёх вендорских поверхностей

Практически доступный контекст Clef-Flash зависит от того, к какому интерфейсу Cloudflare вы обращаетесь. На странице модели Workers AI задокументировано окно контекста в 65 536 токенов. В выпущенном config.json объявлено max_position_embeddings, равное 262 144 для текстовой башни. Собственный вспомогательный модуль кодирования из карточки по умолчанию использует max_length=16,384, при этом max_state_tokens доступен для отдельного ограничения состояния. Сторонний список сред выполнения, где заявлено 256K, читает значение из конфига, а не предел обслуживания, — это объясняет расхождение, а не оставляет его загадкой, но практическое число для всех, кто вызывает размещённую конечную точку, — 65 536.

Числа Qwen3-8B — это его собственные числа, и они остаются неизменными уже полтора года: 32 768 нативно, 131 072 с включённым YaRN и значение по умолчанию в конфигурации 40 960, которое резервирует 32 768 для вывода и 8 192 для промптов. Так что если сырое окно является для вас решающим фактором, небольшую авторегрессионную модель можно расширить примерно до вдвое большего значения, чем указано в документации для хостируемой модели принятия решений, — при этом модели принятия решений требуется гораздо меньше, потому что вы отправляете состояние, а не разговор.

Кому следует обмениваться, а кому — нет

• Swap — у вас фиксированная таксономия, от трёх до 26 пунктов назначения, и очередь поддержки, этап триажа или шлюз агента, где медиана 38,8 мс и p95 122,4 мс против половины секунды генерации меняют то, что может делать ваш пайплайн.

• Swap — вы сейчас извлекаете прозу из 8B и разбираетесь с одним из пятидесяти ответов, который не вписался в ваш формат. Распределение по объявленным вариантам полностью устраняет этот класс отказов.

• Не меняйте местами — набор ответов заранее неизвестен, или вам нужно, чтобы модель сообщила, что не знает. У Clef-Flash нет пути воздержания, если только вы не встроите его в критерии, а самая слабая опубликованная ячейка у Clef-Flash — это как раз случай вне области применения.

• Не заменяйте: рабочая нагрузка — это рассуждения, извлечение из документов без ограничений, суммаризация или код. Clef-Flash не умеет писать предложения, поэтому всё, что находится ниже по потоку и ожидает предложения, продолжает использовать Qwen3-8B.

• Пока не переключайтесь — нужно, чтобы цифры проверил кто-то помимо поставщика. Независимой оценки Clef-Flash не существует, а набор тестов, с помощью которого были получены его оценки, опубликован поставщиком модели, которую он превосходит.

Где запускать каждый из них

Обе распространяются под Apache-2.0, так что обе вы можете разместить у себя самостоятельно, но их размеры несопоставимы. Qwen3-8B в bf16 занимает около 16 ГБ, а квантованные сборки гораздо меньше — сборка Q4 весит 5,2 ГБ в библиотеке Ollama, где qwen3:8bуказывает 38,7 млн загрузок и контекстное окно 40K. Clef-Flash требует весь 18,8-ГБ backbone плюс его 243,5-МБ head, а её страница в библиотеке Ollama появилась в течение нескольких дней после релиза, с квантованным тегом на 11 ГБ и числом загрузок, всё ещё измеряемым сотнями; в таблице Ollama указано 256K из конфига, а не 65 536 из эндпоинта. Это соотношение загрузок — не приговор ни одной из моделей: одна страница существует уже восемнадцать месяцев, а другая — около дня, — но оно даёт честное представление о том, какой объём эксплуатационной истории стоит за каждой.

Если вам нужна версия с хостингом, Cloudflare запускает Clef-Flash на Workers AI по указанной выше цене $0,09 за миллион, а веса также можно скачать из Hub. Обе модели обращаются к Ollama /v1/systemone эндпоинту для Clef-Flash (Ollama 0.35.1 или новее) и стандартному пути generate для Qwen3 — так что замена — это изменение на стороне клиента, а не архитектурное.

Ни одна из этих моделей сейчас не является одним из наших маршрутов: публичный каталог OrcaRouter возвращает 404 и для clef-flash, и для Qwen3-8B, и ничто здесь не должно восприниматься как наше заявление о доступности. Что действительно меняет слой маршрутизации — так это генерационную половину пайплайна. Если модель принятия решений в итоге управляет вашим агентом, модель, которая действует по этому решению, всё равно должна быть доступна, и именно здесь один API для 200+ моделей за одним ключом API заслуживает своего места — цена провайдера по прайс-листу транслируется с наценкой 0%, так что снижение цены вендором отражается здесь в тот же день, а автоматический фейловер гарантирует, что неудачный день одного провайдера не обрушит путь, который вы только что перестроили. Линейка Qwen тоже продвинулась вперёд: Qwen3.8-27B маршрутизируется здесь по цене $0.40 за входные и $4.21 за выходные токены за миллион токенов с окном в 262 144 токена — это другая модель, не Qwen3-8B, и не её замена, но это то же семейство на одно поколение выше.

Что могло бы изменить это чтение?

Три вещи, по порядку.

Независимый запуск ячеек вне области применения. Разрыв между 97.7 у Clef-Flash на симуляции бытовой техники и его 66.8 на CLINC150+OOS не описывает равномерно компетентный классификатор; он описывает модель, которая сильна внутри форм, на которых она была обучена, и слаба, когда правильный ответ — «ни один из этих». Если это подтвердится в чужом испытательном стенде, это самый важный операционный факт о модели, и его нет ни в чьем списке ключевых моментов.

Измеренный показатель задержки извне пограничной сети Cloudflare. Медиана 38,8 мс впечатляет, и её измерил сам поставщик, на контролируемой им инфраструктуре, для модели, размещённой на периферии. Порядок относительно Jev, вероятно, устойчив; именно абсолютному числу доверять не стоит.

И общий бенчмарк. Пока кто-нибудь не оценит Clef-Flash и небольшую открытую LLM на одной и той же задаче классификации с одними и теми же метками, выбор между ними опирается на контракт вывода, структуру цены и на то, на чьи доказательства вы готовы действовать. Этих трёх достаточно, чтобы сегодня определить судьбу многих пайплайнов, — но это не сравнение точности, и эта статья не будет делать вид, что это так.