d1-2B vs Liquid AI d1-omni-600M: когда решающим входом является звук

Поставьте перед этими двумя моделями голосовое сообщение и сфотографированный счёт — и ответить сможет только одна из них, причём не та, у которой выше оценка. d1-2B обрабатывает текст, JSON, изображения и видео и вообще не принимает аудио. Liquid AI d1-omni-600M обрабатывает текст с изображениями или текст с речью длительностью до 30 секунд и не принимает аудио и изображения в одном запросе. Эта единственная асимметрия определяет большинство реальных внедрений ещё до того, как кто-либо обратится к бенчмаркам. Тем не менее далее приведена честная версия сравнения: где модель 587M действительно конкурентоспособна, где модель 1.92B ещё далека от того, чтобы её можно было заменить, и тот самый паттерн пайплайна, который использует обе, не делая вид, что они являются альтернативами.

Решение — это вопрос модальности, а не вопрос баллов.

Модель принятия решений принимает состояние и набор именованных вопросов и возвращает вероятность для каждого ответа, без сгенерированных токенов. Состояние — это весь вход, а тип состояния является жёстким ограничением. В карточке d1-2B перечислены текст, JSON, изображения и видео. В карточке Liquid AI d1-omni-600M перечислены текст с изображениями или текст со звуком — и код обеспечивает исключение: передача одновременно изображения и аудиофрагмента в system_one вызывает ValueError.

Итак, первый вопрос — не о том, какая модель набирает больше баллов. А о том, поступает ли то, что вам нужно оценить, в виде пикселей, текста или звуковой волны. Если в виде звуковой волны, то в этой паре есть один ответ, а остальная часть этой страницы посвящена тому, какой точностью вы жертвуете, чтобы его получить.

Что на самом деле можно купить за 587M

600M — это не уменьшенная версия d1-2B. Это другая конструкция, и бюджет стоит увидеть в разбивке по статьям, потому что это объясняет и её сильные стороны, и её потолок.

• Параметры — всего 587M: общий ствол и голова принятия решений на 381M, визуальный энкодер на 94M и аудиоэнкодер на 112M. Каждая модальность проходит через одни и те же веса ствола.

• Base — LFM2.5-Encoder-350M, двунаправленный энкодер с визуальной башней SigLIP2, заимствованной из LFM2.5-VL-450M, и 17-слойным FastConformer для аудио.

• Контекст — 16 384 токена по позициям текста, изображений и аудио вместе, а также словарь на 65 536 токенов. Окно d1-2B — 128K.

• Аудио — до 30 секунд монофонической речи с частотой 16 кГц на запрос. В карточке прямо указано, что аудиочасть обучалась на запросах между носителем английского языка и ассистентом, а это узкое распределение для модели, которую люди будут применять к записям звонков.

• Правило медиа — изображения или аудио, но никогда и то и другое. Карточка документирует ValueError, а не оставляет вам обнаружить его самостоятельно.

• Лицензия — LFM Open License v1.0, та же пороговая структура, что и у d1-2B: коммерческое использование при годовом доходе менее $10,000,000.

• Скорость — не опубликовано. В карточке не приводятся данные о задержке; модель названа ранним исследовательским релизом, находящимся в активной разработке. d1-2B публикует 5,7 мс на H100 PCIe, 3,8 мс на MI325X и 18,6 мс на M5 Pro.

Таблица того же запуска и строки, где разрыв невелик

Обе модели фигурируют в таблице бенчмарка на карточке d1-2B, где четыре открытые модели d1 оцениваются на идентичных примерах с помощью одного и того же скорера. Это делает сравнение более чистым, чем большинство межкарточных сравнений, с одной оговоркой: собственная карточка d1-omni-600M сообщает 15,95 по Decision Index 0.2.1, тогда как эта таблица сообщает 18,3 для версии 0.3. Разница заключается в редакции индекса, и оба числа корректны для соответствующего теста.

• Decision Index public suite v0.3 — 51,1 для d1-2B против 18,3 для Liquid AI d1-omni-600M.

• DecisionBench (Hanno Labs) v1 — 77,1 против 58,7.

• Decision Bench (decisionbench.ai) v4 — 85,2 против 57,9.

• ImajevBench v2.0-lite — 75,5 против 21,7, самый широкий разрыв на стороне принятия решений между этими двумя.

• WorkflowEvals — 81,6 против 48,8.

• Средний показатель Vision, 18 бенчмарков — 70,2 против 42,8.

• VisualWebBench — 96.2 против 14.9: это не столько сравнение, сколько утверждение о том, какую нагрузку способен выдержать визуальный энкодер на 94M.

Затем строки, которые говорят в пользу сдержанности. Typed Decisions составляет 61,3 против 57,5 — разрыв в 3,8 пункта для модели с третью параметров. POPE, бенчмарк на галлюцинации объектов, составляет 88,7 против 82,7. JevBench составляет 77,9 против 58,0 — широкий разрыв, но DecisionBench v4 составляет 85,2 против 57,9, и вместе эти два результата говорят о том, что 600M демонстрирует неравномерные результаты, а не равномерную слабость. В собственном анонсе Liquid AI среднее по семи бенчмаркам указано на уровне 78,4, что высоко для 587M; в карточке d1-2B эквивалентное среднее не публикуется, поэтому эти две цифры не следует ставить рядом.

Единственное число, которое не льстит ни одной из моделей, — независимое. Эфраин Гарай запустил Liquid AI d1-omni-600M на выборке из 6000 запросов Decision Index 0.3 и получил 14,0 против собственных 14,17 поставщика на той же выборке — близкое воспроизведение. Он также обнаружил, что 1758 запросов превысили бюджет инструкций и опций модели и были отклонены, засчитаны как ошибки, что является реальной ценой окна в 16K в наборе, созданном для более длинных состояний.

Где 600M — единственный вариант

Аудиомаршрутизация — это тот сценарий, для которого создавалась модель, и примеры в карточке конкретны: маршрутизация звонков и голосовых сообщений, звуковые события, голосовые инструкции поверх текстового состояния. Ничего из этого d1-2B не обеспечивает ни с какой точностью, потому что у неё нет аудиокодера и аудиопозиций в схеме входных данных.

Две независимые точки данных должны охладить энтузиазм. Первая — приведённая выше оценка, где модель 600M получила AUC обнаружения выстрелов 0,580 и AUC прогноза дождя 0,593 на задачах с реальными данными: едва выше случайного уровня и хуже всех протестированных более крупных моделей. Вторая — практический обзор, который зафиксировал использование менее 2 ГБ видеопамяти и обнаружил, что модель классифицирует подачу и тон в аудио гораздо надёжнее, чем семантический смысл, а вопросы на умозаключения у неё близки к подбрасыванию монеты. Оба вывода указывают в одну сторону: это модель для скрининга. Она хорошо определяет, «что это за штука», но не заменяет модель, которая понимает, что было сказано.

Это не критика чекпоинта на 587M. Это то, что дают 587M, когда 381M из них — общий ствол. Причина использовать его — стоимость и занимаемый объём: менее 2 ГБ видеопамяти, репозиторий GGUF с 6 октября, сборки MLX с 12 октября и решение за один прямой проход, а не точность.

Каскад, использующий оба.

Ошибка — считать их конкурентами. Это две стадии одного и того же фильтра, и естественный конвейер сначала запускает дешёвую модель.

Этап первый: Liquid AI d1-omni-600M принимает входящий элемент — голосовую заметку, звонок в службу поддержки, письменную жалобу с вложением — и отвечает на общие вопросы. Это проблема с оплатой или техническая? Злится ли звонящий? Содержит ли это сообщение вообще какую-либо просьбу? При размере менее 2 ГБ и одном проходе это достаточно дёшево, чтобы запускать на каждом элементе.

Второй этап: всё, что 600M размещает ближе к середине своей шкалы, или всё, что поступает с изображением, которое нужно прочитать, передаётся на d1-2B. Модель 2B получает окно в 128K, видеовход и примерно втрое превышает средний показатель по зрению, при этом она видит только ту долю трафика, которую не удалось обработать на первом этапе.

Пороги — это и есть работа. Обе карточки возвращают вероятности, и обе говорят калибровать на собственных данных — карточка d1-2B прямо так и говорит. Каскад с некалиброванной средней полосой либо эскалирует всё, и тогда 600M был украшением, либо не эскалирует ничего, и тогда 2B никогда не исправит этап, который не умеет читать.

В большинстве реальных систем есть третий этап: модель, которая пишет ответ. Именно здесь в игру вступает размещённый API, и здесь актуален OrcaRouter. Ни одна из моделей Liquid AI не обслуживается нами, поэтому узлы принятия решений остаются на вашем собственном GPU; генеративный шаг, который использует их метки, может выполняться через один ключ, совместимый с OpenAI, охватывающий более 200 моделей, с 0% наценки к прайс-листам провайдеров и автоматическим переключением при сбое, если провайдер выпадает посреди трафика. DSL маршрутизации также является честным способом выразить сам каскад — две модели принятия решений как шаги на стороне GPU, генерация ответа как размещённый шаг, скомпонованные, а не склеенные в коде приложения.

Чего не делает ни та, ни другая модель, и третий вариант

Ни одна из них не пишет текст. Обе возвращают типизированные ответы и вероятности при нулевых выходных токенах; если следующему шагу нужен связный текст, это уже другая модель. Ни одна не работает с видео со звуком: d1-2B принимает видеокадры, но без звука, 600M принимает звук, но не вместе с изображениями, а 30-секундный потолок для аудио — жёсткое ограничение, а не рекомендация.

Если требование действительно звучит как «аудио и изображения в одном запросе», ответ — ни то ни другое, а d1-Omni-2B, 2,17-миллиардный собрат, которого Liquid AI создала через двадцать четыре секунды после d1-2B и который принимает текст, изображения, видеокадры и аудиоклипы в одном списке медиа. Его оценка Decision Index — 49,0 по той же таблице v0.3, средний показатель по зрению — 67,7, и у него так же отсутствует независимое тестирование, как у d1-2B. Его параметров примерно в четыре раза больше, чем у 600M, — это и есть цена отказа от выбора между модальностями.

Итак, правило короткое. Если состояние содержит речь и больше ничего не нужно видеть, Liquid AI d1-omni-600M — единственный представитель этой пары, который может работать, и к нему следует относиться как к экрану. Если состояние — это текст, изображения или видео и ответ должен выдерживать проверку, то модель — d1-2B, и именно у неё есть опубликованный показатель задержки, окно 128K и преимущество в бенчмарках, которое сохраняется при построчном чтении. Если состояние содержит и то и другое, ни один из них не является ответом, а им является omni-модель с 2.17B.