d1-2B vs Liquid AI d1-omni-600M: 결정적 입력이 소리일 때

이 두 모델 앞에 음성 메모와 사진으로 찍은 인보이스를 놓으면 둘 중 하나만 답할 수 있는데, 그건 더 높은 점수를 받은 모델이 아니다. d1-2B는 텍스트, JSON, 사진, 영상을 읽고 오디오는 전혀 받아들이지 못한다. Liquid AI d1-omni-600M은 이미지와 함께 있는 텍스트 또는 최대 30초 분량의 음성과 함께 있는 텍스트를 읽으며, 같은 요청에서 오디오와 이미지를 함께 받아들일 수 없다. 그 단일한 비대칭이 두 벤치마크 중 어느 것도 참고되기 전에 대부분의 실제 배포를 좌우한다. 그럼에도 다음은 이 비교의 솔직한 버전이다: 587M 모델이 진정으로 경쟁력 있는 지점, 1.92B 모델이 대체 가능하다고 보기 어려운 지점, 그리고 둘을 대안인 척하지 않고 함께 사용하는 하나의 파이프라인 패턴.

그 결정은 점수 문제가 아니라 모달리티 문제입니다.

결정 모델은 상태와 이름이 지정된 질문 집합을 받아 생성된 토큰 없이 답변별 확률을 반환합니다. 상태는 전체 입력이며, 상태의 유형이 구속 조건입니다. d1-2B의 카드는 텍스트, JSON, 그림, 비디오를 나열합니다. Liquid AI d1-omni-600M의 카드는 이미지가 있는 텍스트 또는 오디오가 있는 텍스트를 나열하며, 코드는 배제를 강제합니다: 이미지와 오디오 클립을 모두 system_one에 전달하면 ValueError가 발생합니다.

첫 번째 질문은 어느 모델이 더 높은 점수를 받는가가 아닙니다. 판단해야 하는 대상이 픽셀로 도착하는지, 텍스트로 도착하는지, 아니면 파형으로 도착하는지입니다. 파형으로 도착한다면 이 두 모델 중에서는 답이 하나이며, 이 페이지의 나머지는 그것을 얻기 위해 정확도를 얼마나 포기하는지에 관한 내용입니다.

587M으로 실제로 살 수 있는 것

600M은 d1-2B의 소형 버전이 아닙니다. 그것은 다른 구성이며, 예산은 장점과 한계를 모두 설명해 주기 때문에 항목별로 볼 가치가 있습니다.

• 매개변수 — 총 587M: 381M의 공유 트렁크와 결정 헤드, 94M의 비전 인코더, 112M의 오디오 인코더. 모든 모달리티는 동일한 트렁크 가중치를 통과합니다.

• Base — LFM2.5-Encoder-350M은 양방향 인코더로, LFM2.5-VL-450M에서 가져온 SigLIP2 비전 타워와 오디오용 17층 FastConformer를 갖추고 있습니다.

• 컨텍스트 — 텍스트, 이미지, 오디오 위치를 모두 합쳐 16,384개 토큰, 그리고 65,536개 토큰 규모의 어휘. d1-2B의 윈도는 128K입니다.

• 오디오 — 요청당 최대 30초의 16kHz 모노 음성. 이 카드에는 오디오 쪽이 영어 화자와 어시스턴트 사이의 요청으로 학습되었다고 분명히 나와 있으며, 이는 사람들이 통화 녹음에 이 모델을 적용하려는 경우 좁은 분포입니다.

• 미디어 규칙 — 이미지 또는 오디오, 둘 다는 안 됩니다. 카드에 ValueError가 문서화되어 있으므로 직접 발견할 필요가 없습니다.

• 라이선스 — LFM Open License v1.0, d1-2B와 동일한 임계값 구조: 연간 매출 10,000,000달러 미만 상업적 이용 허용.

• 속도 — 공개되지 않음. 이 카드는 지연 시간 수치를 보고하지 않으며, 해당 모델을 활발히 개발 중인 초기 연구 릴리스라고 언급합니다. d1-2B는 H100 PCIe에서 5.7ms, MI325X에서 3.8ms, M5 Pro에서 18.6ms를 공개합니다.

동일 실행 테이블, 그리고 격차가 작은 행

두 모델 모두 d1-2B의 카드에 있는 벤치마크 표에 나오며, 이 표는 네 개의 공개 d1 모델을 동일한 항목에서 동일한 채점기로 평가합니다. 따라서 대부분의 카드 간 비교보다 비교가 더 깔끔한데, 한 가지 주의할 점이 있습니다: d1-omni-600M 자체 카드에서는 Decision Index 0.2.1에서 15.95를 보고하지만, 이 표에서는 버전 0.3에서 18.3을 보고합니다. 차이는 지수 에디션 때문이며, 두 수치 모두 각자의 테스트에서는 정확합니다.

• Decision Index 공개 스위트 v0.3 — d1-2B는 51.1, Liquid AI d1-omni-600M은 18.3.

• DecisionBench (Hanno Labs) v1 — 77.1 대 58.7.

• Decision Bench(decisionbench.ai) v4 — 85.2 대 57.9.

• ImajevBench v2.0-lite — 75.5 대 21.7, 둘 사이에서 의사 결정 측면의 격차가 가장 큰 항목입니다.

• WorkflowEvals — 81.6 대 48.8.

• Vision 평균, 벤치마크 18개 — 70.2 대 42.8.

• VisualWebBench — 96.2 대 14.9, 이는 비교라기보다 94M 비전 인코더가 얼마나 많은 것을 담아낼 수 있는지에 대한 진술에 가깝습니다.

그다음은 자제를 주장하는 행들입니다. Typed Decisions는 61.3 대 57.5로, 매개변수가 3분의 1에 불과한 모델치고는 3.8포인트 차이입니다. POPE는 객체 환각 벤치마크로 88.7 대 82.7입니다. JevBench는 77.9 대 58.0으로 큰 차이를 보이지만, DecisionBench v4는 85.2 대 57.9이며, 이 둘을 종합하면 600M은 균일하게 약한 것이 아니라 고르지 않다는 것을 보여줍니다. Liquid AI의 자체 출시 게시물은 7개 벤치마크 평균을 78.4로 제시하는데, 이는 587M 모델치고 높은 수치입니다. d1-2B의 모델 카드에는 이에 상응하는 평균이 공개되어 있지 않으므로 두 수치를 나란히 놓아서는 안 됩니다.

어느 모델도 추켜세우지 않는 단 하나의 수치는 독립적인 수치다. Efraín Garay는 Decision Index 0.3의 6,000개 요청 표본에서 Liquid AI d1-omni-600M을 실행해 14.0을 얻었는데, 이는 같은 표본에서 벤더 자체 측정치인 14.17과 맞선 결과로, 거의 재현된 것이었다. 그는 또한 1,758개 요청이 모델의 지시 및 옵션 예산을 초과해 거부되었고, 오답으로 집계되었다는 점도 발견했는데, 이는 더 긴 상태를 위해 만들어진 스위트에서 16K 윈도가 치르는 실제 비용이다.

600M이 유일한 선택인 경우

오디오 라우팅은 이 모델이 만들어진 목적의 사례이며, 카드에 제시된 예시들은 구체적입니다. 통화 및 음성 메시지 라우팅, 사운드 이벤트, 문서화된 상태 위에 덧씌우는 음성 안내 등이 그것입니다. d1-2B는 오디오 인코더도 없고 입력 스키마에 오디오 위치도 없기 때문에, 그중 어느 것도 어떤 정확도로도 제공할 수 없습니다.

두 개의 독립적인 데이터 포인트가 이 주장을 누그러뜨려야 한다. 첫째는 위의 평가로, 여기서 600M은 실제 데이터 작업에서 샷 감지 AUC 0.580과 강우 예측 AUC 0.593을 기록했다. 이는 우연 수준을 겨우 웃도는 수치이며, 테스트된 모든 더 큰 모델보다 뒤처진다. 둘째는 직접 사용해 본 리뷰로, 사용 중 VRAM이 2GB 미만임을 측정했고, 이 모델이 오디오에서 의미론적 의미보다 전달 방식과 어조를 훨씬 더 안정적으로 분류한다는 점, 추론형 질문에서는 동전 던지기에 가까운 결과를 보인다는 점을 발견했다. 둘 다 같은 방향을 가리킨다. 이것은 선별 모델이다. "이것이 어떤 종류의 것인가"에는 능하지만, 무엇이 말해졌는지를 이해하는 모델을 대체할 수는 없다.

그것은 587M 체크포인트에 대한 비판이 아닙니다. 그것은 587M 중 381M이 공유 트렁크일 때 587M으로 얻을 수 있는 것입니다. 이를 사용하는 이유는 비용과 풋프린트입니다 — 2GB 미만의 VRAM, 10월 6일부터의 GGUF 저장소, 10월 12일부터의 MLX 빌드, 그리고 한 번의 순전파로 내리는 결정 — 충실도가 아니라.

둘 다 사용하는 캐스케이드

실수는 이것들을 경쟁자로 취급하는 것이다. 이것들은 동일한 필터의 두 단계이며, 자연스러운 파이프라인은 저렴한 모델을 먼저 실행한다.

1단계: Liquid AI d1-omni-600M은 인바운드 항목 — 음성 메모, 고객지원 통화, 첨부 파일이 있는 서면 불만 — 을 받아 개략적인 질문에 답합니다. 이건 청구 문제인가요, 기술 문제인가요? 발신자는 화가 나 있나요? 이 메시지에 요청이 조금이라도 포함되어 있나요? 2GB 미만이고 한 번의 패스로 처리되므로, 모든 항목에서 실행하기에 충분히 저렴합니다.

2단계: 600M이 자체 척도의 중간 부근에 두는 것은 무엇이든, 또는 읽어야 하는 이미지와 함께 들어오는 것은 무엇이든 d1-2B로 에스컬레이션됩니다. 2B는 128K 창, 비디오 입력, 그리고 대략 평균의 세 배에 달하는 비전 성능을 갖추며, 1단계가 처리하지 못한 트래픽의 일부만 봅니다.

임계값 설정이 진짜 작업이다. 두 카드 모두 확률을 반환하며, 둘 다 자기 데이터로 보정하라고 말한다 — d1-2B의 카드는 대놓고 그렇게 말한다. 보정되지 않은 중간 대역을 가진 캐스케이드는 모든 것을 에스컬레이션하거나(이 경우 600M은 장식이었다), 아무것도 에스컬레이션하지 않는다(이 경우 2B는 읽지 못하는 단계를 결코 교정하지 못한다).

대부분의 실제 시스템에는 세 번째 단계가 있습니다: 답변을 작성하는 모델입니다. 여기서 호스팅 API가 등장하며, OrcaRouter가 관련됩니다. Liquid AI 모델은 둘 다 저희가 제공하지 않으므로 의사 결정 노드는 사용자의 GPU에 남아 있습니다. 해당 모델들의 레이블을 소비하는 생성 단계는 200개 이상의 모델을 포괄하는 하나의 OpenAI 호환 키에서 올 수 있습니다. 이 키에는 제공업체 정가에 0% 마크업이 적용되며, 제공업체가 트래픽 도중 이탈할 경우 자동 장애 조치가 이루어집니다. 라우팅 DSL은 캐스케이드 자체를 정직하게 표현하는 방법이기도 합니다 — 두 의사 결정 모델은 GPU 측 단계로, 답변 생성은 호스팅 단계로, 애플리케이션 코드에서 서로 붙여 놓는 대신 조합하는 방식입니다.

어느 모델도 하지 않는 것, 그리고 세 번째 선택지

둘 다 텍스트를 작성하지 않습니다. 둘 다 출력 토큰 0으로 타입이 지정된 답변과 확률을 반환합니다. 다음 단계에서 산문이 필요하다면 그것은 다른 모델입니다. 둘 다 오디오가 포함된 비디오를 처리하지 못합니다: d1-2B는 비디오 프레임을 받지만 소리는 받지 않고, 600M은 소리를 받지만 이미지와 함께는 받지 않으며, 30초 오디오 상한은 권장 사항이 아니라 엄격한 제한입니다.

요구사항이 진정으로 "하나의 요청에 오디오와 이미지"라면, 답은 이들 중 어느 것도 아닙니다 — 바로 d1-Omni-2B입니다. Liquid AI가 d1-2B를 만든 지 24초 후에 만든 2.17B 형제 모델로, 텍스트, 사진, 비디오 프레임, 오디오 클립을 하나의 미디어 목록에서 받아들입니다. 이 모델의 Decision Index 점수는 동일한 v0.3 표에서 49.0이고, 비전 평균은 67.7이며, d1-2B와 마찬가지로 독립적인 테스트가 없습니다. 매개변수는 600M의 약 네 배로, 이는 모달리티 사이에서 선택하지 않는 대가입니다.

규칙은 짧습니다. 상태에 음성이 포함되어 있고 그 외에 볼 필요가 없다면, Liquid AI d1-omni-600M이 이 두 모델 중 실행할 수 있는 유일한 모델이며, 스크리닝 역할로 취급해야 합니다. 상태가 텍스트, 이미지 또는 동영상이고 답이 견고해야 한다면 d1-2B가 그 모델입니다. 또한 공개된 지연 시간 수치, 128K 창, 한 줄 한 줄 읽어도 유지되는 벤치마크 우위를 갖춘 모델이기도 합니다. 상태에 둘 다 포함되어 있다면 둘 중 어느 것도 답이 아니며, 2.17B omni 모델이 답입니다.