Liquid AI d1 vs Liquid AI d1-omni-600M: 당신의 말을 들을 수 있는 오픈 의사결정 모델

다음 이름을 검색해 보세요: Liquid AI d1 그러면 텍스트와 이미지를 읽는 30억 개 파라미터 모델을 찾게 됩니다. 같은 계열의 다른 공개 체크포인트는 크기가 5분의 1이고, 최대 30초 분량의 음성을 고려하며, 둘 중 목소리에 관해 어떤 판단이든 내릴 수 있는 유일한 모델입니다. 그 이름은 Liquid AI d1-omni-600M이며, 벤더 자체 문서가 아니라 로컬 런타임 라이브러리를 통해 이 계열을 접했다면 그 이름을 한 번도 본 적이 없을 가능성이 상당합니다. 이 비교가 바로잡고자 하는 상황이 바로 이것입니다. 왜냐하면 두 모델은 같은 질문에 대한 경쟁적인 답이 아니기 때문입니다. 그것들은 서로 다른 두 질문에 대한 답이며, 그중 하나만 듣기를 포함합니다.

아래의 모든 수치는 Liquid AI 자체 자료, 즉 LiquidAI/d1-omni-600M 모델 카드, 함께 제공되는 d1-omni-600M-GGUF 저장소, 그리고 두 오픈 체크포인트를 한꺼번에 발표한 10월 7일 릴리스 게시물에서 나온 것입니다. 성능 행은 공개 순위에 제출된 것이 아니라 벤더가 자체적으로 유지 관리하는 지표에서 벤더가 점수를 매긴 것이며, 해당 게시물은 오디오 결정 전용 벤치마크가 미해결 과제라고 분명히 밝히고 있습니다. 여기 있는 어떤 것도 연구소 외부의 누구에 의해서도 재현되지 않았습니다.

5억 8700만 개의 파라미터는 무엇으로 이루어져 있는가

대표 수치 뒤에는 이례적인 분할이 숨어 있다. 총 파라미터는 587M에 이르며, 이는 하나의 스택이 아니다: 결정 헤드가 붙은 381M의 공유 트렁크, 94M의 비전 인코더, 112M의 오디오 인코더로 이루어져 있다. 모든 모달리티는 동일한 트렁크 가중치를 통과하는데, 이것이 전체를 작게 유지하는 설계 결정이다 — 이 모델은 트렌치코트를 걸친 세 개의 모델이 아니라, 두 가지 방식으로 입력을 공급받는 하나의 의사 결정 트렁크다.

이 구성 요소들은 Liquid의 카탈로그에서 서로 다른 위치에서 나옵니다. 트렁크는 더 큰 형제 모델이 나온 디코더 전용 계열이 아니라, 양방향 인코더인 LFM2.5-Encoder-350M에서 이어집니다. 비전 타워는 LFM2.5-VL-450M에서 가져온 SigLIP2로, 백본에 어댑터와 LoRA 업데이트가 적용되어 있습니다. 오디오 경로는 자체 어댑터를 갖춘 17층 FastConformer 인코더이며, 고정된 텍스트 백본에 대해 미세 조정되었습니다. 모델 카드에는 텍스트, 이미지, 오디오 위치에 걸쳐 함께 공유되는 16,384토큰 컨텍스트가 보고되며, 이미지가 있을 때 텍스트는 896토큰으로 줄어들고, 어휘는 65,536토큰 — 더 큰 형제 모델의 128,000의 절반 — 입니다. 마지막 수치는 이 제품군이 부분적으로만 지원하는 언어로 작업한다면 눈여겨볼 만합니다.

양방향 대 디코더 전용이라는 차이가, 두 모델을 모두 실행해 본 사람이라면 누구나 두 모델을 다르게 느끼는 이유다. 인코더 형태의 트렁크는 무엇이든 산출하기 전에 전체 상태를 양방향으로 한 번에 읽는다. 디코더 형태의 것은 언어 모델이 하는 방식으로 앞으로 읽는다. 둘 다 출력 토큰이 0인 상태에서 분포로부터 답을 보고하도록 훈련되므로, 어느 쪽도 텍스트를 쓰지는 않는다. 하지만 그 밑에 있는 구조는 다른 부류의 모델이며, 아래에서 논의하는 정확도 격차는 더 작은 인코더 형태 설계가 치르는 눈에 보이는 대가다.

30초의 연설, 그리고 그것을 채점할 수 있는 것은 아무것도 없다

오디오는 이 체크포인트가 존재하는 이유입니다. 이 체크포인트는 최대 30초의 단일 클립을 16kHz 모노로, 답을 생성하는 동일한 순전파에서 받아들이며, 그렇게 할 수 있는 패밀리 내 유일한 오픈 웨이트 구성원입니다. 온디바이스 작업에서 이는 부차적인 기능이 아닙니다. 생산 라인에서 결함을 표시하는 카메라는 더 큰 형제 모델이 이미 처리하는 비전 문제입니다; 음성 요청을 라우팅하거나, 발화를 분류하거나, 발신자가 환불을 요청하는지 판단하는 기기는 오직 이것만이 겨냥할 수 있는 문제입니다.

그 기능 위에는 두 가지 제약이 있으며, 둘 다 문서화되어 있으므로 프로덕션에서 이 때문에 발목 잡힐 변명은 없습니다. 첫째, 하나의 요청은 이미지 또는 오디오 중 하나만 전달하며, 둘 다는 아닙니다 — 둘 다 전달하면 하나를 조용히 누락시키는 대신 ValueError를 발생시키므로, 실패가 분명하게 드러나고 테스트에서 찾기도 쉽습니다. 둘째, 오디오 경로는 영어 화자와 어시스턴트 간의 교환으로 학습되었으며, 클립은 30초 길이로 잘렸습니다. 이는 하나의 화자 구성, 하나의 발화 차례 구조, 하나의 악센트 분포입니다. 이를 콜센터 녹음이나 현장 오디오에 적용하는 것은 해당 카드가 주장하지 않는 동작을 기대하는 것이며, 이는 바로 벤치마크가 존재한다면 드러냈을 종류의 격차입니다.

존재하지 않습니다. 릴리스 게시물은 전용 오디오 결정 벤치마크를 "현재 열린 문제"라고 부르며 커뮤니티가 하나를 만들도록 초대합니다. 이는 연구소가 쓰기에는 솔직한 표현이고, 이 모델을 평가하려는 누구에게나 실질적인 제약입니다. Liquid AI d1-omni-600M은 아직 아무도 측정할 수 없는 능력의 강점을 근거로 자신을 정당화하라는 요구를 받고 있습니다. 공급업체는 또한 모델이 활발히 개발 중인 초기 연구 릴리스라는 명시된 이유로 추론 수치를 전혀 공개하지 않았습니다. 따라서 600M에 대한 지연 시간 수치는 전혀 없습니다 — 텍스트에도, 비전에도, 그리고 핵심인 오디오 경로에도 마찬가지입니다.

지어내지 않고서 말할 수 있는 것은 공개된 파라미터 수에 대한 산술이다. 모델 카드가 GPU용으로 권장하는 float16 정밀도에서 587M 파라미터는 활성화 이전에 약 1.2GB의 가중치에 해당하며, 같은 정밀도에서 3.12B 형제 모델의 약 6.2GB와 대비된다. 이 모델 카드에는 대충 넘겨보기 쉽지만 그러면 안 되는 정밀도 경고도 있다. 모델은 float32로 학습되었고, GPU에서는 float16이 권장되며, 테스트 중 bfloat16이 일부 행에서 최상위 답변을 바꿔 놓았다는 것이다. 서빙 스택이 기본값으로 bfloat16을 사용한다면, 이 모델에서는 그 기본값이 안전하지 않다.

가족의 더 작은 절반을 놓치기 쉬운 이유

독자가 3B에 도달한 뒤 멈추는 이유는 우연이 아니라 구조적인 것이다. Liquid AI의 문서 인덱스는 결정 모델 항목 아래에 세 개의 행을 나열하는데, 그 행들은 같은 방식으로 읽히지 않는다: d1-3B와 d1-omni-600M는 Hugging Face 및 GGUF 링크를 제공하며 학습 가능 열에 "No"가 표시되어 있는 반면, d1은 다른 모든 모델의 다운로드 링크가 있어야 할 자리에 그저 "API"라는 글자만 있는 별도의 행에 자리한다. 릴리스 포스트는 d1을 패밀리 이름이라고 부르며, 서빙되는 엔드포인트와 공개 체크포인트를 결코 구분하지 않는다. 그러면 로컬 런타임 라이브러리들은 3B를 선택하는데, 그것이 자신들이 게시하려는 항목과 크기 및 모달리티 수가 일치하는 모델이기 때문이며, 600M은 같은 목록에 아예 나타나지 않는다.

그 결과는, 공개된 액세스 스토리를 빠르게 읽으면 하나의 모델과 하나의 API 행처럼 보이는 한 패밀리다. 실제로 제공되는 것은 서로 다른 트렁크와 서로 다른 모달리티를 가졌고, 벤더 자체 지수에서 점수가 32포인트 차이 나는 두 개의 오픈 체크포인트, 그리고 벤더가 어느 체크포인트와의 관계도 확인한 적 없는 호스티드 엔드포인트다. 600M은 무엇 뒤에도 숨겨져 있지 않다. 그것은 단지 검색어 d1로 드러날 이름이 없으며, 그리고 그것은 둘 중 유일하게 듣는 쪽이다.

존재하는 점수들, 그리고 읽을 가치가 있는 단 하나의 칼럼

Decision Index 0.2.1에서 벤더는 15.95를 보고했으며, Liquid AI d1-omni-600M의 더 큰 형제 모델은 48.57이다. 이 격차는 너무 커서 총점은 선택의 근거로 삼기에 거의 무의미하다. 하위 점수들은 총점보다 정보량이 더 많으며, 그중 하나는 정말로 놀랍다.

• 지식 — 23.8 대비 8.3

• 언어 — 12.9 대 56.4

• 검색 — 52.8 대비 35.0

• 도구 — 15.1 대 74.5

• 예술 — 6.8 대 36.3

검색은 소형 모델이 버티는 부분으로, 다른 네 개 열에서는 60~80퍼센트를 잃는 반면 여기서는 대형 모델 점수의 3분의 1 미만을 잃는다. 그 패턴은 훈련된 인코더가 잘해야 하는 것과 맞아떨어진다: 상태를 콘텐츠와 매칭하는 것은 트렁크가 만들어진 목적에 가깝고, 훨씬 더 많은 사전 학습에서 물려받은 디코더 형태의 형제가 지닌 계층적 언어 능력에 훨씬 덜 의존한다. 도구 열은 정반대의 이야기이며, 워크로드가 요청을 올바른 함수로 라우팅하는 것이라면 그곳의 59점 격차가 눈여겨봐야 할 숫자다.

7개의 공개 텍스트 벤치마크에서는 양상이 다소 누그러진다. 공급업체는 600M의 평균이 78.4로 3B의 82.9에 맞선다고 보고하며, 작은 모델은 SQuAD 2.0(74.0 대 85.3), PubMedQA(61.3 대 66.0), BoolQ(77.7 대 86.7), XNLI(74.7 대 85.0)에서 근소하게 뒤지는 반면, Civil Comments 독성 탐지(95.8 대 93.0)와 PAWS-X 패러프레이즈 식별(79.5 대 76.9)에서는 앞선다. Liquid의 자체 설명은 600M이 파라미터 수는 4분의 1에 불과하면서도 2B 결정 모델의 77.1 평균을 능가한다는 것이다. 두 벤치마크 스위트는 서로 다른 두 가지 겉으로 드러나는 판정을 내놓으며, 둘 다 자체 보고된 것이고, 정직하게 해석하자면 어느 쪽도 오디오 경로에 관해 아무것도 확정하지 못한다. 오디오 경로는 두 스위트 어디에도 없기 때문이다.

두 가지가 실제로 만나는 지점

모든 차이에도 불구하고 프로그래밍 모델은 동일하며, 바로 그 점이 이들을 한 가지 특정한 의미에서 서로 교환 가능하게 만든다. 둘 다 상태를 대상으로 noul, choice, score 질문에 답하고, 둘 다 선택된 답을 확률 맵과 0과 1 사이의 confidence 값과 함께 반환하며, 둘 다 output_tokens: 0을 보고한다. confidence 필드는 사람들이 잘못 읽는 바로 그 필드다. 그것은 확률이 한 답을 얼마나 강하게 선호하는지를 측정하는 것이지, 그 답이 정답일 승산을 측정하는 것이 아니다. 잘못 제기된 질문에서 0.96은 자신 있게 내놓은 오답이며, 그 필드는 당신에게 경고하지 않는다.

실무에서 이 둘이 만나는 지점은 캐스케이드다. 1차 스크리닝은Liquid AI d1-omni-600M으로 — 저렴하게, 로컬에서, 그리고 텍스트 전용 스코어러는 손댈 수 없는 오디오 케이스까지 포함해 — 수행한 뒤, 그것이 자체 척도의 중간 부근에 놓은 항목들을 더 큰 체크포인트로 에스컬레이션해 더 정밀한 판단을 내린다. 에스컬레이션 규칙은 600M이 이미 반환하는 신뢰도와 분포이므로 라우팅 로직에 별도 모델이 필요 없고, 쉬운 항목이 압도적 다수인 워크로드에서는 대부분의 트래픽이 두 번째 단계에 도달하지 않는다. 이 구성이 통하는 이유는 두 모델이 같은 종류의 객체를 반환하기 때문이다. 임의의 두 모델이라면 그렇지 않을 것이다.

그 캐스케이드가 직접 실행하는 대신 임대하는 생성형 모델에 대한 호출을 게이트한다면, 바로 그 아래 계층이 배관이 흥미로워지는 곳이며, 우리가 개입하는 지점이기도 합니다. 모델 체인을 통해 결정을 라우팅하는 것은 라우팅 규칙이 정확히 겨냥하는 형태의 문제입니다: OrcaRouter는 여러 모델을 하나의 OpenAI 호환 엔드포인트 뒤에 구성하며, 각 모델은 공급자의 정가로 0% 마크업만 붙여 그대로 전달되고, 공급자 간 자동 페일오버를 갖추므로 공급자 계층에서 실패한 에스컬레이션은 요청을 실패로 끝내는 대신 폴백에서 재시도됩니다. 우리는 어떤 Liquid AI 모델도 호스팅하지 않습니다 — 이 글을 쓰기 전에 확인했습니다 — 따라서 위의 내용 중 우리를 통해 이 가중치들을 호출하는 것에 관한 주장은 없습니다. 요점은 결정 모델이 파이프라인에서 저렴한 부분이고, 반대편의 빌려온 모델이 다운되는 부분이라는 것입니다.

파일이 어디에서 왔는지, 오늘 실행하고 싶다면

로컬 배포를 위해 600M용 벤더 자체 GGUF 저장소는 Q8_0을 407MB로, F16과 BF16을 각각 764MB로 제공하며, 4비트 빌드는 목록에 없습니다. 따라서 가장 작은 공식 다운로드는 더 큰 모델의 해당 빌드보다 대략 7배 작고, 중간 해상도 사진과 대략 같은 크기입니다. 이 카드 자체의 예제는 배치 플래그를 4096으로 설정해 llama.cpp 서버를 시작하고, 더 긴 상태를 위해 이를 16384로 높일 것을 제안한 다음, 더 큰 형제 모델이 사용하는 동일한 /v1/systemone 엔드포인트를 쿼리합니다.

로컬 경로가 여러분에게 주지 않는 단 한 가지는 오디오 경로의 수치입니다. 그 수치는 존재하지 않기 때문입니다. 실제 사용자 앞에서 이걸로 음성을 처리할 계획이라면, 평가는 직접 구축해야 합니다: 레이블이 지정된 클립 세트, 동일한 세 가지 질문 유형, 그리고 클래스별로 측정된 응답률입니다. 그것은 이 모델을 무시하는 것이 아닙니다 — 음성 클립을 한 번의 패스로 판단하는 587M 체크포인트는 전사 단계에 붙여 놓은 텍스트 분류기와는 진정으로 다른 도구이며, 느낌 기반 테스트가 아니라 진짜 테스트를 받을 자격이 있습니다.

그 캐스케이드가 직접 실행하는 대신 임대하는 생성형 모델에 대한 호출을 게이트한다면, OrcaRouter는 여러 모델을 하나의 OpenAI 호환 엔드포인트 뒤에 구성하며 , 각 모델은 해당 제공업체의 정가에 0% 마크업만 붙여 그대로 전달됩니다.

텍스트 전용 체크포인트 대신 옴니 체크포인트를 선택하는 것은 이 부류에서 이미 무엇이 잘못되었는지 살펴보기에도 좋은 시점입니다: 소형 멀티모달 모델과 관련된 문서화된 AI 사건 및 에이전트 실패는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 이의 제기 플래그가 포함되어 있습니다.