‘Karpo Decision 31B vs Laya’라는 제목과 ‘노트북에서 실행할 수 있는 421M 인코더에 맞서는 31B 선두 모델’이라는 부제목이 있는 생성된 타이틀 카드, ‘Karpo: 31.3B, 62.5 GB, 32,768 토큰’, ‘Laya: 421M, 808 MB, 512 토큰’, ‘종합 점수 73.9 vs 9.2’라고 적힌 세 개의 칩, 그리고 ‘GPU 필요’라고 라벨이 붙은 데이터센터 GPU 랙과 ‘노트북에서 실행’이라고 라벨이 붙은 노트북으로 이루어진 평면 아이콘 한 쌍.
Guides & Insights

Karpo Decision 31B vs Laya: 노트북에서 실행할 수 있는 421M 인코더에 맞서는 31B 리더

작성자

Gideon Frost

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

Karpo Decision 31B를 Laya 옆에 놓고 보면, 솔직한 첫 반응은 누군가 단위 오류를 낸 게 아닐까 하는 것이다. Karpo는 62.5GB의 가중치와 데이터센터 GPU가 필요한 313억 파라미터 규모의 Gemma 4 파인튜닝 모델이다. Laya는 Convai Innovations의 4억 2,100만 파라미터 ModernBERT 인코더로, Apache-2.0이며 디스크상 808MB이고, 노트북에서 실행되어 약 33밀리초 만에 결과를 반환한다. 두 모델이 모두 올라와 있는 커뮤니티 보드인 Decision Index에서 Full 점수 격차는 73.9 대 9.2다 — 이 전체 비교 묶음에서 가장 큰 차이다.

그런데도 Laya는 유지 관리되는 pip 패키지, MCP 서버, ONNX 및 Core ML 빌드, 그리고 실제 워크플로 세트에서 0.362에서 0.766으로의 문서화된 정확도 향상을 보여주는 파인튜닝 경로를 제공하는 모델이다. Karpo는 README와 저장소를 제공한다. 흥미로운 질문은 어느 모델이 더 나은가가 아니다. 그것은 각각이 실제로 무엇을 위한 것인가인데, 점수 격차와 사용성 격차가 서로 반대 방향을 가리키고 있으며 한 번에 둘 중 하나만 중요하기 때문이다.

두 숫자가 의미하는 것, 그리고 그 비교가 설계상 한쪽으로 치우쳐 있는 이유

트래커에서 Laya의 9.21 Full 점수는 우연 보정된 숙련도 수치이며, 동일한 스위트 전반에서의 원시 정확도는 37.7%, 커버리지는 0.76입니다. 즉, 스위트 요청의 약 4분의 1은 전혀 응답되지 않았습니다. 트래커는 그 이유를 기록합니다. 320건의 요청이 지원되지 않음으로 표시되었으며, 압도적으로 많은 경우 지시문이 Laya의 기본 예산보다 길어서 모델이 잘라내기보다 거부하기 때문입니다. 32k 토큰 상태를 받아들이는 모델을 위해 만들어진 스위트에서 512토큰 인코더는 경쟁하는 것이 아니라 기본값으로 떨어지는 것입니다.

Karpo는 동일한 스위트에서 99.87% 커버리지와 83.2% 원시 정확도를 기록했습니다. 요청 9건이 거부되었는데, 모두 질문과 해당 상태가 32,768토큰을 초과했기 때문입니다.

따라서 점수를 직접 비교하면, 512토큰 창에서 짧은 분류를 위해 설계된 모델이 장문 문서 의사결정 모델을 위해 설계된 벤치마크에서 좋지 않은 성적을 낸다는 것을 알 수 있습니다. 그것은 Laya에 대한 비판이 아니라, 해당 스위트에 대한 진술입니다. 유용한 비교는 작업별로 이루어져야 하며, Laya의 카드에는 그러한 비교가 하나 있습니다: MASSIVE 의도 분류에서 영어 0.783, XNLI에서 0.860을 기록했으며, 이는 모델의 창 안에 들어가는 입력에 대한 것입니다. Karpo는 짧은 단일 분류 작업에 대해 공개된 동등한 수치가 없습니다. 왜냐하면 그 카드는 작업 수준 결과를 전혀 공개하지 않기 때문입니다.

사양, 그리고 각각이 의미하는 바

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• 매개변수 — Karpo 31.3B와 255 × 5,376 리드아웃, bf16 기준 62.5 GB; Laya 421M, 약 808 MB 다운로드됨.

• 아키텍처 — 선형 리드아웃과 함께 프리필 전용으로 실행되는 인과적 언어 모델 백본 대, 각 옵션을 자체 [MASK] 토큰에서 점수화하는 양방향 인코더.

• 맥락 — Karpo는 시퀀스당 32,768토큰이며, 상태가 반복되는 질문별로 분할됩니다. Laya는 배포 구성에서 총 512토큰이고, 그중 192토큰은 옵션 프롬프트용으로 예약되어 상태용으로 약 320토큰이 남습니다.

• 멀티모달리티 — Karpo는 이미지와 텍스트를 읽고, Laya는 텍스트만 읽습니다. 영어 체크포인트에는 비전 경로가 없습니다.

• 지연 시간 — Karpo는 레퍼런스 GPU에서 중앙값 94 ms; Laya는 자체 카드에서 측정된 39.5 ms이며, 트래커는 해당 하드웨어에서 중앙값 5.8 ms를 기록합니다.

• 라이선스 — 가중치와 코드 모두 Apache-2.0이며, 사용 제한 없음.

• 호스팅 — 둘 다 게시자가 제공하는 호스팅 엔드포인트를 사용하지 않습니다. Laya는 pip install laya만 있으면 됩니다.

컨텍스트 행이 곧 결정의 전부입니다. 상태에 쓸 수 있는 320개의 토큰은 지원 티켓 하나, 이메일 한 통, 채팅 메시지 하나, 제품 제목 하나, 로그 한 줄 분량입니다. 항목이 줄줄이 붙은 인보이스나 마흔 페이지짜리 정책 문서가 아닙니다. 상태가 한 문단보다 길다면, Laya에게 그 질문을 할 수 없습니다 — 형편없게도, 느리게도 아니라, 아예 할 수 없습니다.

소형 모델이 진정으로 올바른 답인 경우

Karpo가 터무니없을 만큼 과한 결정 유형이 하나 있는데, Laya의 설계는 바로 그것을 겨냥한다. 매 단계마다 도구 결과가 의도를 충족하는 것처럼 보이는지에 대한 예/아니오, 또는 질의가 여섯 개의 검색 소스 중 어디로 가야 하는지, 또는 사용자 메시지에 이탈 신호가 포함되어 있는지를 판단해야 하는 에이전트를 생각해 보라. 이는 한 문장의 문맥에 대한 마이크로초 규모의 질문들이며, 한 대화에 그런 질문이 50개나 있을 수 있다.

94ms, 62.5GB 상주 모델 기준으로 50회 호출은 대화당 거의 5초의 GPU 시간을 쓰는 셈인데, 이는 트래픽이 정당화하는 비용보다 더 비싼 하드웨어에서입니다. 애플리케이션과 같은 장비에서 실행되는 800MB 모델로 중앙값 5.8ms라면, 동일한 50회 호출에 3분의 1초가 들고 데이터센터 비용 항목도 없습니다. 이는 단계별 루프에서의 미미한 차이가 아니라, 출시되는 기능과 그렇지 않은 기능의 차이입니다.

Laya의 카드 역시 실패 모드를 솔직하게 문서화하고 있는데, 이는 깔끔한 스펙 시트보다 더 가치 있습니다. 영어 체크포인트는 비라틴 문자에서 무너집니다 — 크메르어는 정확도 0.000인데도 신뢰도 0.952를 표시하죠 — 이는 바로 의사결정 계층이 절대 가져서는 안 되는 '자신 있게 틀리는' 실패입니다. 배포된 Router는 순수 Python에서 0.5밀리초 미만으로 문자 체계를 감지하고 포워드 패스 전에 다국어 체크포인트로 라우팅합니다. 고카디널리티 질문도 성능이 저하됩니다: 256토큰 예산에서 옵션이 77개이면 각 레이블에 3~4개 토큰이 할당되고, Banking77 정확도는 Jev의 0.870에 비해 0.425로 떨어집니다. 카드는 기본값이 작동하는 척하기보다는 헤드 예산을 높이라고 알려줍니다.

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

공개된 실패 모드와 각 실패 모드에 대해 문서화된 수정책을 갖춘 소형 모델이라는 그 조합은 작업 수준의 세부 분석이 없는 더 높은 점수보다 운영 측면에서 더 유용합니다.

31B 모델이 62GB의 가치를 입증하는 지점

Karpo의 장점은 내부에 실제 언어 모델을 탑재했다는 데서 나옵니다. 스크린샷을 읽습니다. 정책 문서와 고객 기록을 동일한 32,768토큰 상태에 담고, 두 문서에 대한 백 개의 질문에 한 번의 처리로 답합니다. 상태가 한 번 계산되고, 각 질문은 다른 질문의 선택지를 보지 않은 채 공유 블록에서 분기하기 때문입니다. 255가지 선택지를 토큰 고갈 없이 처리합니다. 판독기가 옵션 텍스트를 고정 예산에 임베딩하는 대신 코드에 점수를 매기기 때문입니다.

카테고리 프로파일은 대형 모델이 무엇을 제공하는지와 깔끔하게 대응되는 방식으로 이를 뒷받침합니다. Karpo의 지식 및 추론 역량은 65.5로 Laya의 2.9와 대비되는데, 이 수치는 대부분 Laya에게는 제시할 수 없는 평가 스위트의 장문 컨텍스트 지식 질문을 반영한 것입니다. 도구 및 자동화 역량은 88.4 대 5.8입니다. 이는 두 개의 비교 가능한 모델 사이의 미세한 차이가 아니라, 서로 다른 두 등급의 도구입니다.

Karpo에게 없는 것은 운영을 위한 기반 구조 그 어느 것도 아니다. ONNX 내보내기도, Core ML 빌드도, MCP 서버도, 워크플로 설명을 지정해 반나절 만에 미세 조정할 수 있는 pip 설치형 에이전트도 없다. 커뮤니티는 이미 양자화를 시작했다—IQ3_M GGUF와 NVFP4 빌드가 2주 안에 등장했다—하지만 이 글을 쓰는 시점에 공식적인 저용량 경로도, 가격도 없다.

리더보드보다 더 많은 배포를 좌우하는 파인튜닝 격차

Laya의 카드에서 가장 중요한 단일 숫자는 벤치마크 점수가 아닙니다. 그것은 0.766 대 0.362입니다. 네 가지 워크플로에 걸친 2,000개의 의사결정에서 미세 조정된 체크포인트와 기본 영어 모델의 정확도를 비교한 수치입니다. 미세 조정으로 중요했던 워크로드에서 정확도가 두 배 이상 높아졌습니다.

그것이 421M 모델을 한 줄로 옹호하는 논리입니다. 한 시간 안에 자체 라벨링된 결정으로 재학습할 수 있는 작은 모델은 전혀 재학습할 수 없는 31B 모델을 당신의 트래픽과 스키마에서 이길 것입니다. Karpo의 73.9는 비공개 스위트에 대한 평균이며, 당신의 분포는 그 스위트가 아닙니다. Laya의 0.362 기본 점수 역시 다른 누군가의 결정에 대한 평균이고, 데이터가 당신의 것이 되면 두 모델 모두 움직일 것입니다 — 하지만 그 움직임을 만들기 위한 문서화된 경로를 갖춘 것은 둘 중 하나뿐입니다.

Karpo는 공개된 학습 레시피도, 어댑터도 없는 31B 체크포인트를 전체 미세 조정한 것입니다. 원칙적으로 이를 미세 조정하는 것은 가능하지만, 이 카드가 지원하거나 문서화하거나 기대하는 작업은 아닙니다.

둘 다 실행하는 것, 그것이 어느 하나보다 더 자주 답이다

두 모델은 대체재라기보다 보완재이며, 분할은 기계적입니다. 짧은 상태는 인코더로, 긴 상태는 31B로 보냅니다. Router 패턴은 이미 Laya 측에서 배포된 기본값입니다. Karpo 측에서 이에 해당하는 것은 디스패치하기 전에 상태의 크기를 확인하는 것입니다.

라우팅 레이어가 제값을 하는 곳은 세 번째 경우, 즉 둘 사이의 계층입니다. 상태가 512 토큰에서 32,768 토큰 사이라면 이 둘 중 어느 것도 잘 맞지 않습니다 — Laya는 거부하고 Karpo는 과한 데다 비쌉니다. 그 중간 대역이야말로 서빙된 결정 모델이 합리적인 지점이며, Jev 1.14가 우리 카탈로그에 있으며 다른 모든 것과 동일한 키로 호출할 수 있습니다. 단일 라우팅 엔드포인트 앞에 임계값 정책을 두는 것 — 짧은 상태는 직접 호스팅하는 인코더로, 긴 상태는 서빙 모델로, 불확실한 출력은 검토 큐로 — 은 62.5 GB 체크포인트를 운영하는 것보다 작은 엔지니어링 작업이며, 모델 교체를 애플리케이션 코드 밖으로 유지해 줍니다. 카탈로그의 200개 이상의 모델은 제공업체 정가로 청구되며 마크업이 없고, 또한 Karpo가 파인튜닝된 기반 모델인 Gemma 4 31B도 포함되어 있어, GPU를 투입하기 전에 파인튜닝이 실제로 무엇을 얻었는지 확인하는 저렴한 방법입니다.

굳이 하나만 추천해야 한다면: Laya로 시작하세요. 비용이 들지 않고, 1분이면 설치되며, 에이전트가 매 단계에서 내리는 짧고 대량의 결정에는 타협이 아닌 올바른 도구입니다. 상태가 더 이상 한 문단에 담기지 않을 때 Karpo Decision 31B로 옮기고, 그때는 GPU와 62 GB 다운로드, 그리고 가격도 발표도 독립적인 점수도 없는 모델을 사들이는 것임을 받아들이세요. 리더보드의 64점 격차는 실제이며, 그것은 입력이 그것을 필요로 할 만큼 길어졌을 때만 중요한 무언가를 측정하고 있습니다.

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.