Jev vs Laya: T4에서 33밀리초, 그리고 랜덤 베이스라인

Laya의 모델 카드에는 이 비교를 결정짓는 문장이 담겨 있으며, 이는 Laya를 만든 사람들이 작성한 것입니다. "Laya는 특화를 위한 빠른 기반이지, 제로샷 의사결정 엔진이 아닙니다." Convai Innovations는 2026년 9월 18일에 Laya를 출시했으며, 이는 TypeSafe AI가 Apache 2.0 라이선스로 Jev 1.13(typesafe/jev-1.13)을 출시한 지 3일 후였습니다. 가중치는 Hugging Face에 공개되었고, pip install laya 진입점도 제공됩니다. 이는 토큰 단위 디코딩 없이 단일 순방향 패스로 타입이 지정된 질문에 답하며, 이는 Jev가 택한 것과 동일한 아키텍처적 선택입니다. 주요 주장은 Tesla T4에서 결정당 32.8밀리초의 p50 지연 시간이며, 이는 Jev가 호스팅 API를 통해 공개한 236–276ms p50보다 약 7.8배 빠르다고 설명됩니다. 이 주장은 사실이지만, 서로 다른 두 가지를 측정하고 있습니다 — 로컬 GPU와 네트워크 호출 — 그리고 그 아래에 있는 정확도 그림이 바로 다운로드 여부를 결정해야 하는 부분입니다. 제로샷에서 Laya는 TypeSafe의 typed-decisions 벤치마크에서 0.362점을 기록합니다. 무작위 추측은 0.318점입니다. 다수 클래스 기준선은 0.461점입니다. Laya는 기본 설정으로, 사소한 기준선보다 무작위에 더 가깝습니다. 새로운 것은 두 모델 중 어느 것도 아니고, 그중 하나를 호출할 수 있는 위치입니다: 2026년 9월 24일, OrcaRouter가 자사 카탈로그에 typesafe/jev-1.13을 추가했습니다 — 모델 자체는 TypeSafe의 것으로, 9월 15일자입니다 — 이는 이 비교에서 최근에 바뀐 유일한 사항입니다.

Laya가 실제로 무엇인지

Laya는 각 입력을 알맞은 쪽으로 전달하는 내장 라우터 뒤에 두 개의 체크포인트로 제공됩니다. 영어 체크포인트는 421M 파라미터에 512토큰 문맥을 가진 ModernBERT-large입니다. 다국어 변형은 322M 파라미터에 100개 이상 언어를 아우르는 1,024토큰 창을 가진 mmBERT-base입니다. 둘 다 비자기회귀 방식입니다. 단일 순전파가 답을 반환하므로 디코딩 루프도, 파싱할 JSON도, 선언된 타입 밖의 텍스트를 출력할 여지도 없습니다. 이 마지막 속성은 Jev가 제공하는 것과 동일한 구조적 보장을 다른 방향에서 도달한 것이며, 가끔 중괄호 닫기를 잊어버리는 모델을 둘러싼 재시도 로직을 작성해 본 사람이라면 누구에게나 진정으로 가치 있는 특성입니다.

Jev는 폐쇄형 대응 모델이며, 둘 사이에서 중요한 구분은 어느 쪽이 더 높은 점수를 받는지가 아니라 누가 모델을 운영하는지입니다. TypeSafe AI의 첫 System One 모델은 2026년 9월 15일 출시되었으며, 호스팅형입니다 — 다운로드할 가중치가 없습니다 — 그리고 POST /v1/systemone을 통해 typesafe/jev-1.13으로 우리를 경유해 라우팅할 수 있고, 비스트리밍 방식이며, 65,536토큰 컨텍스트를 지원합니다. Laya는 다른 방식입니다: 직접 실행하는 공개 Apache 2.0 가중치로, 이미 보유한 하드웨어에서 작동하며, 경로에 엔드포인트가 전혀 없습니다. Jev는 세 가지 타입화된 프리미티브를 받습니다 — 사용자가 제공하는 목록에서의 Choice, 정렬된 루브릭에 대한 Score, 그리고 보정된 확률이 있는 예/아니오 주장인 Noul입니다. 모든 질문은 하나의 공유된 상태 읽기를 기준으로 병렬로 평가됩니다. 가격은 백만 입력 토큰당 $0.042이며 출력은 0으로 청구됩니다. 계량할 출력 토큰이 없기 때문입니다. 그 아키텍처, 파라미터 수, 학습 컴퓨트는 공개되지 않았으며, TypeSafe는 세부 사항을 비밀에 부치고 있다고 밝혔고 논문은 나중에 나올 수도 있습니다.

지연 시간 주장, 제대로 측정하기

Laya가 T4에서 기록한 32.8ms p50은 실제 수치이며 좋은 수치입니다. Jev의 236–276ms에 대비한 7.8배 비교가 주의가 필요한 지점인데, Laya 자체 카드는 그 이유에 대해 이례적으로 솔직합니다. Jev 수치는 Convai가 직접 측정한 적 없는 제3자 공개 수치이며, 이 비교는 로컬 GPU 포워드 패스를 네트워크 왕복과 큐잉을 포함하는 호스티드 API 호출과 맞세우고 있습니다. 네트워크를 빼고 보면 아키텍처 비교는 두 단일 패스 모델, 즉 421M 파라미터 모델과 TypeSafe가 한 번도 공개한 적 없는 미공개 규모의 모델 사이의 비교입니다.

알아둘 만한 배칭 수치도 있습니다: 배치 10개 기준으로 Laya는 질문당 7.2ms를 보고합니다. 이것이 이 제품의 형태입니다. Laya는 로컬에서 대량으로 실행되도록 만들어졌으며, laya-mlx 같은 온디바이스 커뮤니티 포팅은 이를 Apple Silicon까지 확장합니다. 'Jev보다 50배 빠르다'는 바이럴 주장은 프로젝트가 직접 공개한 벤치마크로는 뒷받침되지 않으며, 정직한 표현은 로컬 대 클라우드의 큰 격차인데, 이는 일부는 아키텍처 때문이고 일부는 단지 당신의 GPU와 다른 누군가의 API 사이의 차이일 뿐입니다.

정확도 수치가 말해주는 것, 순서대로

바로 여기서부터 그 비교는 더 이상 듣기 좋지 않게 되며, 순서가 중요하므로 차례대로 짚어볼 가치가 있다.

• TypeSafe의 typed-decisions 벤치마크에서 제로샷 — Laya 0.362, 랜덤 0.318, 다수 클래스 0.461, Jev 0.727. Laya는 우연 수준보다 높고 자명한 베이스라인보다 낮다.

• 벤치마크 자체의 훈련 분할로 미세 조정됨 — Laya 0.766 대 Jev 0.727. Laya가 이겼고, 이 승리는 벤치마크의 훈련 데이터를 학습한 체크포인트에서 나온 것이므로, 이는 미세 조정에 관한 진술이지 기본 모델에 관한 진술이 아니다.

• Banking77 의도 분류는 선택지 집합이 큰 경우인데 — Laya 0.425 대 Jev의 0.870입니다. Laya는 선택지가 대략 20개를 넘어가면 급격히 저하되며, Jev의 Choice 필드는 2단계 스코어링 패턴이 필요하기 전까지 최대 255개까지 처리하는 것으로 문서화되어 있습니다.

• 보정 — Laya는 평균 기대 보정 오차 0.466으로 제공되며, 질문 유형별 온도 재적합 후에만 0.081로 개선됩니다. Jev는 TypeSafe가 RLCD(보정된 결정을 위한 강화 학습)라고 부르는 방법으로 훈련되었으며, 모든 답변에 확률 분포를 함께 제공합니다. 하지만 TypeSafe는 또한 사용자에게 자체 레이블이 지정된 데이터로 임계값을 검증하라고 안내하며, 한 독립 감사에서는 Jev의 보정이 작업에 따라 급격히 달라진다는 사실을 발견했습니다.

이 패턴은 명확하다. Laya는 미세 조정에 강한 기반이자 제로샷 결정 엔진으로는 약하며, 스스로도 그렇게 말한다. Jev는 강력한 제로샷 결정 엔진이지만 배포할 때마다 캘리브레이션을 여전히 확인해야 한다. 이들은 서로 다른 가격 구조를 지닌 서로 다른 제품이며, 둘 중 무엇을 선택할지는 대체로 레이블이 지정된 데이터와 훈련 루프가 있느냐의 문제다.

비용 계산은 Jev의 것과 같은 형태가 아니다.

Jev는 백만 입력 토큰당 $0.042이고 출력은 무료입니다. 즉 10억 개당 $42이며, 문서화된 64K 토큰 요청 예산에서 최대 크기 호출 비용은 1센트에 훨씬 못 미칩니다. 일반적으로 약 32,000 토큰으로 인용되는 수치는 상태와 단일 최장 질문을 합친 상한이며, 요청의 상한은 아닙니다 — TypeSafe는 상태와 모든 질문을 합쳐 요청당 64K 토큰을 문서화하고, typesafe/jev-1.13에 대한 자체 모델 카드에는 65,536 토큰 컨텍스트가 나와 있습니다. Every의 독립 테스트에서는 37개 문서에 걸친 777개 판단에 약 0.25센트가 들었습니다.

Laya의 호출당 비용은 한계적으로는 0이고 총합적으로는 0이 아니며, 그 총합은 작지 않다. T4에서 421M 파라미터 모델을 실행하는 것은 저렴하고 여전히 GPU 하나를 차지한다. 그리고 Laya를 경쟁력 있게 만드는 파인튜닝 단계가 바로 실제 지출이 일어나는 곳이다 — 데이터 라벨링, 학습 실행, 평가 하네스, 그리고 캘리브레이션 오류를 0.466에서 0.081로 낮추는 질문 유형별 temperature 재적합. 절대 바뀌지 않는 고정된 분류 체계라면, 이는 대량 사용 시 회수되는 일회성 비용이다. 분류 체계가 변동한다면, 이는 반복 비용이며, Jev의 0.727 제로샷 기준선이 훨씬 더 나은 선택이 된다.

놓치기 쉬운 세 번째 비용이 있습니다: Laya의 영어 체크포인트는 512토큰 컨텍스트 윈도우를 가지고 있습니다. 그것은 작은 컨텍스트 예산을 가진 의사결정 모델이 아니라 — 한 문단에 맞춰진 크기의 의사결정 모델입니다. Jev의 64K토큰 요청 예산은 100배 이상 더 크고, 그조차 두 모델이 가격을 견줄 때 기준으로 삼는 생성 모델들보다 한 자릿수 아래입니다. 당신의 상태가 지원 메시지가 아니라 지원 스레드라면, 어느 모델의 윈도우도 당신이 최적화해야 할 제약이 아닙니다.

배포 문제가 진짜 차이점이다

Laya의 가장 강력한 주장은 지연 시간이 아닙니다. Apache 2.0 가중치가 Hugging Face에 있다는 것은 결정이 결코 귀하의 인프라를 떠나지 않으며 엔드포인트에 속도 제한이 없다는 것을 의미합니다. 의료 기록, 법률 문서 또는 고객의 계정 이력을 기반으로 내린 라우팅 결정의 경우, 이는 선호 사항이 아니라 결정적인 요소이며, 어떤 가격의 호스팅 엔드포인트도 그 논쟁에서 이길 수 없습니다. TypeSafe의 자체 홈페이지는 여전히 Jev를 얼리 액세스 단계로 설명하고 있으며, 벤더의 문서는 속도 제한이 동적으로 조정되고 예고 없이 변경될 수 있다고 명시하고 있습니다.

반론은 바로 당신이 포기하게 되는 부분이다. Jev의 비공개된 더 큰 아키텍처는 Laya의 421M 파라미터가 할 수 없는 일을 해내고 있다: 0.727 대 0.362의 제로샷 격차와 0.870 대 0.425의 Banking77 격차는 모두 학습시키기 전에 모델 내부에 얼마나 많은 지식이 들어 있는지를 측정한 것이다. Laya의 답은 파인튜닝을 통해 그 지식을 직접 공급하라는 것이며, 좁고 고정된 도메인에서는 그 답이 통한다 — 0.766이라는 파인튜닝 결과가 그 증거다.

실제 스택에서 의사결정 계층이 자리하는 위치

어느 모델도 텍스트를 생성하지 않으므로, 어느 쪽도 어떤 워크플로의 전부가 아닙니다. 두 모델이 함께 염두에 두고 설계된 패턴은 두 개의 모델입니다. 즉, 타입이 지정된 호출을 수행하는 결정 계층과, 산문·코드·설명이 필요한 부분을 담당하는 생성 모델입니다. 예전에는 이런 분리가 곧 두 번째 벤더 계약을 뜻했습니다. 결정을 담당하는 절반은 생성 절반과 같은 키로 호출할 수 있는 대상이 아니었기 때문입니다. 이제는 그렇습니다. Jev는 POST /v1/systemone을 통해 typesafe/jev-1.13으로 저희를 거쳐 라우팅할 수 있습니다. 비스트리밍, 65,536 토큰 컨텍스트, 입력 토큰 100만 개당 $0.042이며 출력 요금은 0입니다. 해당 라우트에 대한 저희 자체 7일 서빙 기록은 p50 151밀리초를 보여주는데, 이는 벤치마크가 아니라 저희 자체 하드웨어에서 나온 저희 자체 트래픽입니다. 이는 네트워크 측정치이며, 위의 32.8ms 로컬 포워드 패스와는 다른 측정치입니다. Laya는 다른 방식으로 남습니다. 직접 실행하는 오픈 웨이트로, 저희가 호스팅하지 않으며 호스팅할 필요도 없습니다. 그 패턴의 생성 절반이 바로 저희가 담당하는 부분입니다. 하나의 OpenAI 호환 키 뒤에 200개 이상의 모델이 있으며, 이는 공급업체 정가를 0% 마크업으로 그대로 전달하는 방식이므로, 벤더 가격이 바뀌면 저희 쪽에도 같은 날 반영됩니다. 두 모델 아키텍처는 두 번째 벤더 계약 없이도 테스트할 수 있습니다. 생성 절반뿐 아니라 결정 절반도 마찬가지입니다. 그리고 자동 페일오버가 있으므로, 값싼 결정 계층이 자동화에 쓸 만큼 잘 보정되었는지 판단하는 동안에도 생성 경로가 단일 장애점이 되지 않습니다.

평결

고정적이고 좁은 분류 체계, 레이블이 지정된 예시, 그리고 호스팅 API를 배제하는 프라이버시 또는 지연 시간 요구 사항이 있다면, Laya는 더 방어 가능한 선택이며 미세 조정된 수치가 이를 뒷받침합니다. 결정이 별도 설정 없이 바로 작동하기를 원한다면, 옵션 집합이 20개 범주를 넘어간다면, 또는 상태가 한 문단보다 길다면, Laya 자체의 모델 카드는 그것이 그 작업에 맞는 제품이 아니라고 말해 줍니다 — 그리고 누군가 7.8배 지연 시간 수치를 당신에게 인용할 때 계속 염두에 두어야 할 숫자는 다수결 기준선 0.461에 대비한 제로샷 점수 0.362입니다.

두 대상의 공통점은 이들을 갈라놓는 점보다 더 유용하다. 둘 다 출력 형식에서 비롯되는 오류 부류는 제거하지만, 판단에서 비롯되는 부류에는 아무것도 하지 않는다. 둘 다 확률을 제공하지만, 어느 쪽도 확인하지 않고 신뢰할 수 있는 공개된 신뢰도 다이어그램을 갖고 있지 않다. 어느 쪽에든 자동화를 적용하기 전에 직접 라벨을 붙인 사례에서 보정을 시험하라 — 지연 시간은 이미 상품화되었고, 신뢰도 값은 배포마다 획득해야 하는 부분이다.