Jev vs Kev: 지원 티켓에서 Jev를 앞서는 $95 파인튜닝

재러드 파머는 2026년 9월 20일 Kev를 공개했는데, 이는 TypeSafe AI가 Jev를 출시한 지 5일 뒤였다. 그리고 중요한 숫자는 벤치마크 표에 있지 않다. 그것은 README에 있다. 전체 비용은 Modal에서의 H100 시간으로 약 95달러, 여기에 평가 데이터를 생성하는 데 쓴 Jev API 호출 3센트가 더해진 정도였다. Kev는 Apache-2.0이고 자체 호스팅이 가능하며, 공개된 Qwe​n3.5 기본 가중치를 기반으로 만든 세 가지 크기 — 대략 0.8B, 4B, 9B — 로 제공된다. 처음부터 만든 의사결정 모델이 아니라 동결된 베이스에 rank-16 LoRA 어댑터와 포인터 헤드를 붙인 형태다. Kev는 Jev의 타입 지정 의사결정 API를 정확히 그대로 따른다. Choice, Score, Noul이며, TypeSafe 자체 Python SDK와 호환될 만큼 가깝다. Jev는 2026년 9월 15일 TypeSafe AI의 폐쇄형 호스팅 System One 모델로 출시되었고, 보정된 신뢰도와 함께 텍스트 없이 타입이 지정된 답변을 반환하며, 아키텍처, 파라미터 수, 학습 컴퓨트, 가중치를 한 번도 공개한 적이 없다. 따라서 이 비교는 사실상 모델 비교가 아니다. 중고 노트북 한 대 값으로 반나절 만에 재현했을 때 Jev의 가치가 얼마나 살아남는지를 시험하는 것이다. 두 모델 모두 새로운 것이 아니다 — Jev 1.13(typesafe/jev-1.13)이 9월 15일 릴리스이고 Kev가 5일 뒤를 이었다 — 하지만 이 비교에 관한 한 가지는 최근에 바뀌었다. 2026년 9월 24일 OrcaRouter가 자사 카탈로그에 Jev 1.13을 추가했기 때문에, 이제 이 짝의 의사결정 절반은 공급업체 자체 엔드포인트를 통해서만이 아니라 생성 절반과 동일한 키로 응답한다.

벤치마크가 실제로 말하는 것

헤드라인은 Kev가 바짝 따라붙었고, 하나의 좁은 과제에서는 승리한다는 것이다. Kev의 잠긴 신규 소스 테스트 세트에서 Kev-9B는 Jev의 0.857에 맞서 0.837을 기록했다. 900개 티켓에 걸친 지원 티켓 라우팅 — scienthoon 세트 — 에서 Kev-9B는 Jev의 0.897에 맞서 0.952를 기록했는데, 이는 오픈 재현이 자신이 재현한 모델을 앞선 유일한 공개 결과다. Kev는 일부 논리 인식 과제에서도 근소하게 앞선다. 144개 질문으로 구성된 구조화 세트인 SemiF 결정 세트에서는 Jev가 0.965 대 Kev-9B의 0.917로 이긴다.

Kev가 지는 경우에는 크게 진다. 도메인 외 정확도: Kev-8B가 79.6%로 Jev의 85.7%에 대비된다. MMLU: 70% 대 90%. MMLU-Pro: 0.515 대 0.840. 날짜 연산(일 단위 정밀도): 60% 대 93%. 패턴은 일관된다 — Kev는 레이블 집합이 작고 도메인이 고정된 좁은 라우팅과 분류에서는 경쟁력이 있지만, 세계 지식이나 다단계 산술이 필요한 모든 것에서는 무너진다. 왜냐하면 동결된 작은 기본 모델 위의 rank-16 어댑터는 세계 지식이 존재하는 곳이 아니기 때문이다.

그 수치들은 하나같이 Kev 자체의 하네스나 제3자 트래커에서 나온 것이며, Palmer의 README에는 그것이 통제된 비교가 아니라고 분명히 적혀 있습니다 — Jev의 학습 데이터는 공개되지 않았기에 그러한 비교를 만들 방법이 없습니다. README에는 또한 학습에 Jev의 출력이 전혀 사용되지 않았다고 명시되어 있습니다. 두 면책 문구는 모두 수치를 덜 믿을 만하게 만들기보다는 더 믿을 만하게 만드는 종류입니다: 비교를 공개하는 사람이 바로 그 비교가 무엇을 입증할 수 없는지 알려 주는 사람이기 때문입니다.

$95에 얻을 수 있지만 Jev에게서는 어떤 가격으로도 얻을 수 없는 것

비용 비교는 두 제품이 더 이상 비교 자체가 성립하지 않게 되는 지점이다. Jev는 입력 토큰 100만 개당 $0.042에 출력은 무료다 — TypeSafe 자체 가격표에 적힌 요율이며, typesafe/jev-1.13에 대한 우리 모델 카드에 실린 요율이기도 하다 — 이는 호출당 기준으로 정말이지 따라잡기 어려운 수준의 저렴함이다. 이는 호스팅형 API이고, TypeSafe 자체 홈페이지는 여전히 이를 얼리 액세스 단계라고 설명한다. 그것은 벤더 자신의 표현이며, 예전에 그 뒤에 있던 대기자 명단은 사라졌다 — TypeSafe는 2026년 9월 21일에 이를 제거했고, 이제 그 모델 문서가 대신 공개하는 것은 서빙 한도 자체다. 계정당 초당 100,000 토큰과 초당 40건의 요청이며, 동적으로 조정되고 예고 없이 변경될 수 있다. Kev는 직접 다운로드하는 가중치다. 천만 번째 분류의 한계 비용은 바로 자신의 전기 요금이다.

그로부터 네 가지가 따라 나오는데, 그중 어느 것도 벤치마크 점수에 관한 것은 아닙니다.

• 데이터는 여러분의 인프라를 벗어나지 않습니다. Jev는 호스팅형 엔드포인트이며, 여러분이 Jev로 보내는 모든 상태 — 지원 티켓, 로그 라인, 의료 기록 — 는 TypeSafe로 전달됩니다. Kev는 여러분 자체 GPU에서 실행되며, 규제 대상 워크로드에서 이는 선호 사항이 아니라 결정적 요인입니다.

• 타사 속도 제한도, 게이트된 접근도, 지원 중단 위험도 없습니다. TypeSafe 자체 문서는 그렇게 공개된 제한을 언제든지 변경할 권리를 유보하며, 이는 자신의 디스크에 있는 체크포인트와는 실질적으로 다른 점입니다. 로컬 체크포인트에는 그러한 조항이 없습니다.

• 미세 조정할 수 있습니다. Kev는 특화를 위한 기반이며, 이를 만들어낸 LoRA 레시피는 공개되어 있습니다. 라우팅 분류 체계에 범용 모델이 잘 처리하지 못하는 클래스가 40개 있다면, 자체 레이블로 학습시킬 수 있습니다 — 이는 바로 Palmer가 한 일이며, ML 팀을 꾸리는 대신 수십 달러 규모의 비용으로 가능했습니다.

• 컨텍스트 상한은 당신이 변경할 수 있습니다. Jev의 문서화된 요청 예산은 64K 토큰이며, 그중 32,000은 별도 허용량이 아니라 상태와 가장 긴 단일 질문을 합한 값이고, Choice 필드는 최대 255개 옵션으로 제한됩니다. Kev는 Qwe​n3.5의 창을 상속받으며, 이는 훨씬 더 크고, 옵션 상한은 공급업체 제한이라기보다 당신 자신의 서빙 스택의 구현 세부 사항입니다.

Jev가 여전히 가지고 있는, Kev에게는 없는 것

보정(calibration) 주장은 매끄럽게 전이되지 않는 항목이며, 이는 TypeSafe 제안의 핵심입니다. Jev는 TypeSafe가 RLCD — 보정된 결정을 위한 강화 학습(Reinforcement Learning for Calibrated Decisions) — 라고 부르는 방법으로 훈련됩니다. 이 방법은 선호되는 답변을 내놓는 것이 아니라 신뢰도 값이 정직하도록 최적화합니다. 모든 Jev 답변에는 선택지에 대한 확률 분포가 함께 제공되므로, 코드에서 임계값을 설정할 수 있습니다. 상위 구간에서는 자동으로 실행하고, 중간 구간에서는 플래그를 지정하며, 하위 구간에서는 에스컬레이션합니다.

Kev는 동일한 타입화된 형태와 동일한 확률 출력을 생성합니다. API가 의도적으로 호환되도록 설계되었기 때문입니다. 그 확률들이 보정되었는지는 별개의 문제이며, 솔직한 답은 두 모델 모두에 대해 신뢰도 다이어그램을 공개한 사람이 아무도 없다는 것입니다. 별도의 보정 감사에서는 Jev가 숨겨진 정책 우선순위 작업에서 정확도 44.7%, 기대 보정 오차 0.325를 기록했다고 보고했는데, 이는 Jev의 보정이 보편적 속성이라기보다 작업에 따라 급격히 달라진다는 것을 시사합니다. 그리고 TypeSafe 자체도 사용자에게 공개된 동작을 신뢰하기보다 자신들이 레이블을 지정한 예시로 신뢰도 임계값을 테스트하라고 권고합니다.

Jev의 또 다른 점은 Qwe​n3.5로 학습되지 않았다는 것이다. rank-16 어댑터를 갖춘 9B 모델에는 지식 한계가 있고, 0.515 대 0.840이라는 MMLU-Pro 격차는 그 한계가 드러난 것이다. 라우팅 결정에서 때때로 어떤 것이 무엇인지 아는 능력이 필요하다면, Jev의 더 큰 비공개 아키텍처는 Kev의 어댑터가 할 수 없는 일을 하고 있는 것이다.

지연 시간과 배포 형태

Jev의 문서화된 종단 간 지연 시간은 70–500ms로, TypeSafe 자체 비교에서 프런티어 LLM 호출의 3–329초와 대비됩니다. 또한 호출에 질문을 추가해도 지연 시간은 거의 변하지 않는데, 모든 질문이 상태에 대한 하나의 공유된 읽기를 기준으로 병렬 평가되기 때문입니다. 그 벤더의 주장에 대응하는 측정된 사례가 하나 있으며, 그것은 TypeSafe의 것이 아니라 우리 것입니다. typesafe/jev-1.13에 대한 우리 모델 카드가 모델을 서빙해 온 2026년 9월 24일부터 7일 동안, 요청의 중앙값은 151ms, 95번째 백분위수는 247ms였습니다. 이는 하나의 라우트에 대한 서빙 기록이지 벤치마크가 아닙니다. H100에서의 Kev-9B는 단일 순전파 기준으로 같은 자릿수에 들어올 것이지만, 이 비교는 어느 방향으로도 동등한 조건의 비교가 아닙니다. 부하가 걸린 공유 GPU에서 자체 호스팅되는 9B는 호스팅 엔드포인트와 같은 지연 시간이 아니고, 호스팅 엔드포인트는 여러분의 랙에 있는 장비와 같지 않습니다. 에두르지 않고 말할 수 있는 것은 둘 다 에이전트 루프에서 턴 단위 사용에 충분히 빠르다는 것, 그리고 Kev의 지연 시간은 약속받은 서비스 수준이 아니라 여러분이 통제하는 하드웨어의 함수라는 것입니다.

복제에 대한 솔직한 평가

Kev가 존재한다는 사실 자체가 Jev에 관한 증거이며, 이는 이름 붙일 가치가 있다. 한 사람이 95달러로 5일 만에 공개 베이스 가중치 위에서 그 동작을 근사할 수 있는 폐쇄형 모델은, 그 이점 중 얼마나 많이 아키텍처에서 비롯되고 얼마나 많이 학습 데이터와 서빙에서 비롯되는지를 시사한다. 따라서 Jev를 구축하기 쉽다는 결론이 나오는 것은 아니다 — API 표면은 복사하기 쉽지만, 캘리브레이션은 그렇지 않다. 하지만 이는 해자가 인터페이스가 아니라는 뜻이며, 프로덕션 경로를 위해 Jev를 평가하는 사람이라면 누구든 오픈 베이스를 파인튜닝하는 것만으로 훨씬 적은 투자로 대부분의 길에 도달할 수 있다는 가능성을 염두에 두어야 한다.

이것은 아직 어느 쪽에도 프로덕션 경로를 걸지 말아야 한다는 주장이기도 합니다. Jev를 평가 중이라면 합리적인 태도는 확정하지 않고 시험해 보는 것입니다 — 그리고 2026년 9월 24일부터는 저희 키로 그렇게 할 수 있습니다: OrcaRouter는 Jev 1.13을 typesafe/jev-1.13으로 제공하며, 어디서나 사용하는 동일한 POST /v1/systemone 엔드포인트와 동일한 비스트리밍 요청 형식을 통해 호출되고, 65,536토큰 컨텍스트에서 입력 토큰 100만 개당 $0.042, 출력은 0으로 청구됩니다. 의사결정 계층과 생성 계층이 이제 하나의 계정에 있습니다: 하나의 OpenAI 호환 키 뒤에 있는 200개 이상의 모델, 공급자 정가로 0% 마크업으로 전달, 자동 페일오버 포함. 저렴한 의사결정 계층이 트래픽을 분류하고 생성 모델이 나머지를 처리하는 두 모델 아키텍처는 두 번째 공급업체 계약 없이 저희 쪽에서 테스트할 수 있으며, 의사결정 구성 요소가 귀하의 데이터에서 잘못 보정된 것으로 판명되더라도 페일오버 경로가 그것이 인시던트가 되는 것을 막아줍니다.

평결

만약 당신의 의사결정 작업이 좁고, 고정된 도메인이며, 대용량이고, 프라이버시에 민감하다면, Kev가 오늘날 더 방어 가능한 선택이며 이는 근소한 차이가 아닙니다 — 당신은 가중치를 소유하고, 데이터 경로를 통제하며, 자체 레이블로 미세 조정할 수 있고, 지원 티켓 라우팅에서 9B 체크포인트는 이미 Jev의 자체 공개 수치에서 Jev를 능가합니다. 만약 당신의 의사결정 작업에 세계 지식, 다단계 산술, 또는 자동화 기준으로 삼을 신뢰도 값이 필요하다면, Jev의 더 큰 비공개 모델과 RLCD 훈련은 실질적인 역할을 하고 있으며, Kev의 어댑터는 둘 중 어느 것도 대체할 수 없습니다.

두 비교 중 어느 것도 해결하지 못하는 한 가지는 보정(calibration)입니다. 어느 모델에 대해서도 신뢰도 다이어그램(reliability diagram)이 공개된 적이 없기 때문입니다. 두 제품 중 하나를 자동화에 적용하기 전에, 직접 라벨링한 사례에서 이것을 테스트하세요 — 신뢰도 값은 두 제품 모두 배포할 때마다 입증해야 하는 부분이고, 속도는 이미 상품화된 부분입니다.