Jev는 단 한 단어도 쓰기를 거부한다: TypeSafe AI의 의사결정 모델이 하는 일과 아직 아무도 검증하지 못한 것

Jev는 TypeSafe AI의 첫 모델로, 독자가 채팅창이 아니라 비용표를 통해 처음 접하게 될 가능성이 크다. 채팅창이 없기 때문이다. InstructGPT 논문 — ChatGPT가 비서처럼 행동하게 만든 연구 — 의 공동 저자인 Diogo Almeida가 2026년 9월 15일 출시한 Jev는 텍스트를 전혀 생성하지 않는다. 대신 상태 조각(이메일, 로그 한 줄, 지원 티켓, 게임 좌표의 JSON 덩어리)과 타입이 지정된 질문 목록을 받아 타입이 지정된 답변을 반환한다. 사용자가 제공한 집합에서의 선택, 루브릭상의 점수, 또는 예/아니오 확률이며, 각각 고유한 신뢰도 값을 함께 지닌다. 산문도, 코드도, 설명도 없다. TypeSafe의 주장은 이 좁은 범위가 바로 제품이라는 것이다. 생성 모델이 따라올 수 없는 속도와 가격을 확보해 주기 때문이다. 회사 자체 출시 자료에 따르면 "비교 가능한 LLM"보다 20~200배 빠르고 40~400배 저렴하며, 입력 토큰 100만 개당 0.042달러에 출력은 0으로 청구된다.

첫 48시간 동안 공개된 가장 유용한 수치는 그중 하나가 아니다. 그것은 Every에서 나왔는데, Every의 평가 책임자가 Jev를 27개의 공개된 Every 기사와 10개의 AI 스타일 대응 문서에 걸쳐 실행하고, 37개 문서 전체에 한 번에 21개의 질문을 던진 결과다: 0.7초 이내에 777건의 판단, 비용은 약 0.25센트. Every의 CEO가 수행한 두 번째 테스트는 12개의 합성 문단 — 6개는 깨끗하고, 6개는 의도적으로 결함을 심어 놓은 — 을 네 가지 글쓰기 검사에 대조했다. Jev는 문단당 중앙값 0.35초를 기록했고, 높은 노력 모드의 Claude Fable 5.1은 8.83초였다: 약 25배 더 빠르고 비용은 약 580분의 1이었다. 그것은 심어진 결함 7개 중 6개를 잡아냈다. Claude Fable 5.1은 7개 모두를 잡아냈다. Every의 평가는 "좋지만 완벽하지는 않다"였고, 그것이 지금까지 누군가 공개한 유일한 독립 테스트에서 나온 Jev에 대한 정직한 한 줄 해석이다 — 속도와 비용 주장은 제3자 검증을 견뎌냈고, 정확도 주장은 최전선보다 한 단계 아래에 있으며, 표본이 충분히 작아서 누구도 이것으로부터 프로덕션 결론을 내려서는 안 된다.

이 글에서 다루는 증거가 어떤 성격인지에 관한 주석을 달아 둔다. 이렇게 새로운 모델치고는 증거 등급 간 격차가 이례적으로 크기 때문이다. Jev는 실제로 존재하고 호출할 수 있다. 문서화된 엔드포인트, Python SDK, 모델 별칭, 공개된 가격이 있다. 출시는 유출된 것이 아니라 벤더가 발표한 것이며, 그것이 존재하는지에 대해 추측하는 사람은 없다. 그러나 TypeSafe가 앞세우는 모든 성능 주장은 TypeSafe 자체의 것이고, 아키텍처는 공개되지 않았으며, 가중치는 나오지 않았고, 20-200x라는 헤드라인 뒤의 벤치마크 대시보드는 공개 리더보드가 아니라 일련의 내부 워크플로 평가다. 외부 한 곳이 이를 테스트했다. 이 글은 벤더 수치, 독립적 수치, 미해결 질문을 뚜렷이 분리해 두며, 존재하지도 않는 합의로 이들을 평균 내지 않는다.

TypeSafe가 실제로 출시한 것

Jev는 TypeSafe가 System One 모델이라고 부르는 것의 첫 번째입니다. 그 이름은 Daniel Kahneman이 말한 인지의 빠르고 직관적인 절반에서 빌려온 것으로, 챗봇이 모방하는 느리고 숙고하는 방식과는 대조됩니다. TypeSafe가 그리는 대조는 텍스트 생성기를 강제로 구조화된 출력을 내보내게 한 다음, 그 텍스트를 코드가 신뢰할 수 있는 무언가로 다시 파싱하는 표준 패턴과의 대비입니다. Jev는 텍스트를 완전히 건너뜁니다. TypeSafe의 자체 문서는 이 점을 단호하게 밝힙니다: "대규모 언어 모델(LLMs)은 사람이 읽을 수 있는 텍스트를 생성하도록 설계되었습니다. 코드가 소비할 판단을 모델이 내려야 할 때, 불일치가 발생합니다."

출력 표면은 세 가지 기본 요소로 이루어져 있으며, 그 외에는 아무것도 없습니다. 당신이 하는 모든 질문은 그중 하나여야 합니다:

• Choice — 제공한 목록에서 옵션 하나를 선택하여, 선택한 옵션과 함께 각 후보에 대한 확률 및 신뢰도를 반환합니다. 옵션은 필드당 255개로 제한되며, 그 이상인 경우 TypeSafe는 후보를 독립적으로 점수화한 다음 선택하는 2단계 패턴을 문서화합니다.

• Score — 상태를 순서형 루브릭에 배치하고, 레벨과 레벨별 확률, 신뢰도를 반환합니다. 이탈 위험을 0-1 척도로 나타내는 것이 문서에 있는 예시입니다.

• Noul — "no"와 "null"의 혼성어 — 참일 보정된 확률을 반환하는 단일 예/아니오 주장.

흥미로운 특성은 어느 하나의 기본 요소가 아니라 그것들이 어떻게 조합되는가에 있습니다. 세 가지 모두 하나의 API 호출에서 섞어 쓸 수 있으며, 모든 질문은 동일한 상태를 한 번 공유해서 읽은 것을 기준으로 병렬로 평가됩니다. TypeSafe의 문서에 따르면 질문을 추가해도 "응답 시간이 거의 변하지 않는다"고 하며, 독립적인 테스트도 이를 실제로 뒷받침합니다 — 37개 문서에 걸친 21개 질문이 동일한 0.7초 안에 처리되었습니다. 이것이 판단당 가격을 폭락시키는 이유입니다: 더 긴 생성에 비용을 내는 것이 아니라, 한 번의 패스에 비용을 내는 것입니다.

문서에 기록된 대로, 그리고 초기 사용자들이 보고한 대로, 실용적 범위는 대략 다음과 같습니다: 약 32,000토큰의 요청 예산으로, TypeSafe 문서에서는 약 150,000자의 영문자라고 설명하며; 출시 시점에는 이미지나 오디오 입력이 없고; 요청 및 응답 형태가 OpenAI chat-completions 규약이 아니므로, 이를 호출하려면 base-URL 교체가 아니라 맞춤형 클라이언트가 필요합니다. 접근 방식은 얼리 액세스 대기자 명단과 브라우저 플레이그라운드이며, code>jev-latest/code>가 모델 별칭입니다.

RLCD는 선호가 아닌 교정을 의미한다

TypeSafe는 자사 문서에 따르면, RLCD — 보정된 의사결정을 위한 강화학습이라고 부르는 방법으로 Jev를 훈련한다. 이 약어는 등장한 지 얼마 안 되어 초기 보도에서 제각각 다르게 풀어 썼기 때문에, 그것이 실제로 무엇을 가리키는지 정확히 짚고 넘어갈 가치가 있다. 왜냐하면 그 구분이 바로 이 연구 주장의 전부이기 때문이다.

RLHF는 인간이 선호하는 출력에 최적화한다. RLVR은 검증 가능한 정확성, 즉 테스트 케이스를 통과하는 종류의 정확성에 최적화한다. RLCD는 보정에 최적화한다: 자신이 70% 확신한다고 말하는 모델은 약 70%의 경우에 맞아야 한다. 이는 단순히 맞는 것과는 다른 목표이며, 모든 Jev 답변이 그냥 답변만이 아니라 확률 분포를 함께 제공하는 이유이다. 의도된 실패 모드는 모델이 자신이 모르는 때를 아는 것이며, 그래야 여러분의 코드가 그것에 대해 무엇을 할지 결정할 수 있다.

그것이 실제로 해 주는 것은 제어 인터페이스입니다. 문서에 나온 패턴은 세 개의 신뢰 구간입니다. 맨 위에서는 자동으로 조치하고, 중간에서는 플래그를 달거나 확인하며, 맨 아래에서는 사람에게 전달합니다. 그리고 임계값은 모델이 아니라 코드에 있습니다. 그 구간이 정직한지는 데이터에 관한 경험적 질문이며, TypeSafe가 명시적으로 스스로 답하라고 말하는 질문입니다. 신뢰 임계값은 사용 사례별로 다르며 자신의 레이블된 예제에 대해 테스트해야 한다는 점을 언급하면서요. 그 지침은 문서에서 가장 중요한 문장이며, 다음 섹션이 존재하는 이유입니다.

누가 만들었는지에 따라 정렬된 숫자들

Jev를 다룬 대부분의 글은 바로 이 지점에서 어물쩍 넘어가므로, 출처를 분명히 밝히는 것이 좋습니다. 다음은 벤더에서 나온 것, 독립 테스터에게서 나온 것, 그리고 그저 알 수 없는 것입니다.

• 공급업체가 보고했지만 재현되지 않은 — 대표적으로 내세운 속도 및 비용 주장. 최첨단 LLM 호출의 3~329초에 대비한 70~500ms 엔드투엔드 지연 시간; 20~200배 더 빠르고 40~400배 더 저렴; 단일 최선의 사례 워크플로 결과는 193.6배 더 빠르고 444.6배 더 저렴하다고 광고됨. TypeSafe는 이것이 보편적인 수치가 아니라 최선의 사례임을 인정한다.

• 공급업체 보고 기준이며 가격표에서 확인 가능 — 입력 토큰 100만 개당 $0.042, 즉 10억 개당 $42이고 출력은 무료다. 출력이 무료인 이유는 프로모션이 아니라 작동 방식에 있다: 계량할 자기회귀 디코딩이 없으므로 청구할 출력 토큰도 없다. 규모를 가늠하자면, 같은 출시 자료에서는 일반적인 프런티어 입력 가격을 100만 개당 $0.20~$10로 제시하며, 출력은 흔히 입력 가격의 약 5배다.

• 벤더 보고 기준, 내부 벤치마크에서 — TypeSafe 자체 워크플로 대시보드, 네 가지 작업에 걸친 711개 사례, 참조 답변은 정답이 아니라 GPT-6 Astra와 Claude Fable 5.1의 평균 판단에서 도출됨. 그 대시보드에서 Jev는 67.8%로 집계되어 최고 비교 대상의 74.1%와 대비된다. 세부 분류: 보안 사고 61.7% 대 Opus 5의 66.2%; 에이전트 트레이스 관측성 71.6% 대 76.6%; 인보이스 처리 61.8% 대 79.1%; 고객 서비스 76.0% 대 78.3%. Jev는 해당 차트에서 비용 및 지연 시간 열에서 이기고 정확도 열에서는 진다. 대시보드 자체는 하네스 편향 가능성을 언급하며, TypeSafe는 제품 업데이트와 연계된 일회성 평가를 위해 공개 리더보드를 의도적으로 건너뛰었다고 밝혔다.

• 독립적으로 측정된, 작은 표본 — 위에서 설명한 Every의 테스트: 777건의 판정을 0.7초 이내에 약 4분의 1센트로; 11개 실험에 걸쳐 1,709건의 판정을 총 1센트 미만으로; 12개 지문 분류 작업에서 Claude Fable 5.1보다 약 25배 빠르고 비용은 580분의 1이었지만, 비교 대상이 잡아낸 7개의 심어 놓은 결함 중 하나를 놓쳤다. Every 자체의 결론은, 이를 프로덕션에 투입하기 전에 훨씬 더 철저한 정확도 점검을 하고 싶다는 것이었다.

• 알 수 없음 — 아키텍처. 출시 당시 논문 없음, 파라미터 수 없음, 학습 컴퓨트 공개 없음, 가중치 없음. TypeSafe는 세부 사항을 "당분간 가슴에 품고 있다"며 논문은 나중에 나올 수도 있다고 밝혔다.

여러 등급에 걸쳐 나타나는 패턴은 일관되며, 200배라는 헤드라인이 시사하는 패턴은 아니다. 모든 독립적 수치와 벤더 수치가 일치하는 것은 Jev가 극적으로 더 저렴하고 극적으로 더 빠르다는 점이다. 어디에도, TypeSafe 자체 수치를 포함해서도, 그것이 가격이 책정된 대상인 프런티어 모델들보다 더 정확하다는 것을 보여주는 숫자는 없다. 벤더 자체 대시보드에서 그것은 좋은 중급 모델 정도의 수준에 위치한다. 견고하게 성립하는 비교는 "가격의 100분의 1로 프런티어 모델만큼 똑똑하다"가 아니라 "호출당 1센트의 일부 비용으로 중급 모델의 판단력에 가깝고, 매 턴마다 실행할 수 있을 만큼 빠르다"이다.

‘제로 환각’이 의미하는 것과 의미하지 않는 것

TypeSafe의 출시 자료에는 Jev의 도구 호출 오류율이 0%인 반면 비교 모델들은 0%가 아닌 오류율을 보인다는 차트가 포함되어 있고, "환각 저항성"이라는 표현이 그 모델과 함께 따라다닌다. 둘 다 사실이지만, 둘 다 읽히는 것보다 더 좁은 의미다.

이 보장은 구조적입니다. 가능한 모든 답은 모델이 실행되기 전에 열거됩니다 — 선택지 목록, 평가 기준, 또는 참/거짓 주장을 당신이 제공했기 때문입니다 — 따라서 선언된 타입 밖의 값을 내놓을 여지가 없습니다. 잘못된 형식의 도구 호출은 Jev가 생성할 수 있는 것이 아닙니다. 이것은 진정한 엔지니어링 속성이며, JSON 파싱 실패에 대한 재시도 로직을 일주일 동안 작성해 본 사람이라면 누구에게나 실제 돈을 지불할 가치가 있습니다.

그것은 올바름에 대한 주장이 아니다. 스키마에 유효한 답변도 여전히 틀릴 수 있다. Jev는 청구 관련 불만을 기술 대기열로 자신 있게 라우팅할 수 있고, 출력은 완벽하게 형식은 갖추지만 쓸모없을 것이다. Almeida 자신도 그렇게 말한 바 있으며, 자신 있게 틀리는 것이 가능하다는 점을 인정했다. 두 사실을 함께 견지하는 유용한 방식은 Jev가 출력 형식화에서 비롯되는 오류 범주를 제거하고, 판단에서 비롯되는 범주에 대해서는 전혀 아무것도 하지 않는다는 것이다. 이는 정확성 문제가 전적으로 캘리브레이션 문제이며, 캘리브레이션은 바로 당신이 스스로 측정해야 하는 것이라는 뜻이다.

자신의 데이터로 캘리브레이션 주장을 테스트하는 방법

캘리브레이션은 수백 개의 예시와 ML 인프라 없이 제대로 확인할 수 있는 몇 안 되는 모델 속성 중 하나이며, Jev가 프로덕션 경로를 건드리기 전에 중요한 유일한 테스트입니다. 절차는 짧습니다.

이미 레이블이 있는 사례 수백 건을 가져오세요. Jev에게 중요한 질문—라우팅 결정, 위험 점수, 결함 확인—을 던지고, 보고된 신뢰도에 따라 답변을 버킷으로 나누세요. 그런 다음 신뢰도 0.9 버킷이 약 90%의 경우에 맞는지, 0.7 버킷은 약 70%인지 등을 확인하세요. 잘 보정된 모델은 대각선을 그립니다. 그저 자신감만 높은 모델은 모든 것을 0.9 위에 몰아넣고 70%의 경우에만 맞는데, 이것이 자동화 파이프라인을 조용히 망가뜨리는 형태입니다.

같은 테스트가 어떤 임계값을 사용해야 하는지 알려준다. 0.9 버킷이 정말로 당신의 데이터에서 90% 정확하다면, 그것을 자동화할 수 있다. 중간 밴드가 모호한 덩어리라면, 그것을 사람에게 라우팅하거나 생성형 모델에 넘기고 비싼 경로가 모호성을 처리하게 하라. 확신하는 다수에게는 저렴한 모델을, 불확실한 나머지에는 비싼 모델을 배치하는 그 분할이 바로 Jev가 주장하는 실제 아키텍처이며, 이것이 그 모델을 대체물이 아니라 구성 요소로 이해하는 것이 가장 좋은 이유다.

비용은 얼마인가, 하나하나 따져보면

가격 책정은 따져보기에 충분히 단순하며, 이는 드문 일이다. 입력은 백만 토큰당 $0.042이다. 출력은 무료이다. 문서에 명시된 요청 예산인 약 150,000자에서, 단일 최대 크기 호출 비용은 1센트에 훨씬 못 미친다.

보고된 두 수치는 규모를 가늠하게 해준다. 한 초기 사용자는 약 5,000건의 요청을 약 2달러로 실행했다. Doom 데모 — Jev가 원시 픽셀이 아니라 게임 상태를 텍스트로 설명한 것을 사용해 봇을 조종한 — 는 초당 약 10회 호출로, 시간당 약 7달러에 돌아갔다. 그리고 Every가 37개 문서에 걸쳐 수행한 777건의 판단은 약 0.25센트로 나왔는데, 이 수치가 흥미로운 사용 사례를 명확히 보이게 해준다. 그 가격이라면 에이전트 루프의 모든 단일 턴을 확인하는 일은 더 이상 비용 결정이 아니라 기본값이 된다.

그것이 Jev를 지지하는 진짜 논거다. 매 턴마다 수행되는 검증 패스 — 이 도구 호출이 이전 호출과 모순되었는가, 이 출력이 사용자가 밝힌 의도와 일치하는가, 이것이 플래그를 세워야 하는가 — 는 프런티어 모델로는 항상 기술적으로 가능했지만 대규모에서는 경제적으로 터무니없었다. 백만 토큰당 $0.042에 출력 요금이 없다면, 같은 패스가 매 턴마다 감당 가능해진다. 여기서 가치는 Jev가 프런티어 모델보다 더 잘 사고한다는 데 있지 않다. 왜냐하면 그렇지 않기 때문이다. 가치는 그것이 끊임없이 활용될 수 있을 만큼 저렴하고 빠르게 사고한다는 데 있다.

분명히 짚고 넘어갈 필요가 있습니다. 당연히 이어질 질문이니까요: OrcaRouter는 Jev를 제공하지 않습니다. TypeSafe의 모델은 얼리 액세스, 대기자 명단 방식이며 자체적인 요청 형식을 사용하므로, 이를 테스트하려는 사람은 누구든 TypeSafe를 직접 거치게 됩니다. 라우팅 계층이 실제로 들어맞는 곳은 워크플로의 나머지 절반입니다. Jev가 설계된 패턴은 모델 하나가 아니라 둘입니다 — Jev가 타입이 지정된 결정을 내리고, 생성 모델이 산문이나 코드, 설명이 필요한 부분을 처리합니다. OrcaRouter가 담당하는 것이 바로 그 생성 절반입니다: 15개 제공업체에 걸친 197개 모델을 하나의 OpenAI 호환 키 뒤에서, 제공업체 정가에 0% 마크업으로 그대로 전달하므로, 벤더의 가격 인하가 출시되는 당일 우리 쪽에도 반영됩니다. Jev 형태 워크플로의 양쪽 절반 모두 두 번째 계약 없이 테스트할 수 있으며, 결정 구성 요소가 검증되지 않았을 때 잘못된 캘리브레이션 결과가 프로덕션 인시던트로 이어지는 것을 막아주는 것은 페일오버 경로입니다.

Jev가 맞지 않는 곳

한계는 공급업체가 이례적으로 명확히 밝혀 두었기에, 이 섹션은 솔직하게 쓰기 쉽다. Jev는 자유 텍스트를 생성할 수 없다. 코드를 작성할 수 없다. 대화를 나눌 수 없다. 채팅 인터페이스도, 이미지 입력도 없으며, 컨텍스트 예산은 약 32,000토큰이다 — 이는 가격 면에서 비교되는 장문맥 모델보다 한 자릿수 낮은 수준이다. 선택 필드는 최대 255개 옵션으로 제한된다. 그리고 위에서 말한 “환각 없음” 속성은 진실성이 아니라 출력 형식에 관한 것이다.

이 네트워크는 적용 범위가 꽤 좁다. 적합한 경우: 대량 분류 및 라우팅, 가드레일과 검증 패스, 지연 시간이 중요한 결정, 대규모 문서 세트를 병렬로 채점하기, 정답이 진정한 선택지나 척도상의 숫자, 또는 불리언인 모든 곳. 부적합한 경우: 모든 종류의 개방형 생성, 긴 문맥 추론, 다중 턴 대화, 또는 정답이 문장인 모든 작업. 문제가 타입이 지정된 질문으로 환원되지 않는다면, Jev는 그것을 해결하는 더 저렴한 방법이 아니다 — 그것을 해결하는 방법이 전혀 아니다.

이 프레이밍에 대한 정당한 비판도 있으며, 이는 계속 이어갈 가치가 있다. Jev를 프런티어 모델이라고 부르는 것은 그 모델이 얻지 못한 신뢰를 빌려오는 셈이다. Jev는 코딩도, 대화도, 문장 하나도 쓰지 못하며, 비교 차트는 프런티어 모델을 기준선으로 삼고 있지만 정확도 열은 다른 이야기를 들려준다. 더 방어 가능하고, 증거가 실제로 뒷받침하는 주장은 TypeSafe가 구조화된 의사결정에서 속도와 비용의 프런티어를 훨씬 멀리 밀어냈다는 것이다. 그것은 해낸 것만으로도 상당한 일이다. 그것은 GPT-6 Astra나 Claude Fable 5.1에 필적하는 모델을 만드는 것과는 다른 일이다.

이 그림을 바꿀 수 있는 것은 무엇일까요?

세 가지입니다, 대략 중요한 순서대로요.

• 발표된 아키텍처 논문 또는 공개된 가중치. Jev가 어떻게 그 속도를 내는지에 관한 모든 것은 현재 블랙박스이며, 병렬 평가가 그 메커니즘이라는 주장—Almeida가 드는 비유는 트랜스포머가 순환 신경망을 대체한 방식으로 순차 계산을 대체한다는 것—은 입증된 결과라기보다는 단언이다. 설계가 공개되기 전까지 그 속도는 사실이고, 설명은 마케팅이다.

• 더 큰 표본을 사용한 두 번째 독립 평가. Every의 테스트는 이용 가능한 가장 강력한 증거이며, 결정적인 정확성 문제와 관련해 12개의 구절을 다룹니다. 라벨이 지정된 수백 건의 사례에 대한 독립적인 실행이 한 번 더 이루어진다면, 7건 중 1건의 결함을 놓친 것이 잡음이었는지 아니면 실제 오류율이었는지를 판가름할 수 있을 것입니다.

• 현실적이고 지저분한 입력에 대한 캘리브레이션 감사. 지금까지 공개된 모든 것은 깨끗한 테스트 하네스를 사용한다. 전체 가치 제안이 신뢰할 수 있는 신뢰도 점수에 달려 있는 모델에 대해 남은 미해결 질문은, 그 점수들이 진정으로 모호한 사례 — 인간 검토자도 망설일 만한 사례 — 에서 어떤 양상을 보이느냐이다. 그 숫자가 바로 Jev를 기반으로 자동화해도 안전한지를 결정하며, 아무도 그것을 공개하지 않았다.

그때까지 합리적인 태도는 일반적이기보다 구체적인 것이다. Jev는 실제로 출시된, 이례적으로 저렴한 모델로, 출력 신뢰성에서 진정한 구조적 이점을 갖고 있으며, 정확도 프로필은 중위권에 걸쳐 있고, 캘리브레이션 주장은 그럴듯하며 자사 공급업체가 스스로 테스트해 보라고 명시적으로 권장했지만 독립적으로는 작은 표본에서만 검증되었다. 워크플로에 프런티어 모델을 쓰기에는 낭비일 만큼 자주 묻는 입력형 질문으로 환원되는 단계가 있다면, 이것은 그 질문을 던지는 가장 저렴한 방법 중 하나다 — 그리고 그것이 반환하는 신뢰도 값이, 속도가 아니라, 신뢰하기 전에 시험해 봐야 할 부분이다.