SubQ Snap 1.1, 기권 학습으로 Decision Index 공동 1위 달성

의 최상위에 있는 가장 최신 모델은Artificial Analysis Decision Index v1.0 가장 많은 정답을 맞히는 모델이 아니다. SubQ Snap 1.1은 2026년 10월 22일 Subquadratic이 출시했으며 65점을 기록해 d1-ultra, Elephant 9B와 공동 1위를 차지했다. Jev 1.14는 57점이다. 지수 아래의 세부 설명을 읽어 보면 동점의 이유는 전혀 순수 정확도가 아니다: Artificial Analysis의 설명에 따르면 Snap 1.1의 정확도는 20%로, d1-ultra의 32%, Elephant 9B의 12%와 대비된다. Snap 1.1이 둘보다 더 잘하는 것은 답변을 거부하는 것이다.

그것은 벤치마크 요령이 아니라 실제 엔지니어링 성과이지만, 누가 주목해야 하는지를 바꿔 놓는다. 결정 모델은 채팅 모델이 아니다. 문서와 고정된 허용 답변 집합 — 이 대기열 또는 저 대기열로 라우팅, 이 도구 호출 또는 거절, 예 또는 아니요 또는 에스컬레이션 — 을 입력받아, 보정된 확률이 붙은 선택을 반환한다. Subquadratic이 10일 전 프리뷰를 출시한 이후 내놓은 주장은, 이 워크로드가 "환불"이라는 단어를 생성하기 위해 출력 토큰을 태우는 범용 LLM보다 자체 아키텍처를 받을 자격이 있다는 것이다. 버전 1.1은 보정 주장이 검증할 수 있을 만큼 구체적인 첫 릴리스다.

Snap 1.0과 1.1 사이에 실제로 무엇이 바뀌었나요?

이것은 새로운 모델이 아니라 포스트트레이닝 릴리스입니다. Subquadratic Sparse Attention 백본, 384K 토큰 윈도, 텍스트+이미지 입력 경로는 모두 10월 12일 백만 입력 토큰당 0.05달러로 출시된 Snap 1.0에서 변경되지 않았습니다. 달라진 점은 모델이 불확실할 때 어떻게 행동하는가입니다. 벤더에 따르면 1.1은 명시적 불확실성 보정을 추가하고, 사고의 연쇄를 생성한 뒤 답을 확정하는 대신 다단계 추론을 단일 순전파로 증류합니다.

Subquadratic이 그 변화에 대해 보고한 수치는 이례적으로 구체적인데, 이는 좋은 점이기도 하고 면밀히 따져볼 만한 점이기도 하다. 홀드아웃 확률 벤치마크에서 기대 보정 오차는 0.108에서 0.014로 떨어졌다. 답할 수 없는 질문에서의 확신 오류는 600개 중 294개에서 600개 중 57개로 줄었다 — 출시 보도에서 계속 인용하는 81% 감소다. 분포 외 입력에서의 과신 환각은 99.3%에서 12.5%로 떨어졌다. 베이즈 최적 결정 규칙과의 일치율은 83%에서 90%로 상승했다. 해당 공급업체의 16개 벤치마크로 구성된 엔터프라이즈 제품군에서 1.1은 Jev 1.14보다 평균 7.2점 높으며 95% 신뢰구간은 6.5~7.8이고, 12승 3무 1패를 기록했으며, Snap 1.0보다 평균 5.5점 높다.

그 모든 것은 벤더가 보고한 것입니다. Subquadratic 외부에서는 아직 아무도 1.1의 실행 결과를 공개하지 않았습니다. 존재하는 독립 저장소들은 프리뷰 모델을 테스트했으며, 이에 대해서는 아래에서 더 다룹니다.

20% 정확도를 가진 모델이 어떻게 공동 1위를 하는가

Decision Index는 정확도를 단독으로 평가하지 않는다. 불확실성 속에서 내린 결정의 결과를 평가한다. 즉, 모델이 답할 수 없는 질문에 대한 기권은 확신에 찬 추측보다 더 가치 있고, 확신에 찬 오답 추측보다는 훨씬 더 가치 있다. Artificial Analysis는 Snap 1.1의 비환각률, 즉 정확히 답할 수 없는 질문에 "모르겠습니다"라고 말한 빈도를 86%로 보고한다. Elephant 9B는 93%로 더 높고 d1-ultra는 85%로 약간 낮다. Snap 1.1의 20% 정확도는 그 셋 중 중간이며, 지수 점수는 두 모델과 동일하다.

그 선택이 올바른 트레이드오프인지는 전적으로 오답이 다운스트림에서 어떤 비용을 초래하는지에 달려 있습니다. 지원 티켓 라우터에서는 확신에 찬 잘못된 라우팅이 청구 관련 불만을 엔지니어링 큐로 보내고 고객은 이틀을 기다리게 되는 반면, 분류 보류는 30초가 걸리는 사람 트리아지 단계로 보냅니다. 사람이 개입하지 않는 대량 콘텐츠 분류 작업에서는 분류 보류가 그저 레이블이 없는 행일 뿐이며, 중요한 것은 정확도 수치입니다. 이 인덱스는 Snap 1.1이 첫 번째 사례를 위해 만들어졌다고 말해 줍니다. 구매할 수 있는 가장 정확한 분류기라고 말해 주는 것은 아니며, 실제로 그렇지도 않습니다.

가격 인하, 그리고 아무도 언급하지 않는 분모

1.1의 또 다른 변경 사항은 가격입니다. 입력 토큰 100만 개당 $0.04로, 프리뷰의 $0.05에서 20% 인하되었으며 출력 토큰은 무료입니다. 그 후반부가 청구서를 바꾸는 부분입니다. 생성 모델로 구축한 분류기는 답변에 비용을 지불합니다. 보통은 짧은 답변이지만, 추론 모델은 무엇을 출력할지 결정하는 데 수백 개의 토큰을 쓸 수 있습니다. Snap은 지불할 출력이 없으므로 100K 토큰을 읽는 호출은 약 0.4센트의 비용이 들고 그 외에는 아무 비용도 들지 않습니다.

Artificial Analysis는 동일한 수치를 토큰당이 아니라 작업당으로 제시한다. Snap 1.1은 100만 작업당 약 30달러인 반면, d1-ultra는 32달러, Elephant 9B는 8.4달러다. 작업당 수치가 유용한 기준이며, 토큰당 정가가 의사결정 모델을 다른 무엇과 비교하는 데 좋지 않은 방법이라는 점도 일깨워 준다. 청구 금액은 입력 길이에 따라 달라지므로, 4K 토큰 라우팅 호출과 300K 토큰 계약서 검토는 요율이 동일하더라도 완전히 다른 비용 구간에 속한다.

공급업체의 수치가 해결하지 못하는 것

출시 게시물과는 별도로 고려해야 할 두 가지가 있습니다. 첫 번째는 회의론입니다. Subquadratic의 출시에 대한 커뮤니티 보도 — "AI 만능 도구"로 회자된 BlockBeats의 보도를 포함해 — 는 주장 세트 중 얼마나 많은 부분이 독립적으로 재현 가능한지 의문을 제기했으며, 이 모델은 공개 가중치가 없어 외부인이 실행할 체크포인트가 없습니다. 두 번째는 실제로 존재하는 독립 테스트가 1.1이 아닌 프리뷰를 대상으로 실행되었다는 점입니다. jcarlosrodicio의 재현 가능한 비교에 따르면, Snap은 30K 토큰 미만에서 Jev에 약간 뒤처졌고(93.9% 대 94.7%), 360K 토큰 로그에서는 크게 뒤처졌습니다(Jev가 청킹되었을 때 58.8% 대 Jev의 77.1%). 별도의 소프트웨어 공학 벤치마크인 snap-vs-jev-swe는 SWE-bench Verified 파일 위치 파악에서 Snap이 무작위 기준선 10.6%에 대해 87.5%를 기록했으며, 선택지 순서를 뒤집었을 때 항목의 5.0%에서 답변이 뒤바뀌는 것을 측정했습니다.

그 결과들은 1.1에 의해 반박되지 않습니다 — 보정 작업은 바로 그 결과들을 바꿀 수 있는 종류의 변경입니다 — 하지만 그것들이 1.1을 뒷받침하는 증거도 아닙니다. 공개된 수치에는 작은 내부 불일치도 하나 있습니다: 출시 보도에서는 When2Call 점수 96.2를 인용하지만, 같은 벤치마크에 대한 Subquadratic 자체의 우연 보정 다지선다형 변형은 91.0을 나타냅니다. 둘 다 서로 다른 과제 형식에 대해 참일 수 있습니다; 96.2를 경쟁사의 수치와 비교하는 구매자는 자신이 어느 변형의 수치를 보고 있는지 알아야 합니다.

어디서 부러지는가

벤더 자체의 16개 벤치마크 모음에서 손실 열은 시사하는 바가 크다. 피싱 탐지 세트인 PhishNChips는 Jev 1.14보다 22점 뒤처지는데, Subquadratic은 이를 순위 품질이 아니라 임계값 보정 탓으로 돌린다. ROC-AUC는 0.91 대 0.92로 대략 비슷한 수준이다. 이는 임계값을 조정할 의향이 있는 팀에게는 고칠 수 있는 문제이고, 바로 도입(drop-in)을 원한 팀에게는 고칠 수 없는 문제다. 지식 및 추론 하위 영역은 다섯 개 중 Jev가 55.1 대 50.9로 완전히 앞서는 유일한 영역이다. Snap 1.1은 정답 집합이 명시적이고 근거가 문서 안에 있을 때 가장 강하다: 도구 및 자동화(85.3 대 74.6), 검색 및 분류(67.0 대 63.1), 언어 이해(71.6 대 63.3).

누가 움직여야 하고, 누가 기다려야 할까요?

장문 문서를 대상으로 라우팅, 도구 선택, 에스컬레이션 또는 관련성 판단을 내리며, 확신에 찬 오답의 비용이 에스컬레이션보다 클 때 이동하세요. 384K 창이 운영상 이유입니다. 전체 계약서, 티켓 스레드 또는 로그 묶음을 청킹 계층을 구축할 필요도, 검색 파이프라인을 동기화 상태로 유지할 필요도 없이 한 번에 처리할 수 있습니다. 이미 프리뷰를 운영 중인 팀이 가장 명확한 사례인데, API 변경 없이 가격이 내렸고 보정이 개선되었기 때문입니다.

생성된 텍스트가 필요하거나, 벤치마크의 질문 구성에서 20% 정확도가 귀하의 최소 기준보다 낮거나, 핫 경로에서 100ms 미만의 지연 시간이 필요하다면 기다리십시오 — Subquadratic은 1.1에 대한 지연 시간 수치를 공개하지 않았으며, 프리뷰에 대한 타사 측정에서는 8K 토큰 호출이 약 0.75초로 나타났습니다. 자체 호스팅이 필요하다면 이 역시 기다리십시오: 가중치가 없습니다.

스택에서 이 제품이 어디에 위치하는지에 관한 실용적인 참고 사항 하나. SubQ Snap 1.1은 Subquadratic 자체 API와 콘솔을 통해 제공되며, OrcaRouter의 카탈로그에는 없습니다. 그렇지 않은 척하지도 않겠습니다. 저희가 담당하는 것은 결정 뒤에 있는 계층입니다. Snap이 "모델을 사용하라"는 호출을 확정하면, 그 모델은 OrcaRouter에서 단일 키로 접근할 수 있는 200개 이상의 모델 중 하나이며, 제공업체 정가에 0% 마크업, 제공업체 간 자동 장애 조치가 적용됩니다. 결정 계층과 실행 계층은 서로 독립적으로 실패하므로, 둘 다 같은 벤더에 맡기지 않는 편이 좋습니다.

열린 질문은 1.1의 보정 수치가 실제인지 여부가 아니라—그 수치는 검증될 만큼 구체적이다—다른 평가 하네스에서도 살아남는지 여부다. 공개 Snap 벤치마크에서 프롬프트 문구만으로 정확도가 11~14포인트 움직였는데, 이는 인덱스에서 어떤 두 모델 사이의 격차보다도 크다. 벤더 자체의 프롬프트 템플릿에서만 유지되는 보정 개선이라면, 그 의미는 출시가 시사하는 것보다 훨씬 작을 것이다.