pplx-decider-flash: Perplexity의 조용한 4B 판정자, 리포에서 읽기

Perplexity는 pplx-decider-flash-v1.2를 2026년 10월 15일 16:57 UTC에 Hugging Face에 업로드했습니다. 이는 pplx-decider-v1.2를 업로드한 지 약 9시간 후였습니다. 이 모델은 마케팅에서는 27B라고 부르고 모델 카드에서는 26B라고 부르는 대형 의사결정 모델입니다. 회사 블로그에서 출시 게시물은 찾을 수 없었습니다. 그 뒤에 이어진 것은 X의 개발자 계정 스레드, Decisions API 문서의 한 섹션, 그리고 사흘 뒤의 GGUF 변환이었습니다. 이것이 전체 공개 기록이며, 모델을 정확히 설명하기에는 충분하지만 여러분의 데이터에서 모델이 좋은지 알려주기에는 충분하지 않습니다.

다음은 사람들이 흔히 뒤섞는 세 가지, 즉 저장소가 입증하는 것, 공급업체 문서가 밝히는 것, 그리고 Perplexity 외부에서는 아무도 검증하지 않은 것을 구분한다. 마지막 범주는 앞의 두 범주보다 크다.

실제로 무엇이 출시되었고, 어느 날이었나요?

저장소 타임라인은 명확합니다. Perplexity는 pplx-decider-v1-27b를 2026년 10월 1일에, pplx-decider-v1.1-27b를 10월 5일에, v1.2 체크포인트 두 개를 10월 15일에, 그리고 pplx-decider-flash-gguf-v1.2를 10월 18일에 생성했습니다. Flash 체크포인트는 그날 두 번째 업로드였는데, 이는 짝을 이룬 릴리스의 일반적인 형태입니다: 플래그십이 먼저 오고, 그 뒤를 증류된 소형 형제 모델이 따라와 둘 다 같은 발표에 포함되는 방식입니다.

그 순서는 프레이밍에 중요하다. 이것은 유출된 모델도, 공식 절차를 앞질러 빠져나온 엉뚱한 저장소도 아니다. 의도적으로 공개 흔적을 가볍게 남긴 조율된 릴리스다. 출시 에세이라기보다 개발자 스레드이고, 벤치마크 허브라기보다 문서다. Hugging Face API에 따르면 11월 4일 기준 베이스 체크포인트의 다운로드 수는 4,667회, GGUF 변환본은 9,428회이며 좋아요는 63개다. Hugging Face의 다운로드 수는 약한 신호다. 고유 사용자가 아니라 요청을 세는 데다 미러 트래픽이 수치를 부풀리기 때문이다. 이 수치는 실제하지만 규모가 크지 않은 오픈 웨이트 사용자층과는 일치하지만, 바이럴성 공개와는 일치하지 않는다.

저장소가 알려주는 것

이 모델 카드는 공급업체 발표 자료치고는 이례적으로 기술적이며, 알 수 있는 것의 대부분은 이 문서에서 나온다.

• Backbone — Qwen3.5-4B. 전체 어휘 언어 모델 헤드 대신 [255, 2560] 형태의 별도 BF16 리드아웃 헤드를 사용합니다. 이는 분류 래퍼를 씌운 채팅 모델이 아니라 의사결정 체크포인트입니다.

• 크기 — BF16 기준 총 약 9GiB인 25개 파일로, 가중치를 보유하는 데 필요한 용량이며, 작업 메모리는 그 위에 추가로 필요합니다.

• 파라미터 수 — API 문서에는 4B라고 되어 있고, 모델 카드 헤더에는 BF16 기준 5B라고 되어 있으며, 한 타사 인덱스에는 4.5B로 나와 있습니다. 백본은 4B 모델입니다. "4B class"를 정직한 설명으로 받아들이고, 측정된 값인 것처럼 단일 수치를 인용하지 마세요.

• 어텐션 — 전체 어텐션 레이어는 전체 요청에 걸쳐 비인과적으로 실행되는 반면, 선형 어텐션 레이어는 인과적으로 유지됩니다. 이 세부 사항이 문제가 될 것입니다: 표준 인과적 서빙 스택은 다른 수치를 생성하며, v1.1용으로 작성된 프롬프트는 그대로 적용되지 않습니다.

• 판독 위치 — 헤드는 각 <|fim_suffix|> 마커에서 최종 토큰이 아니라 작동하며, 이를 통해 단일 순방향 패스로 하나의 상태에 대해 여러 질문을 채점할 수 있습니다.

• 컨텍스트 — max_length의 기본값은 262,144 토큰이며 백본과 일치합니다. 학습에는 최대 약 32,000 토큰의 시퀀스가 사용되었고, 모델 카드에는 더 긴 입력도 지원되지만 검증은 덜 되었다는 점이 분명히 명시되어 있습니다.

• 이미지 — 최대 1.6메가픽셀(1,638,400픽셀)로 제한되며, 최소 65,536픽셀이고, 1.6MP 이미지는 약 1,600개의 위치를 차지합니다.

• 캘리브레이션 — 저장된 온도 1.554. 1,497개 질문으로 구성된 개발 세트에서 이 카드는 정확도 88.8%, 기대 캘리브레이션 오차 0.021, 브라이어 점수 0.163을 보고합니다. 온도가 없으면 오차는 0.057로 상승합니다. 자체 캘리브레이션 수치와 이를 생략할 때의 비용을 공개하는 공급업체는 의도된 사용에 관해 실질적인 무언가를 말해 주고 있습니다.

카드에 있는 한 줄은 API와 맞닿는 순간 살아남지 못합니다. 그 줄은 저장소가 비공개이며 액세스 권한이 있는 토큰이 필요하다고 말합니다. Hugging Face API는 다음을 반환합니다: gated: false 그리고 private: false, 가중치는 액세스 요청 없이 다운로드됩니다. 카드에 남은 낡은 한 줄은 사소한 일이지만, 카드가 게시 전에 작성되었고 게시 후 다시 읽히지 않았다는 것을 알려주는 종류의 사소한 일입니다.

API 문서가 추가로 제공하는 내용

가격은 Flash 논쟁이 시작되는 지점입니다. Decisions API에서 pplx-decider-flash-v1.2의 비용은 입력 토큰 100만 개당 $0.01입니다. 출력 토큰은 무료이고 요청당 요금도 없습니다. 일반적인 의미의 출력 토큰이 없기 때문입니다 — 모델은 확률과 기대 점수를 반환하며, 문서에서는 회계상 각 질문을 하나의 출력 토큰으로 계산합니다.

같은 페이지에서 운영 범위를 설정합니다:

• 별칭 — pplx-decider-flash-latest는 최신 버전을 따르므로, 지난주에 조정한 임계값이 업데이트 후에 조용히 다른 모델을 가리킬 수 있습니다. 중요한 곳에는 버전이 지정된 ID를 고정하세요.

• 속도 제한 — 조직 수준에서 두 의사결정 모델 전체에 걸쳐 공유되는 분당 4,000,000 토큰 및 시간당 240,000,000 토큰이며, 초당 10회 요청 상한이 적용됩니다.

• 질문 유형 — noul은 0에서 1 사이의 P(yes)를 반환하고, choice는 최대 255개 옵션에 걸쳐 확률을 반환하며, score는 루브릭 수준에 대한 분포를 반환합니다.

• 질문 예산 — 문서에서는 요청당 질문 하나를 권장합니다. 이는 스타일 관련 참고 사항이 아니라, 안내받은 가격과 실제로 지불하는 가격 사이의 차이입니다.

추천을 뒤집는 청구 규칙

27B 모델은 요청의 모든 질문에 하나의 그룹화된 패스로 답하고 상태에 대한 비용을 한 번만 청구합니다. Flash는 다른 질문을 보지 않고 각 질문에 개별적으로 답하며, 질문마다 상태에 대한 비용을 다시 청구합니다. 문서에는 구체적인 예시가 있습니다: 10,000토큰 상태에 대한 세 개의 질문은 Flash에서 약 30,000 입력 토큰이 듭니다.

계산해 보자. 10,000토큰 상태에서 질문 하나에는 Flash가 $0.0001, 27B가 $0.0002가 든다. 질문 두 개에는 Flash가 $0.0002, 더 큰 모델이 $0.0002 — 막상막하이다. 질문 세 개에는 Flash가 $0.0003, 27B가 $0.0002가 든다. 교차점은 상태당 질문 두 개이다. Perplexity 자체 문서에서는 더 큰 모델이 질문 세 개 이상일 때 "보통 Flash보다 비용이 적게 든다"고 말한다. 정확한 지점은 한 질문 더 이르며, 이는 Flash가 27B 요금의 정확히 절반인 모든 정가에서 성립한다.

이번 릴리스에서 단연 가장 유용한 부분인데, 헤드라인이 50% 할인이라 놓치기 쉽습니다. 4B 모델이 반값일 때 더 저렴한 것은 한 번에 한 가지만 물어볼 때뿐입니다.

믿지 말아야 할 숫자

Perplexity는 두 모델 모두에 대해 Decision Index 0.3 점수를 보고합니다. Flash의 점수는 60.05점(요청당 질문 하나일 때), 그리고 58.88점(공동 요청일 때)입니다; 27B는 68.09점(공동 요청일 때), 67.75점(요청당 하나일 때)입니다. Vision Decision Index에서 Flash는 72.53에 비해 77.43입니다.

범주별 구분이 헤드라인 수치보다 더 많은 정보를 준다. 4B가 어디에서 밀리는지를 보여주기 때문이다. Flash의 공동 실행 수치를 27B의 공동 실행 수치와 비교하면:

• 지식 — 42.0 대 56.3. 14.3점으로 가장 큰 격차이며, 모델이 개방형 세계 지식을 과연 처리할 수 있는지를 결정하는 격차입니다.

• 언어 — 63.3 대 72.8.

• 검색 — 64.8 대 68.4. 3.6점으로 가장 좁은 격차이며, 이는 의도된 작업에 부합합니다: 지문이 질문에 답하는지 판단하는 것은 답을 아는 것보다 더 가벼운 작업입니다.

• 도구 — 76.7 vs 84.4.

• 예술 — 46.8 대 56.2.

• 전체 — 58.88 대 68.09.

그 수치들은 모두 Perplexity가 유지 관리하는 벤치마크에서 나온 것입니다. 이 증류에서 교사 역할을 하는 27B 카드는 훈련 측면에 대해 이례적으로 솔직합니다. 일부 작업은 여러 벤치마크가 제공하는 공식 훈련 분할을 포함시켜 일부 Decision Index 작업에서 모델을 "도메인 내(in domain)"로 만들었다고 말합니다. 이때 분할은 비교의 공정성을 유지하기 위해 "테스트 세트에 대해 오염 제거(decontaminated)"되었다고 합니다. 이는 출시를 둘러싼 보도가 시사한 것보다 더 신중한 입장이며, 여전히 점수판을 벤더의 손에 남겨둡니다. 어떤 제3자도 분할 규율을 감사하지 않았고, 아무도 그 수치를 재현하지 못했습니다.

공급업체 자체 수치 안에는 마케팅에 반하는 더 작은 이상한 점이 있습니다. Flash는 더 높은 점수를 받습니다. 한 번에 한 질문에 답할 때 60.05 대 58.88입니다. 그룹화는 밀접하게 결합된 "해당하는 항목 모두 선택" 작업에서는 도움이 되지만 4B 전체에는 해가 됩니다. 이는 문서에 적힌 그대로입니다. 이 모델은 공동 요청 속도를 내세워 판매되지만, 그것 없이 측정했을 때 더 좋습니다.

아직 알 수 없는 것은 무엇인가

그 공백들은 구체적이며, 바로 그렇기 때문에 이 글은 리뷰가 아니라 '현재까지 알려진 것'을 정리한 글입니다.

• 독립적인 벤치마크가 없습니다. Perplexity 외부에서는 Decision Index 재현 결과나 중립적인 하네스에서의 직접 비교를 발표한 곳이 없습니다.

• 지연 시간 서비스 수준은 없습니다. 벤더가 공개하는 유일한 속도 수치는 10월 19일자 문서 테스트로, 약 248,000개의 입력 토큰이 Flash에서는 16초, 27B에서는 53초가 걸렸다는 내용입니다. 이는 하드웨어나 백분위수가 명시되지 않은 벤더 측 측정치입니다.

• 다국어 평가 없음. 카드와 문서는 텍스트와 이미지를 설명하지만, 둘 다 영어 이외의 정확도를 보고하지 않습니다.

• 공개된 훈련 데이터 규모 없음. 카드에는 Flash가 더 큰 모델의 훈련 요청을 통해 27B에서 증류되었고, 학생 모델이 교사의 답변만이 아니라 전체 확률 분포를 학습했으며, 여러 실행이 가중치 평균으로 결합되었다고 적혀 있습니다. 그러나 그것이 얼마나 많은 데이터를 포함했는지, 어디서 왔는지, 컷오프가 어디에 있는지는 밝히지 않습니다.

• 게시된 오류 분석이 없습니다. 확률을 출력하고 이를 기준으로 임계값을 적용하는 모델의 경우, 질문 유형별, 선택지 개수별, 언어별 또는 이미지 내용별로 어디에서 실패하는지에 대한 세부 분석이 없습니다.

이와 같은 모델이 스택에서 어디에 위치하는지

Flash가 무엇을 위한 것인지 분명히 하는 것이 좋습니다. 그 이름 때문에 잘못된 기대를 하게 되기 때문입니다. Flash는 아무것도 작성하지 않습니다. 여러분은 Flash에 상태, 즉 텍스트, JSON, 이미지를 넘기고 하나 이상의 타입이 지정된 질문을 함께 넘기면, Flash는 여러분의 코드가 임계값을 적용하는 확률 또는 분포를 돌려줍니다. 자연스러운 아키텍처는 값비싼 무언가 앞에 두는 저렴한 게이트입니다. 요청을 분류하고, 검색할지 결정하고, 도구를 고른 다음 생성하는 것입니다.

그 게이트는 생성 계층을 대체하지 않으며, 바로 여기에서 라우팅이 중요합니다. OrcaRouter는 하나의 API 키로 200개 이상의 생성 모델을 제공하며 공급자 정가에 마진을 붙이지 않으므로, 어떤 업스트림 벤더의 가격 인하든 리셀러의 스프레드시트를 기다리지 않고 당일 바로 반영됩니다. 게이트가 잘못 분류하더라도 자동 페일오버가 다음 홉에서 요청이 죽지 않도록 지켜 줍니다. 우리가 하지 않는 일은 pplx-decider-flash를 호스팅하는 것입니다. 이 모델은 우리 카탈로그에 없으며, 오늘날 이를 실행하는 정직한 방법은 벤더 자체 API 또는 자체 GPU에서 Apache-2.0 가중치를 사용하는 것입니다.

이미 하드웨어가 있다면 셀프 호스팅 계산은 합리적이다. 약 9GiB의 BF16 가중치는 16GB 소비자용 카드에 들어가며, 해당 릴리스에 대한 보도는 Perplexity의 최고경영자가 Flash가 16GB 메모리를 갖춘 M4 Mac에서 실행된다고 주장한 내용을 반복했다. 이를 뒷받침하는 공개된 처리량 수치는 없고, 비인과적 어텐션 때문에 이를 그대로 기성 인과 추론 서버에 넣고 해당 카드의 점수를 기대할 수는 없다.

이 평가를 바꿀 수 있는 것은 무엇입니까

네 가지를 유용한 순서대로 정리했습니다. 60.05를 확인해 주거나 그 격차를 설명해 주는, Decision Index 0.3의 중립적 재현 결과. 문서상의 단일 테스트가 아니라 API에서 공개한 지연 시간 분포. 4B 분류기는 팀이 별다른 확인 없이 비영어 트래픽에 그대로 투입하기 딱 맞는 모델이므로, 다국어 입력에 관한 근거. 그리고 해당 증류 뒤에 있는 학습 데이터를 설명하는 자사(1차) 기술 글.

그때까지 방어 가능한 논거는 좁지만 유용합니다. pplx-decider-flash-v1.2는 공개된 가격, 문서화된 캘리브레이션 온도, 그리고 질문을 배치로 처리하는 순간 더 큰 형제 모델보다 더 비싸게 만드는 청구 규칙을 갖춘, 실제로 다운로드 가능한 Apache-2.0의 4B급 의사결정 모델입니다. 그 이상은 모두 Perplexity 자체의 점수판일 뿐이며, 이를 결과로 받아들이지 말고 라벨링된 데이터에서 검증할 가설로 취급해야 합니다.