pplx-decider vs Decider: Perplexity의 조용한 27B 대 Mapika의 오픈 래더

현재 Hugging Face에는 두 가지 의사결정 모델이 있는데, 질문에는 같은 방식으로 답하지만 그 외에는 거의 아무것도 일치하지 않는다. pplx-decider는 Perplexity에서 나온 27B 체크포인트로, 2026-10-01에 공지도, 블로그 글도, 가격 페이지도, 이를 제공하는 추론 제공자도 없이 등장했다. 개정판인 pplx-decider-v1.1은 2026-10-05에 같은 백본으로 뒤따랐다. Decider는 같은 부류의 모델군인 Mapika의 패밀리로, decider-0.8b부터 decider-35b-a3b까지를 아우르며, System One 계보의 오픈 재현물로서 전체 학습 노트와 함께 공개되었다. 둘 다 이름이 지정된 질문 묶음과 문서를 받아 한 번의 순전파에서 답변마다 보정된 확률을 반환한다. 둘 다 산문 문장은 한 줄도 쓰지 않는다. 다음은 각각에 대해 실제로 기록에 남아 있는 내용이며, 기록이 멈추는 곳마다 명확한 표시를 둔다.

먼저, 그 문장에서 "의사결정 모델"이 무슨 역할을 하는지

이 둘 중 어느 것도 간결하게 답하도록 요청받은 챗 모델이 아니다. 이들은 일반적인 의미의 언어 모델이 전혀 아니다 — 디코딩 루프도, 샘플링도, 토큰 단위의 어떤 것도 없다. 문서에 대한 한 번의 순전파가 당신이 제공한 모든 선택지에 대한 확률을 반환한다.

호출의 형태가 바로 이 비교를 작성할 가치가 있게 만듭니다. 여러분은 상태(티켓, JSON 레코드, 스크린샷, 계약서)와 이름이 붙은 질문 목록을 넘깁니다. 각 질문은 답변 유형을 명시합니다: 라벨이 붙은 2~255개 선택지 중 하나를 고르는 선택형, 예/아니요/알 수 없음 판독값, 또는 설명된 2~10개 등급에 대한 점수입니다. 답변은 요청한 순서대로 0과 1 사이의 숫자로 돌아오며, 그 숫자는 깔끔한 레이블이 아니라 확률로 읽어야 합니다 — "환불이 요청되고 있나요?"에 대한 0.62가 출력의 전부이며, 임계값은 호출자가 결정합니다.

그 설계는 지연 시간과 비용을 없앤다. 60개의 질문이 담긴 문서도 60번이 아니라 한 번의 처리로 끝나기 때문이다. 또한 이는 언어 모델을 평가하는 일반적인 방식이 적용되지 않는다는 뜻이다. 읽을 추론 흔적도 없고, 논박할 사고의 연쇄도 없고, 스스로 설명해 달라고 요청할 방법도 없다. 얻는 것은 확률 질량뿐, 그 외에는 아무것도 없다. 두 프로젝트 모두 이것이 그 대가라고 분명히 밝힌다.

출시된 것, 그리고 아무도 말하지 않은 것

pplx-decider 리포지토리는 이를 뒷받침하는 출시 게시물이 없는 모델치고는 유난히 완성도가 높습니다. 가중치는 Apache-2.0입니다. 기반은 카드에 명시된 Qwen/Qwen3.8-27B입니다. bf16으로 [255, 5120] 크기의 공개된 리드아웃 헤드가 있는데, 이는 5,120 너비의 은닉 상태에서 선택 가능한 255개 옵션에 대해 기대할 수 있는 바로 그 형태입니다. 카드에는 입력 예산, 옵션 상한, 세 가지 질문 유형, 그리고 엔드포인트 형태 — POST /v1/systemone — 가 문서화되어 있습니다.

없는 것은 출시 게시물에나 담겼을 법한 문장이다. 카드에는 출시일도 없고, 공지도 없고, Perplexity의 벤치마크 게시물도 없고, 가격도 없고, 이를 제공하는 제3자 플랫폼도 없다. 다운로드 수는 홍보된 저장소가 아니라 발견된 저장소에서나 나올 법한 규모다. 둘을 함께 놓고 읽으면, 솔직한 설명은 이렇다: 아티팩트는 공개되어 있지만, 그 뒤의 의도는 그렇지 않다. 아래에서 pplx-decider에 관해 말하는 모든 내용은 해당 저장소와 그 카드들에서 나온 것이다. 아래의 어떤 내용도 독립적으로 재현되지 않았으며, 연구소 밖의 누구도 자신들의 실행 결과를 공개하지 않았다.

Ollama 라이브러리 항목은 그 격차를 작게나마 드러낸다. 해당 페이지는 태그를 17 GB의 27b, 256K 컨텍스트 윈도우로 표시한다. 이는 양자화된 빌드로, bf16 가중치가 차지하는 약 49 GiB보다 훨씬 작다. 반면 저장소는 훨씬 더 작은 텍스트 및 이미지 입력 한도를 문서화하고, 너무 큰 입력은 잘리는 대신 거부된다고 말한다. 그 두 진술은 분명히 같은 한도를 설명하는 것으로 보이지 않으며, 이를 조화시키는 공개된 내용은 없다. 런타임의 숫자는 런타임의 주장으로 간주하라.

흥미로운 부분: 두 명의 낯선 사람, 하나의 인터페이스

Mapika의 Decider 제품군과 pplx-decider는 서로 다른 기반에서, 서로 다른 이유로 독립적으로 개발되었지만, 동일한 와이어 형식으로 수렴했습니다. Decider 모델들도 System One 호출 형태를 사용합니다 — 이름이 지정된 질문, 2~255개 선택지 중 선택, 텍스트 생성 없음, 상태는 대략 32k까지 허용됩니다. 한쪽을 기준으로 작성된 클라이언트는 거의 그대로 다른 쪽을 위한 클라이언트입니다.

그 수렴은 이 비교에서 유용한 사실이다. 어느 쪽을 고르든 재작성하는 것이 아니라, 기본 URL과 모델 문자열을 맞바꾸는 일이다. 흥미로운 질문은 "어떤 API를 통합할까"에서 "내 문서에서 어떤 판독 결과를 신뢰할까"로 바뀌며 — 그리고 두 프로젝트는 그 질문에 아주 다른 방식으로 답한다.

래더에 대한 체크포인트 하나

구조적 차이는 가장 쉽게 확인할 수 있는 부분입니다. Perplexity는 단일 사이즈를 출시했습니다. Mapika는 다양한 사이즈를 출시하고 사이즈 표를 공개했습니다:

• 카탈로그 — pplx-decider: 27B 체크포인트 1개와 동일 백본의 v1.1 리비전. Decider: 1.4GB의 decider-0.8b부터 decider-2b, decider-2b-vision, decider-4b, decider-12b, 그리고 65GB bf16 또는 nvfp4 기준 19.6GB인 decider-35b-a3b까지 7개 이상의 공개된 크기.

• 베이스 — pplx-decider: Qwen/Qwen3.8-27B, 단일 계보. Decider: 혼합 — 소형 크기에는 Qwen3.5-0.8B, Qwen3.5-2B, Qwen3.5-4B, 대형 모델에는 Qwen3.5-35B-A3B, 그리고 채팅 변형으로는 gemma-4-12B-it와 gemma-4-31B-it.

• 활성화 — pplx-decider: dense 27B이므로 호출할 때마다 모든 파라미터가 실행됩니다. Decider: decider-35b-a3b는 mixture로, 총 34.7B이며 256개의 라우팅된 expert 전반에 걸쳐 약 3B가 활성화되고, 토큰당 그중 8개가 실제로 동작합니다.

• 비전 — pplx-decider: 멀티모달이며, 저장소에도 그렇게 명시되어 있습니다. 텍스트, JSON, 그리고 스크린샷, 영수증, 양식을 포함한 이미지를 처리하며, 비전 토큰 비용은 대략 width × height / 1024입니다. Decider: 메인 라인의 플래그가 아니라 별도의 decider-2b-vision 체크포인트이므로, 이미지 작업은 다른 인자가 아니라 다른 모델 선택입니다.

• 라이선스 — 양쪽 모두 Apache-2.0이며, 이 비교에서 유일하게 지루한 부분입니다.

• 학습 공개 — pplx-decider: Bespoke Labs의 Bespoke Nimble을 기반으로 구축된 데이터 파이프라인으로, 벤치마크 하위 집합은 레코드 ID와 체크섬으로 고정되어 있으며, v1.1의 성능 향상은 인과 마스크 제거와 tasksource를 포함한 데이터 추가에 기인한다. Decider: 항목 수, 하드웨어 및 실제 소요 시간이 담긴 버전별 노트 — decider-35b-a3b는 4× B300에서 1,543,567개 항목에 걸쳐 394분 동안 학습됨 — 그리고 명명된 실패 모드와 실제로 학습된 파라미터 비중, 34.7B 중 2.45B.

둘 중 어느 것도 결정적인 우위는 아니다. 단일 체크포인트는 이해하기 더 단순하고, 서빙하기 더 쉬우며, 크기를 줄이는 것은 불가능하다. 래더를 사용하면 decider-0.8b를 저렴한 사전 필터 뒤에 배치하고, 35B는 필요한 항목에만 사용할 수 있다 — 하지만 어느 것이 어느 것인지 결정하는 라우팅 로직을 유지 관리할 의향이 있을 때만 가능하다.

숫자들, 그리고 누가 그것을 산출했는지

두 세트의 핵심 수치 모두 벤더가 보고한 것이며, 어느 쪽에도 독립적인 재현 결과가 붙어 있지 않습니다. 이 점은 여기서 평소보다 더 중요합니다. 이미지나 언어 아레나에 필적하는 위상을 지닌 제3자 의사결정 모델 리더보드가 없기 때문입니다.

Perplexity가 pplx-decider에 대해 자체 제시한 수치는 11개 공개 벤치마크에서 85.7%로, Jev의 84.5%, 학습 기반이 된 Qwen3.8-27B의 74.8%와 대비됩니다. 보고된 개별 항목에는 RAGTruth 88.8, FinancialPhraseBank 84.2, TabFact 90.6, JudgeBench 78.3, WinoGrande 83.3이 포함되며, 더 전체적인 세트는 Circa, Belebele, TruthfulQA binary, BBH, ContractNLI 및 JevBench의 공개 하드 분할을 아우릅니다. v1.1 개정판은 스위트 가중 종합 점수 61.56을 보고하는데, 이는 v1의 56.4, Jev의 57.9와 대비됩니다. 단일 범주 중 최대 상승은 언어 과제에서 나타났습니다. Jev와의 비교는 벤더가 자체 스위트에서 계산한 것이며, 가중치는 공개되지 않았습니다.

Mapika의 보고는 결이 다르다: 수치들은 그 수치들을 깎아내리는 단서들에 붙어서 온다. decider-35b-a3b는 0.732 zero-shot 베이스라인 대비 in-task 0.855, held-out 0.810을 보고하고, JevBench의 공개 hard 분할에서는 0.676을 기록한다 — Jev 1.13.0의 0.730보다 낮다. 카드에는 또한 강화 단계가 없다고 명시되어 있어 샘플링 플레이가 decider-2b v10의 93.2% 대비 86.4%에 머물고, 모델이 가장 어려운 항목에서 과신하며 hard 등급에서 기대 캘리브레이션 오차가 0.15라고 적혀 있다. decider-2b v11은 in-task 0.802, held-out 0.752, ECE 0.156으로 보고되는데, 이는 명시된 릴리스 가이드라인 0.08에 못 미친다 — 저자들이 직접 인쇄한 실패다.

문서화된 두 가지 실패 모드는 여러분이 실행하는 모든 평가에 반드시 염두에 둘 가치가 있습니다. 긴 JSON 배열에서 위치로 레코드를 선택하는 것은 이 제품군이 처리하는 입력 형태 중 정확도가 가장 낮은 것으로 설명되며, 여러 독립적인 질문을 한 번의 호출에 묶으면 independent 플래그가 꺼져 있을 때 답변의 최대 12%가 뒤집힐 수 있습니다. 둘 다 스펙 시트는 숨기고 카드는 한 번만 언급하는 종류의 것입니다.

둘 중 하나를 운영하는 데 드는 비용

• 가장 작은 실용 가능한 Decider — decider-0.8b는 1.4 GB입니다. pplx-decider에는 소형 변형이 없으므로, 최소치는 전체 27B입니다.

• 가장 큰 Decider — decider-35b-a3b는 65GB bf16 또는 19.6GB nvfp4이며, 토큰당 약 3B개의 파라미터만 활성화됩니다.

• 지연 시간, Decider 측 — decider-2b는 B300에서 CUDA 그래프를 사용해 요청당 4ms로 실행되며, 18.9ms eager 모드에서 줄어든 수치이고, 배치 32에서 초당 약 2,700건의 결정을 내립니다. 35B는 차원이 다릅니다: 세 가지 질문이 있는 92토큰 티켓에 약 47ms, 64개 티켓에 368ms입니다.

• 지연 시간, pplx-decider 측 — 공개된 수치 없음. 카드에는 처리량이나 지연 시간 수치가 전혀 없는데, 이는 출시되지 않은 저장소에서는 정상입니다.

• 결정당 비용 — 바로 여기서 이 설계가 양쪽 모두에서 이득을 봅니다. 한 문서에 대한 60개의 질문은 어느 쪽이든 한 번의 포워드 패스이므로, 같은 문서에 더 많이 질문할수록 결정당 비용은 급감합니다.

여기 솔직한 라우팅 현황이 있습니다. OrcaRouter는 pplx-decider를 제공하지 않으며, Mapika의 Decider 제품군도 제공하지 않습니다 — 둘 다 카탈로그에 없으며, 이 글의 어떤 내용도 그와 반대되는 주장으로 해석되어서는 안 됩니다. 현재 이 등급에서 카탈로그가 실제로 갖춘 것은 typesafe/jev-1.13으로, 동일한 System One 형태의 의사결정 모델이며, 65,536 토큰 창을 동일한 POST /v1/systemone 엔드포인트를 통해 백만 입력 토큰당 $0.042에 노출합니다. 이는 라우팅된 의사결정 모델의 비용을 가늠하는 유용한 기준점입니다. pplx-decider처럼 아직 공개되지 않은 체크포인트를 평가하고 있다면, 프로덕션 경로를 그것에 걸지 않고 평가하는 방법은 200개 이상의 모델을 위한 하나의 API 뒤에서 라우팅된 모델과 함께 직접 실행하는 것입니다 — 제공업체 정가가 0% 마크업으로 그대로 전달되므로, 이 프로젝트들이 추론 제공업체에 도달하면 정가는 같은 날 여기서의 가격이 됩니다. 그때까지는 자체 호스팅한 pplx-decider를 라우팅된 typesafe/jev-1.13 옆에 두는 것이 실제로 뭔가를 알려줄 비교입니다.

어느 것을 선택할까

오늘 당신의 하드웨어에서, 당신이 고른 크기로, 감사할 수 있는 학습 노트와 당신에게 아무것도 요구하지 않는 라이선스를 갖춘 결정 모델이 필요하다면, 답은 Decider 체크포인트이고, 유일한 진짜 질문은 어느 단계냐입니다. decider-2b에서 시작하세요. v11 수치는 이 패밀리가 당신이 관심을 가질 바로 그 어려운 분할에서 자체 v10보다 개선되고 있음을 보여주며, 문서화된 ECE 격차는 프로덕션에서 확률을 신뢰하기 전에 temperature를 다시 적합하라고 알려줍니다.

pplx-decider는 동일한 인터페이스를 쓰면서 그 뒤에 더 큰 dense 모델을 두고 싶을 때, 이미지 입력이 중요하고 두 번째 체크포인트를 실행하고 싶지 않을 때, 또는 결코 나오지 않을지도 모르는 출시 게시물을 기다리기보다 프런티어 랩의 리드아웃 헤드를 직접 평가하는 편인 팀일 때 선택하세요. 장점은 실재하지만 검증되지는 않았습니다: 더 큰 백본, 그것을 좋게 보이게 하는 벤치마크 표, 그리고 레코드 수준 체크섬까지 문서화된 학습 파이프라인.

지켜볼 것은 벤치마크가 아니다. 그것은 pplx-decider가 추론 제공자에 도달하기는 하는지의 여부다. 가중치만 있고 발표가 없는 저장소는 제품이 아니라 신호다; 그것이 호스팅된 엔드포인트에 나타나는 순간, Decider의 카드가 이미 답하는 가격 대 지연 시간 질문은 염원이 아니라 실제 비교가 된다.

라우팅된 의사 결정 모델 옆에 자체 호스팅 pplx-decider를 실행하세요. 이 모델은 0% 마크업으로 전달되는 공급자 정가 뒤에 있으므로, 어느 프로젝트든 추론 공급자에 도달하면 정가가 같은 날 여기에서의 가격이 됩니다.

공개된 래더를 기준으로 측정한 새로운 체크포인트는 기록을 확인하기에도 좋은 지점입니다: 이 등급의 모델과 관련해 문서화된 AI 사고 및 에이전트 실패 사례는 the OrcaRouter AI Incident Archive에 수집되어 있으며, 각 항목에는 고유한 출처, 심각도, 신뢰도 등급, 이의 제기 플래그가 함께 제공됩니다.