Ollama의 pplx-decider: Perplexity의 조용한 27B 의사결정 모델이 실행 가능해지다

Perplexity는 다음의 가중치를 공개했다: pplx-decider-v1.1-27b (2026-10-05), 그리고 그것이 대체한 첫 체크포인트인 pplx-decider (저장소 이름 pplx-decider-v1-27b), 2026-10-01. 둘 다 다음 모델의 파인튜닝이다: Qwen3.8-27B 문장 대신 확률로 답하며, 둘 다 TypeSafe의 다음 모델과 같은 System One 계보에 속한다: Jev 1.13. 새로운 것은 모델이 아니다. 오늘 현재 pplx-decider는 Ollama 자체 모델 라이브러리의 항목이며, 한 명령으로 설치할 수 있다. 그 목록이 나오기 전에는 이 체크포인트를 실행하려면 약 49 GiB의 bf16 가중치를 담을 공간이 있는 CUDA GPU가 필요했다. 이제는 노트북에서 17 GB짜리 양자화 모델을 당겨오는 일이다. 이 단일 변화가 이 페이지의 주제이며, 그것이 실행 가능하게 만든 모델은 14일 된 것이다.

구체적으로 무엇이 바뀌었나

Ollama 라이브러리 항목의 이름은 pplx-decider이며, 라이브러리는 가을 내내 의사 결정 모델 — Laya, Nimble, Kev, Clef, Strands Decider — 을 꾸준히 모아 왔습니다. 이 항목은 가장 최근에 추가된 것이며, 유지 관리되는 레지스트리에서 동일한 매니페스트 다이제스트를 가리키는 세 개의 태그(pplx-decider:latest, pplx-decider:27b 및 pplx-decider:27b-q4_K_M)를 노출합니다. 크기 사다리가 아닌 단일 아티팩트입니다.

• 형식 — llama.cpp로 제공되는 GGUF, 대비되는 Hugging Face의 bf16 safetensors 샤드

• 다운로드 크기 — q4_K_M 기준 약 17 GB로, bf16 체크포인트의 약 49 GiB 가중치에 작업 메모리까지 더한 것과 대비됩니다.

• 비전 레이어 — 매니페스트에는 모델 레이어와 함께 별도의 약 927 MB 프로젝터가 포함되어 있어, 이미지 입력이 텍스트 가중치와 함께 패키징됩니다

• 하드웨어 — CUDA 박스가 아니라 소비자용 기기

이 인터페이스는 Ollama의 /v1/systemone 엔드포인트로, v0.35.0에서 추가되었고 v0.35.1에서 Clef 모델을 위해 확장되었습니다. 또한 방금 명령줄 프런트 엔드도 갖추게 되었습니다. 2026-10-12에 릴리스된 v0.40.4는 ollama run에 의사결정 모델을 추가했으므로, --ask, --choice, --level을 사용해 터미널에서 바로 예/아니오 질문, 레이블 선택 또는 루브릭 점수를 물어볼 수 있습니다. 그 릴리스는 나온 지 3일 되었고, 덕분에 편리해진 모델은 2주 되었습니다.

리포지토리가 실제로 문서화하는 내용

체크포인트는 간결한 프롬프트를 사용하는 채팅 모델이 아니다. 그 카드에는 네이티브 결정 레이아웃이 설명되어 있다: 공개된 클래스 이름의 Qwen3.8-27B 백본, 그리고 bf16 [255, 5120] 결정 헤드를 담은 별도의 readout.safetensors — 전체 어휘 언어 헤드가 아니라 옵션 슬롯에 대한 255-way 판독이다. 디코딩 루프는 없다. 모든 질문의 모든 옵션이 단일 순방향 패스에서 채점되며, 그래서 응답이 출력 토큰 0을 보고한다.

카드에서 벤치마크 표보다 더 중요한 세부 사항이 세 가지 있습니다. 바로 이 세부 사항들이 순진한 통합을 깨뜨리기 때문입니다:

• 어텐션 모드. 풀 어텐션 레이어는 저장된 비인과(noncausal) 모드를 사용하며, 카드에는 기본 인과 추론이 평가된 설정을 재현하지 못한다고 명확히 적혀 있습니다. 체크포인트를 기성 인과 로더로 실행하면 공개된 수치와 다른 값이 나옵니다.

• 캘리브레이션 온도. 제공된 DecisionModel.predict는 저장된 온도를 적용합니다. 로짓을 직접 읽는 경우에는 정확히 한 번만 적용하세요. 두 번 적용하거나 아예 적용하지 않으면, 그다음에 분기 판단의 기준으로 삼는 모든 확률의 스케일이 잘못됩니다.

• 실제 결정 한계. 하나의 결정에 대한 텍스트와 모든 이미지는 8,192토큰 예산 안에 들어가야 하며, 한도를 초과한 입력은 잘리는 대신 거부됩니다. 학습과 보고된 평가에서는 이미지를 512×512로 제한했습니다. 이제 상한을 높이는 것은 max_image_pixels를 통해 구성할 수 있으며 기본값은 2048×2048이지만, 카드는 더 높은 해상도가 학습 분포 밖에 있다고 경고합니다.

아무도 발표하지 않은 모델치고는 이 저장소가 유별나게 완비되어 있다: safetensors 샤드 11개, decision_config.json, 채팅 템플릿, 그리고 파일 체크섬과 체크포인트 출처를 기록한 release-manifest.json이 있다. 라이선스는 Apache 2.0이다.

문서의 두 부분이 서로 어긋나 있습니다. v1.1 카드는 여전히 "이 프라이빗 리포지토리"에 대해 인증하라고 안내하지만, 오늘날 그 리포지토리는 공개적으로 열람됩니다. 그리고 더 오래된 v1 카드는 v1.1을 가리키는 new_version 포인터를 달고 있는데, 이는 v1이 대체되었음을 보여 주는 정직한 신호입니다.

그것을 기준으로 계획을 세우기 전에 확인해야 할 단 한 가지

Ollama 목록은 256K 컨텍스트 윈도를 광고한다. 그 숫자는 기본 모델에서 상속된 것으로 보이며 — Qwen3.8-27B는 실제로 262,144개 포지션을 갖는다 — 결정 체크포인트가 스스로 문서화하는 계약은 아니다. 체크포인트는 텍스트와 이미지를 합쳐 8,192토큰을 초과하는 모든 결정을 거부한다. 256K를 기준으로 파이프라인을 계획하고, 40,000토큰 계약서와 네 장의 페이지 이미지를 입력하면, 요청은 잘리는 대신 실패한다. 더 큰 수치는 아키텍처를 설명하고, 더 작은 수치는 실제로 호출하는 API를 설명한다.

이미지 지원에도 비슷한 애매한 지점이 있습니다. pplx-decider의 Ollama 모델 카드는 /v1/systemone에 대한 이미지 요청을 보여 주지만, 해당 엔드포인트에 관한 Ollama 자체 기능 페이지에서는 이미지가 “Clef 모델 전용”이라고 명시합니다. 이 두 문서 중 하나는 오래된 정보입니다. 직접 실행해 보기 전까지는 이 경로의 멀티모달 입력을 검증되지 않은 것으로 취급하세요 — 기반 체크포인트는 분명히 이미지를 받고, 매니페스트는 분명히 프로젝터를 포함하지만, 런타임에 문서화된 게이트는 모델 카드가 암시하는 것보다 더 좁습니다.

공급업체 번호와 다른 번호

Perplexity 자체 평가는 v1.1 체크포인트의 Decision Index가 61.56이라고 보고합니다. 같은 스위트에서 Jev는 57.9, 이 체크포인트가 대체한 체크포인트는 56.4였으며, 가장 큰 범주별 상승은 언어(69.45)와 검색(61.26)에서 나타났습니다. 이 수치는 공급업체가 보고한 것이고 Perplexity 측에서 산출한 것입니다. 이전 체크포인트에 대해서는 모델 카드가 더 나아가 결과가 Perplexity API를 통해 측정되었다고 밝힙니다. 그것은 공개하기에는 정당한 것이고 의존하기에는 약한 것입니다.

독립적인 그림이 더 유용하다. 이 모델 클래스를 위한 개방형 커뮤니티 리더보드인 Jev Decision Index는 자체 패널에서 pplx-decider-v1.1-27b를 채점해 왔으며, 2026-10-14 데이터 릴리스는 해당 체크포인트가 단일 RTX PRO 6000에서 42개 벤치마크 전반에 걸쳐 채점된 110,201개 사례 중 110,179개를 완료했다고 보고한다. 그 보드에서 이 모델은 균형 스킬 점수 62.75와 6위를 기록했고, Jev는 60.11로 12위다. 공급업체 표가 보여주지 않는 두 가지가 같은 데이터에서 도출된다:

• 강점을 발휘하는 분야.ARC-Easy 99.3, ARC-Challenge 97.0, 함수 호출 예/아니오 판단(BFCL) 97.2, FinEntity 95.4, BPoMP 95.2, CLINC150 91.5. 고전적인 분류 및 검색 작업이야말로 이 체크포인트가 진가를 발휘하는 분야입니다.

• 그렇지 않은 곳.Humanity's Last Exam 16.2, ChessBench 17.7, SATA-Bench 28.2, ACOS 28.2, 스키마 기반 대화 세트 33.2, BRIGHT 50.9, GPQA Diamond 56.1. 어려운 다단계 추론은 단일 패스 판독으로 얻을 수 있는 것이 아니며, 추론 작업을 조용히 의사결정 모델로 라우팅하는 스택은 확신에 찬 잘못된 분기를 만들어낼 것입니다.

캘리브레이션은 별도의 줄을 차지할 만합니다. 레이블 대신 확률을 반환하는 모델에서는 이것이 핵심이기 때문입니다. 독립적으로 채점된 34,829건의 결정에서 체크포인트는 평균 정확도 76.1%를 기록한 반면 평균 신뢰도는 82.9%였습니다 — 기대 캘리브레이션 오차는 0.071, 브라이어 점수는 0.335였고, 사례의 2.0%는 신뢰도 0.95를 넘었는데도 여전히 틀렸습니다. 이는 사용할 수는 있지만 완벽하지는 않은 확률 표면이며, 같은 보드에서 Jev의 ECE 0.074보다 측정 가능하게 더 잘 캘리브레이션되어 있습니다. 0.9 임계값을 설정하고 이를 거의 확실한 것으로 취급한다면, 그 2퍼센트가 설계 시 염두에 둬야 할 숫자입니다.

동일한 하드웨어에서의 지연 시간은 110,000건의 결정에 걸쳐 중앙값 104ms, p95 835ms를 기록했는데, 이는 게이팅 위치에서 소형 언어 모델보다 결정 모델을 선택해야 하는 실질적인 근거가 된다. 예산이 되는 것은 평균이 아니라 p95이기 때문이다.

결정에 따르는 대가

Perplexity는 이러한 체크포인트를 위해 자체 호스팅 Decisions API를 운영합니다 — POST https://api.perplexity.ai/v1/decisions이며, 기본 모델 ID는 pplx-decider-v1.1-27b이고 이전 체크포인트도 계속 주소 지정할 수 있습니다. 해당 가격 페이지에는 입력 토큰 100만 개당 $0.02, 출력 토큰 무료, 요청당 수수료 없음이 나와 있으며, 한도는 요청당 질문 128개, 입력 토큰 262,144개, 조직당 초당 요청 10건입니다.

그와 대조적으로, 로컬 경로는 17GB가 한 번 내려온 뒤에는 결정당 비용이 전혀 들지 않는다. 티켓당 몇 개의 유형화된 질문을 실행하는 트리아지 큐라면, 그 계산은 자명하다 — 그리고 한 가지 주목할 점은, 호스팅 쪽의 262,144 입력 토큰 상한이 여러분의 로컬 복사본이 강제할 한도는 아니라는 것이다. 체크포인트 자체의 예산이 8,192이기 때문이다.

로컬 경로가 답이 아닌 부분은 결정을 둘러싼 나머지 스택입니다. 이것은 옵션당 하나의 확률을 반환하는 27B 모델입니다. 답장을 작성하거나 티켓을 요약하거나 도구를 호출하지는 않습니다. 결정과 작성을 하나의 키로 처리하고 싶다면, 그것이 바로 OrcaRouter의 용도입니다 — 200개 이상의 모델을 아우르는 하나의 API로, 제공자 목록 가격을 토큰당 마크업 없이 전달하며, 그리고 결정 모델과 작성 모델을 하나의 호출로 구성하고 싶을 때 사용하는 라우팅 DSL. 이 특정 이야기의 두 가지 요소는 이미 플랫폼에 있습니다: 기본 체크포인트는 Qwen3.8-27B로 제공되므로, 동일한 키에서 파인튜닝을 자체 기반 모델과 비교할 수 있습니다, 그리고 이를 측정하는 참조 모델은 Jev 1.13로 동일한 systemone 엔드포인트 형태를 통해 제공됩니다. Perplexity의 결정자는 우리가 제공하는 것이 아닙니다 — Perplexity 자체 API와 여러 타사 플랫폼을 통해 사용할 수 있습니다 — 따라서 이를 특별히 필요로 한다면, 위의 로컬 풀과 Perplexity의 엔드포인트가 귀하의 경로입니다.

리포지토리가 답하지 않는 세 가지 질문

양자화된 아티팩트에는 어떤 체크포인트가 들어 있나요? Ollama 라이브러리 항목은 버전이 아니라 패밀리 이름으로 지정되어 있고, 벤치마크 블록은 v1 리포지토리를 링크합니다 — 11개 벤치마크 표는 85.7퍼센트로 표시되는데, 이는 v1 카드의 종합 수치이지 v1.1의 Decision Index 스위트가 아닙니다. Perplexity 자체 집계에 따르면 v1.1이 더 강력한 체크포인트이며, 여러분이 받고 있는 것이 명백히 v1.1이라고 할 수는 없습니다. 그 가정 위에서 작업을 진행하기 전에 다이제스트를 확인하세요.

Perplexity는 이 중 일부라도 공개할 의도였을까? 이 가중치들에 대한 발표, 블로그 글, 체인지로그 항목 또는 API 사용 가능 공지 중 어느 것도 나타나지 않았다. 체크포인트는 수천 명이 읽었다 — 이 글을 쓰는 시점에 v1은 다운로드 2,740회, v1.1은 3,154회 — 하지만 모델 카드에 대한 관심은 벤더가 지원한다고 말하는 것과 같지 않다. 공개 저장소를 권위 있는 산출물로 취급하고, 그 외의 모든 것은 추론으로 보라.

벤더가 호스팅하는, 공식적으로 발표된 버전이 나오나? 알 수 없다. Perplexity 측에 문서화되고 가격이 책정된 Decisions API가 존재한다는 사실은 호스팅 경로가 의도된 제품이며 모델 가중치는 그 상류에 있다는 것을 시사한다. 하지만 그것은 의도에 관한 추측일 뿐, 문서에서 확인된 사실이 아니며, 그렇게 표시되어 있다.

누가 이동해야 하고, 누가 이동하지 말아야 하는가

여러분의 파이프라인이 이미 유형이 지정된 제공자 결정 — 티켓 라우팅, 환불 감지, 에이전트 단계 게이팅 — 을 기준으로 분기한다면, 이 체크포인트는 독립적으로 재현된 점수, Apache 2.0 라이선스, 그리고 오늘 기준으로 여러분이 소유한 하드웨어에 올릴 수 있는 17GB 경로를 갖춘 2주 된 체크포인트입니다. 평가 결과는 이 체크포인트가 참조 모델보다 보정이 더 우수하고 공개 리더보드에서 대략 두 순위 더 높다는 것을 보여주며, 로컬 복사본은 결정당 비용을 완전히 제거합니다. 내려받아서 직접 레이블링한 예제에 대해 실행해 보고, 지금 사용하는 것과 비교해 보세요. 먼저 테스트해야 할 제약 조건은 목록에서 광고하는 256K가 아니라 8,192토큰 결정 예산입니다.

분류가 아니라 추론이 필요하다면, 기다리세요. 독립 패널은 이 체크포인트를 어려운 지식 벤치마크에서 낮은 10점대에 놓았고, 실제로 답할 수 없는 질문에 확신을 보이는 확률 표면은 프로덕션에서 먼저 생각하는 느린 모델보다 더 나쁩니다. 결정 모델을 지지하는 근거는 중앙값 104ms와 60개 질문이 한 번의 패스로 처리된다는 점인데, 답이 틀린 곳에서는 그 어느 것도 도움이 되지 않습니다.

자체 하드웨어에서 의사 결정 단계를 실행하는 것은 이 부류에서 이미 무엇이 잘못되었는지 살펴볼 좋은 기회이기도 합니다: 의사 결정 모델과 관련된 문서화된 AI 사고 및 에이전트 실패가 수집되어 있는 곳은 OrcaRouter AI Incident Archive이며, 각 항목에는 자체 출처, 심각도, 신뢰도 등급 및 분쟁 플래그가 포함되어 있습니다.