pplx-decider-flash vs Laya: 두 가지 의사결정 모델, 하나의 잘못된 비교

세간에 도는 숫자들은 깔끔하지만 쓸모없다. 한 비교 지수는 Laya를 69.5로, pplx-decider-flash-v1.2를 68로 채점해 거의 동점으로 만든다. 또 다른 지수는 Flash를 73.7로 채점해 48개 중 1위로 올린다. 세 번째는 Flash에 504점 만점에 451점을 주고, Laya multilingual에는 240점을 준다. 출처 셋, 판정 셋인 이유는 각기 다른 작업 세트에서 서로 다른 모델을 측정하고 있기 때문이며, 적어도 셋 중 둘은 어느 변형인지 밝히지 않은 채 Laya 변형을 측정하고 있다. 실제로 중요한 비교는 이것이고, 첫 번째 정직한 문장은 아직 아무도 이를 제대로 실행하지 않았다는 것이다.

비교할 수 있는 것은 두 시스템의 형태다. 즉, 그것들이 무엇을 하도록 만들어졌는지, 운영하는 데 얼마가 드는지, 그리고 각각이 사용 가능한 확률을 산출하기 전에 당신에게 무엇을 요구하는지다. 그 축들에서 이 둘은 비등한 경쟁자가 아니다. 이들은 우연히 같은 직함을 공유한 서로 다른 제품이다.

각각 한 단락씩

pplx-decider-flash-v1.2는 Perplexity의 4B급 멀티모달 의사결정 모델로, Qwen3.5-4B 백본과 별도의 255-way 리드아웃 헤드를 기반으로 구축되었습니다. 텍스트, JSON 또는 최대 1.6메가픽셀 이미지 형태의 상태와 타입이 지정된 질문을 입력하면 한 번의 순전파로 보정된 확률을 반환합니다. 제로샷으로 작동하도록 설계되었으며, 저장된 temperature는 1.554이고 모델 카드에는 1,497개 질문 개발 세트에서 88.8% 정확도와 0.021의 기대 보정 오차를 보고합니다. Apache-2.0이며 BF16 기준 약 9 GiB이고, Perplexity API에서 입력 토큰 100만 개당 $0.01이며 출력은 무료입니다.

Laya는 Convai Innovations의 비자기회귀 결정 인코더 제품군으로, 2026년 9월 18일에 공개되었으며 Apache-2.0 라이선스도 따릅니다. 영어 체크포인트는 512토큰 컨텍스트를 갖춘 421M 파라미터의 미세 조정된 ModernBERT-large입니다. 다국어 모델은 1,024토큰을 지원하는 322M 파라미터의 mmBERT-base입니다. 세 번째 체크포인트인 laya-typed-decisions가 대표 점수를 기록하는 모델입니다. 이 모델은 옵션별 마스크 토큰을 사용해 단일 순방향 패스로 통화 내 모든 질문에 답하며, 생성 단계나 이미지 입력이 없습니다.

비교 표가 서로 다른 이유

불일치는 각 벤더가 구축한 벤치마크에서 시작됩니다. Perplexity는 자사 모델을 Decision Index 0.3으로 평가하는데, 이는 지식, 언어, 검색, 도구, 예술을 아우르는 복합 지표입니다. Convai는 Laya를 400개 사례, 2,000개 결정으로 구성된 typed-decisions 벤치마크로 평가하며, 이 벤치마크 또한 자체 공개합니다. 두 모델 모두 상대방의 평가 하네스에서 공개적으로 실행된 적은 없습니다.

서드파티 지수들은 그 공백을 형편없이 메운다. Anchor Terminal의 종합 점수는 Laya를 69.5로 4위, Flash를 68로 6위에 올리는데, 이 1.5점 차이는 누구도 감사할 수 없는 종합 점수의 노이즈 범위 안에 충분히 들어온다. Ollaya Bench는 Flash에 대해 전체 73.7점과 48개 중 1위를 보고하고 매크로 정확도 82.4%를 제시하지만, 하네스는 공개하지 않는다. Jev가 작성한 과제 모음은 Flash에 451/504, Laya multilingual에 240점을 주는데 — 경쟁 모델의 유지관리자들이 작성한 모음에서의 압승이다. PublicAI의 페이지는 Flash가 Laya 322M과 Laya multilingual을 이겼다고 기록하면서도, 동시에 이름이 밝혀지지 않은 "Laya"에게 3–0으로 패했다고 기록하는 데 성공한다.

그 마지막 항목은 문제 전체를 축소해 놓은 것이다. "Laya"는 하나의 모델이 아니다. Flash를 421M 영어 인코더, 322M 다국어 인코더, 그리고 미세 조정된 벤치마크 전문가와 비교하면 세 가지 다른 답이 나오며, 그중 하나만이 실제로 배포할 대상이다.

우리가 지켜낼 수 있는 점수판

다음은 두 시스템이 실제로 차이를 보이는 차원들로, 각 측이 자체적으로 공개한 수치와 출처가 명시되어 있습니다.

• 매개변수 — pplx-decider-flash-v1.2는 4B급이며(API 문서에는 4B라고 되어 있고, 카드 헤더에는 BF16에서 5B라고 표시됨), Laya는 영어 421M, 다국어 322M입니다.

• 맥락 — Flash에서는 262,144 토큰, 약 32,000까지 학습된 반면 Laya 영어는 512 토큰, 다국어는 1,024 토큰입니다.

• 모달리티 — Flash는 텍스트, JSON 및 최대 1.6MP의 이미지를 지원하는 반면, Laya는 텍스트만 지원합니다.

• 제로샷 사용 — Flash는 캘리브레이션된 상태로 제공되며, 저장된 temperature 값과 Laya의 기본 체크포인트 대비 공개된 오류 지표를 함께 갖추고 있습니다. 모델 카드 자체에서도 이를 두고 "제로샷 의사결정 엔진이 아니라, 특화를 위한 빠른 기반"이라고 표현합니다.

• 지연 시간 — T4에서 질문 하나에 Laya 32.8ms, 열 개에 72.3ms, 배치 처리 시 초당 103–332개 질문, CPU에서는 193–464ms이며 Flash 대비 Perplexity가 공개한 서비스 수준 수치는 없습니다. 벤더가 공개한 유일한 수치는 문서 테스트에서 약 248,000 입력 토큰이 16초 걸린 것입니다.

• 가격 — Perplexity API에서는 Flash가 입력 토큰 100만 개당 $0.01에 출력은 무료인 반면, Laya는 직접 실행하는 가중치 릴리스라 호스팅 가격이 없습니다.

지연 시간과 하드웨어: Laya가 가깝지 않은 부분

Laya의 핵심 주장은 의사 결정에 생성 모델이 필요하지 않다는 것이며, 지연 시간 수치가 이를 뒷받침한다. T4에서 다국어 체크포인트의 경우 질문 하나를 32.8ms에, 영어는 39.5ms에 처리한다. 질문 10개는 72.3ms에 처리하며, 배치 처리 시 초당 103~332개 질문을 처리한다. CPU에서 미리 로드된 상태로는 193~464ms에 실행된다. 322M 인코더는 GPU를 사용할 여유가 없는 요청 경로에 들어갈 만큼 충분히 작다.

Flash는 배포 등급 자체가 다릅니다. BF16 가중치 9GB가 16GB 소비자용 카드에 들어가며, 한 서드파티 벤치마크는 RTX 5090에서 VRAM 약 10.4GB, 결정당 90–127ms를 보고합니다. 이는 4B 모델로서는 상당한 수준이고, 몇 배나 더 비싼 하드웨어에서 Laya의 T4 지연 시간보다 대략 세 배 높은 수치입니다. 제약 조건이 저렴한 하드웨어에서의 밀리초 단위 지연이라면, 정확도가 논의에 들어오기도 전에 결론은 이미 난 것입니다.

미세 조정 문제

비교표가 감추고 있는 부분이 바로 이것이며, 이는 결정적입니다.

Laya의 헤드라인 0.766 정확도는 벤치마크 자체의 학습 분할로 미세 조정된 체크포인트인 laya-typed-decisions의 것입니다. 기본 영어 체크포인트는 같은 벤치마크에서 0.362점을 기록했으며, 이는 다수 클래스 기준선 0.461과 무작위 추측 0.318에 대비됩니다. 다시 말해, 추가 학습 없이 그대로 내려받은 모델은 항상 가장 흔한 레이블로 답하는 것보다 더 나쁩니다. Convai는 카드에 이를 직접 명시합니다. arXiv의 독립 재현 연구도 발표된 0.471에 대비되는 0.509의 소프트 정확도라는 대표 지표 하나가 재현되지 않았다고 보고했고, 보정 데이터가 구조적으로 오염되었다고 주장했습니다.

Flash의 주장은 정반대 형태입니다. 벤더가 보고한 Decision Index 60.05는 요청당 질문 하나를 기준으로 한 수치이며, 출시된 그대로 사용하도록 의도된 모델에서 나온 것입니다. 그 주장은 검증되지 않았습니다. Perplexity가 그 벤치마크를 만들었고, 모델 카드에 따르면 학습 작업에 여러 Decision Index 과제의 공식 학습 분할이 포함되었으며 테스트 세트에 대해 오염 제거되었다고 합니다. 이는 명확히 밝혀진, 변호할 수 있는 관행이지만, 동시에 그 모델이 평가받는 벤치마크의 도메인 내 데이터를 보았다는 뜻이며, 오염 제거는 감사된 사실이 아니라 Perplexity 자신의 주장일 뿐입니다. 하지만 부담은 다릅니다. Laya의 경우 공개된 수치가 의미를 가지려면 먼저 파인튜닝과 재보정을 해야 합니다. 원시 확률이 과도하게 확신에 차 있기 때문에 카드에서는 temperature fitting을 권장하며, 재적합 후 ECE는 0.466에서 0.081로 떨어집니다. Flash의 경우에는 보지 못한 데이터에 대한 벤더의 보정을 신뢰하는 것입니다.

둘 다 공짜가 아닙니다. 하나는 엔지니어링 시간을, 다른 하나는 검증 시간을 대가로 치릅니다.

언어 및 카디널리티

Laya multilingual은 원칙적으로 100개 이상의 언어를 지원하며, 모델 카드 자체의 "사용 가능" 기준인 무작위 대비 3배를 적용하면 실제로는 51개 중 45개를 지원합니다. 영어 외 XNLI 점수는 0.731로 영어 전용 체크포인트의 0.521보다 높고, 다른 13개 언어에 걸친 MASSIVE 의도 정확도는 0.451입니다. 그리 높지 않은 수치이긴 하지만 분명 존재하며, Flash는 공개된 다국어 평가가 전혀 없습니다. 트래픽이 영어가 아니라면, 점수가 낮더라도 다국어 평가가 있는 벤더가 더 안전한 출발점입니다.

카디널리티는 반대 방향으로 작용한다. Laya는 고카디널리티 선택형 질문에서 심하게 성능이 떨어진다. Banking77의 72개 레이블에서 Jev의 0.870에 비해 0.425인데, 기본 설정에서 77개 옵션이 각각 약 3~4개 토큰을 받기 때문이다. 이 카드는 옵션 예산을 늘리거나 coarse-to-fine으로 분할할 것을 권고한다. Flash는 최대 255개 옵션을 허용하며 공개된 고카디널리티 벤치마크가 없으므로, 안전하게 해석하자면 Flash는 Laya가 약점으로 문서화한 사례를 위해 설계되었으면서도 그 근거를 보여주지 않은 것이다.

천 가지 결정이 치르는 대가

Laya는 직접 호스팅하기 때문에 결정당 가격이 없습니다. T4에서 초당 103–332개 질문 기준으로 100만 건의 결정은 GPU 시간으로 약 50분에서 3시간 사이입니다. 일반 클라우드 요금으로는 몇 센트에서 몇 달러 수준이며, 여기에 배포 및 모니터링을 위한 엔지니어링 비용이 추가됩니다.

API에서 Flash를 쓰는 비용은 계산하기 간단하다. 400토큰짜리 상태, 질문 하나: 결정 1,000번은 입력 토큰 400,000개이고, 백만 개당 $0.01이면 $0.004이다. 결정 백만 번은 약 $4이다. 가중치를 자체 호스팅하면 토큰당 비용은 사라지지만, 약 9GiB의 가중치와 기성 causal 서버가 재현하지 못하는 비인과적 어텐션 패턴을 갖춘 GPU로 되돌아가게 된다.

함정은 배치 처리다. Flash는 질문마다 상태를 다시 과금하므로, 상태당 질문이 세 개면 청구서가 세 배가 된다. 게이트가 한 번에 여러 가지를 묻는다면, 저렴한 모델도 저렴하지 않다.

라우팅 문제가 등장하는 계층이기도 합니다. 결정 모델은 생성 앞에 놓인 게이트이며, 비용의 대부분은 생성 측에서 발생합니다. OrcaRouter는 200개 이상의 모델을 하나의 키 뒤에 정가에 마크업 없이 배치하므로, 더 저렴한 생성기나 공급업체의 가격 인하가 같은 날 적용되고, 자동 장애 조치 덕분에 잘못 라우팅된 요청이 완전히 실패하지 않습니다. 우리는 pplx-decider-flash나 Laya를 호스팅하지 않습니다. 우리가 실제로 제공하는 유일한 결정 모델은 TypeSafe의 Jev로, jev-1.13 및 jev-1.14 버전이며, GPU를 직접 띄우지 않고 호스팅된 결정기를 원한다면 알아둘 만합니다.

순서대로 선택하는 방법

• 비영어권 트래픽 — Laya 다국어 버전으로 시작한 뒤 측정하세요. 공개된 교차 언어 수치가 있는 유일한 쪽입니다.

• 범용 하드웨어에서 100ms 미만 — Laya. T4에서는 33ms 만에 응답합니다. Flash는 최신 GPU가 필요하며, 해당 환경에서는 90–127ms가 걸린다고 알려져 있습니다.

• 주 내 이미지 — 사실상 경쟁 상대가 없는 Flash. Laya에는 비전 경로가 없습니다.

• 긴 상태 — Flash. 512토큰 윈도우로 인해 Laya는 문서라고 할 만한 그 어떤 용도에도 적합하지 않습니다.

• 라벨링된 데이터도 없고 미세 조정할 시간도 없음 — 적어도 시작점으로서는 Flash. Laya의 기본 체크포인트는 다수결 베이스라인보다 낮습니다.

• 질문당 옵션이 20개를 초과함 — Flash, 또는 옵션 예산을 높이고 코스-투-파인 분할을 사용하는 Laya.

솔직히 요약하자면, 이 모델들은 같은 직무 기술서를 두고 경쟁할 뿐 거의 같은 배포 환경을 두고 경쟁하지는 않는다. Laya는 테스트 가능한 언어에서 대량 분류를 처리하기 위한 빠르고 작으며 미세 조정 가능한 인코더다. Flash는 대규모 컨텍스트와 벤더 스코어보드를 뒷받침으로 갖춘, 보정된 범용 멀티모달 판정자다. 두 모델을 1.5점 차이로 벌려 놓은 비교 표는 틀렸다기보다 무의미하다. 선택을 좌우하는 바로 그 속성들을 평균으로 뭉개 버리기 때문이다.