Step 5 Preview 대 Nex N2.5 Pro: 확인할 수 있는 숫자 하나, 확인할 수 없는 숫자 하나

회자되는 숫자는Nex N2.5 Pro의 경우 82.7로, Terminal-Bench 2.1에서 벤더가 보고한 점수입니다. 회자되는 숫자는Step 5 Preview의 경우 같은 이름의 벤치마크에서 33%입니다. 이 두 수치는 비교할 수 없으며, 이들이 흔히 나란히 놓인다는 사실은 이번 맞대결이 지닌 문제를 가장 명확히 보여줍니다. 한 모델은 제작사가 아닌 다른 누군가에 의해 측정되었고, 다른 모델은 제작사 외의 누구에 의해서도 전혀 측정된 적이 없습니다. Step 5 Preview는 2026년 9월 20일 StepFun의 API에 공개되었고, 10월 15일 가중치를 공개했습니다. Nex N2.5 Pro는 9월 8일 발표되었으며, 발표 후 며칠 안에 Hugging Face에 Apache-2.0 체크포인트를 공개했습니다. 둘 다 다운로드할 수 있습니다. 외부에서 점수를 매길 수 있는 것은 하나뿐입니다.

그 비대칭성은 Nex N2.5 Pro의 엔지니어링을 깎아내리는 말이 아닙니다. 그것은 증거에 관한 진술이며, 조달 결정은 바로 그 증거를 근거로 이루어집니다.

가중치가 공개된 지금, Nex N2.5 Pro는 무엇인가

많은 보도에서 여전히 Nex N2.5 Pro를 가중치가 "출시 예정"인 모델로 묘사하는데, 이는 9월 첫째 주 당시 해당 모델 카드에 그렇게 적혀 있었기 때문입니다. 체크포인트는 9월 중순부터 공개되었습니다. 3,970억 개 파라미터의 mixture-of-experts 모델로, 토큰당 약 170억 개가 활성화되며, Qwen 3.5 계열에서 사후 학습되었고, Apache-2.0 라이선스로 배포됩니다. 이를 미출시 모델로 설명하는 사람은 오래된 페이지를 보고 있는 것입니다.

변하지 않은 것은 측정 상황입니다. 벤더의 벤치마크 수치—Terminal-Bench 2.1에서 82.7, SWE-bench Pro에서 61.2, BrowseComp에서 89.7, OSWorld-G에서 87.4—는 동맹 자체의 컴퓨터 사용 하네스인 NexCUA를 통해 산출되었으며, 동맹은 이를 오픈소스로 공개할 계획이라고 말했지만 아직 공개하지 않았습니다. 어떤 독립 평가 기관도 이 모델에 대한 평가 페이지를 올리지 않았습니다. 이러한 부재는 시기의 우연이 아니라, 가중치가 다운로드 가능한 전체 기간 동안 이어진 격차입니다.

할 수 있는 비교

아래의 모든 내용은 공동 실행이 아니라 공개된 출처에서 나온 것이며, 각 항목에는 해당 수치의 출처가 명시되어 있습니다. 이것이 이 쌍에 대해 정직하게 제시할 수 있는 최대치입니다.

• 파라미터 — Step 5 Preview: 총 600B, 활성 27B. Nex N2.5 Pro: 총 397B, 활성 ~17B.

• 컨텍스트 — Step 5 Preview: 100만 토큰. Nex N2.5 Pro: 262,144 토큰, 문서상 출력 상한은 약 236K입니다.

• 모달리티 — 5단계 프리뷰: 텍스트, 이미지, 비디오 입력, 텍스트 출력. Nex N2.5 Pro: 텍스트와 이미지 입력, 텍스트 출력, 비전은 컴퓨터 사용 피드백 채널로 포지셔닝.

• 추론 제어 — Step 5 미리보기: 사고는 항상 켜져 있지만 낮음/중간/높음 노력 다이얼이 있습니다. Nex N2.5 Pro: 없음, 중간(적응형, 기본), 높음 단계가 있어 추론을 완전히 끌 수 있습니다.

• 가중치 — Step 5 Preview: BF16 및 FP8, StepFun Model License 1.0 적용. Nex N2.5 Pro: Apache-2.0.

• 가격 — Step 5 Preview: StepFun 요금표 기준 백만 토큰당 입력 $1.00, 출력 $2.70, 캐시 $0.10. Nex N2.5 Pro: 무료 호스팅 티어가 제공되며, 공급업체가 공개한 정가표는 없습니다.

라이선스 항목은 Nex N2.5 Pro가 명백히 더 단순한 유일한 부분입니다. Apache-2.0은 어떤 법무 팀에게도 이미 잘 알려진 기준이고, StepFun의 라이선스는 모델링이 필요한 상업적 임계값을 포함합니다. 컨텍스트 항목은 반대 방향이며, 거의 네 배 차이에 가깝습니다 — 에이전트가 전체 저장소나 문서 집합을 읽는다면 의미가 있습니다.

할 수 없는 비교

이 둘을 같은 축에 놓으려면 세 가지가 필요하겠지만, 그중 어느 것도 존재하지 않습니다.

먼저, 공통 벤치마크 버전입니다. Terminal-Bench 2.1과 Terminal-Bench 4.0은 과제 세트와 채점 방식이 다른 서로 다른 테스트이며, 한쪽의 점수는 다른 쪽에 대해 아무것도 말해주지 않습니다. 82.7이라는 수치는 2.1의 것이고, 33%라는 수치는 4.0의 것입니다. 이 둘을 맞대결처럼 제시하는 것은 단거리 기록을 마라톤 구간 기록과 비교하는 것입니다.

둘째, 공통 하네스입니다. Step 5 Preview의 수치는 목록에 포함된 모든 모델을 대상으로 고정된 평가 스위트를 실행하는 공개된 지수에서 나옵니다. Nex N2.5 Pro의 수치는 자사 공급업체가 작성하고 아직 공개하지 않은 소프트웨어에서 나옵니다. 벤치마크 이름이 일치하더라도 스캐폴딩은 일치하지 않을 것입니다.

셋째, 어떤 방식으로든 독립적인 평가 자료가 없습니다. 인텔리전스 지수를 발표하는 평가 기관들 중 어디에도 Nex N2.5 Pro에 대한 페이지가 존재하지 않습니다. 우리는 검색 결과가 없다는 점에서 추론하는 대신 이를 직접 확인했으며, 오늘의 답은 9월 당시와 동일합니다. 아무것도 없습니다.

과하게 나서지 않고 말할 수 있는 범위는 더 좁지만 여전히 유용하다: Nex N2.5 Pro는 Step 5 Preview의 독립적으로 측정된 결과가 중위권인 벤치마크에서 강력한 에이전트 성능을 주장한다. 그것은 이 제품을 시험해 볼 이유이지, 믿을 이유는 아니다.

무료 엔드포인트의 실제 가치

Nex N2.5 Pro의 호스팅 티어는 비용이 들지 않으며, 이는 가격 비교를 위험 비교로 바꿉니다. 공개된 정가가 없으므로 모델링할 기준도 없고, 벤더가 이 모델의 가치를 얼마로 평가하는지에 대한 신호도 없습니다. 타사 목록에는 호스트에 따라 백만 입력 토큰당 수십 센트의 낮은 범위에 이르는 가격이 제시되어 있으며, 서로 크게 모순되어 어느 것도 벤더의 입장으로 간주해서는 안 됩니다.

무료에도 가용성 비용이 있습니다. 무료 엔드포인트를 지켜보는 추적기들은 간헐적인 가용성을 보고합니다 — 이는 제3자의 관찰이지 벤더의 수치가 아니며, 프로토타입에는 의미가 없고 프로덕션 경로에서는 탈락 요건이 되는 종류의 것입니다. 의존할 수 없는 모델은 저렴하지 않습니다. 그것은 청구서에 0이 적힌, 값이 매겨지지 않은 위험입니다.

그에 반해 Step 5 Preview의 $0.54 블렌디드 요금과 완료된 인덱스 작업당 $2.35는 절대적인 기준에서 볼 때 비싸지만 완전히 명확합니다. 공개된 요금표를 보면 청구서를 예측할 수 있습니다. 약관이 문서로 명시되지 않은 무료 티어에서는 청구서를 예측할 수 없습니다.

Step 5 Preview의 기록은 다르지, 더 나은 것은 아닙니다

Step 5 Preview가 실제로 무엇을 갖추고 있는지 정확히 짚는 것이 좋습니다. “점수가 있다”고 하면 그 차이를 과소평가하는 것이고, “더 낫다”고 하면 과장하는 것이기 때문입니다. Step 5 Preview는 현재 버전의 Artificial Analysis Intelligence Index에서 29점을 기록합니다. 출시 당시 보도에서 인용된 44점이 아닙니다. 해당 지수 버전이 이후 교체되었기 때문입니다. 이 모델은 비교 클래스 17개 중 6위이며, 초당 179개의 출력 토큰으로 실행되고, 인덱스 과제당 비용은 $2.35입니다. 이러한 수치는 동일 실행에서 재현 가능하며, 결과에 대해 상업적 이해관계가 없는 평가자가 산출한 것입니다.

그것이 주는 것은 기준선입니다. 같은 방식으로 측정된 50여 개의 다른 모델과 비교해 모델이 어디에 위치하는지 알 수 있으므로, GPU를 대여하지 않고도 1차 판단을 내릴 수 있습니다. 그렇다고 해서 Step 5 Preview가 당신의 워크로드에서 Nex N2.5 Pro를 능가한다는 보장을 주지는 않습니다. 코딩과 자동화에서 Step 5 Preview의 독립 결과는 눈에 띄지 않습니다. FrontierCode 2.0에서 12%, Terminal-Bench 4.0에서 33%입니다. 그리고 공개되지 않은 강력한 에이전트형 성능 주장을 가진 모델은 바로 그 수치를 넘어설 수 있는 유형의 모델입니다. 요점은 이를 카드에서 읽어내는 대신 스스로 확인하게 된다는 것입니다.

각각 누구에게 속하는지

Nex N2.5 Pro는 도입을 확정하기 전에 자체 평가를 직접 실행할 의향이 있고, Apache-2.0 라이선스와 보통 수준의 하드웨어에 맞는 17B 활성 규모를 중시하는, 컴퓨터 사용 및 브라우저 에이전트를 만드는 팀을 위한 제품입니다. 무료 엔드포인트는 시험 사용 비용을 낮추지만, 공개되지 않은 정가는 프로덕션 결정을 어렵게 만듭니다. 벤더 벤치마크를 결과로 받아들이지 말고, 그 뒤에 그럴듯한 메커니즘—화면 읽기 작업으로 후처리 학습된 Qwen 계열 MoE—이 있다고 가정하는 하나의 가설로 취급하세요.

Step 5 Preview는 장문 컨텍스트와 지식 집약적인 작업 부담을 가지며 예측 가능한 가격이 필요한 팀을 위한 것입니다. 이는 더 비싸고 더 명확하게 읽히는 옵션이며, 그 라이선스는 Nex의 라이선스가 제기하지 않는 질문을 매우 큰 규모에서 제기합니다.

둘 다 현재 OrcaRouter 카탈로그에 없으므로, 이 글에서는 어느 쪽도 더 저렴한 엔드포인트를 알려드릴 수 없습니다. 이런 결정과 관련해 이 플랫폼이 제공하는 것은 하나의 키로 이용할 수 있는 나머지 스택입니다: 마크업 없이 공급자 정가로 제공되는 200개 이상의 모델을 제공하며, 이를 통해 공급업체의 요율 변경이 당일 반영되고, 자동 페일오버 기능을 제공하여 아직 시험 중인 모델이 단일 장애점이 되지 않도록 합니다. 검증되지 않은 모델에 효과적인 방식은 검증된 폴백 뒤에서 실제 트래픽의 일부를 해당 모델로 라우팅하고, 측정한 뒤에야 그 비중을 옮기는 것입니다. 이는 벤치마크 맞대결보다 비용이 적게 들고 공급업체 소개 자료보다 훨씬 더 많은 정보를 제공합니다.

오늘 답이 필요하다면, 디자인 리뷰에서 근거를 제시할 수 있는 쪽은 Step 5 Preview입니다. 여기에 붙은 모든 수치는 회의실에 있는 누군가가 확인할 수 있기 때문입니다. 컴퓨터 사용 에이전트를 구축하고 있고 평가 작업을 감당할 수 있다면, Nex N2.5 Pro가 더 흥미로운 베팅입니다. 시도하기는 더 저렴하고, 방어하기는 더 어렵고, 정말로 측정된 적은 없습니다. 피해야 할 실수는 82.7을 사실로, $1.00을 단점으로 취급하면서 그 두 수치 중 하나만 제2의 출처를 갖는다는 점을 알아채지 못하는 것입니다.