OrcaCyber Nano 1.0: 심사위원이 없는 위원회에서 21개 중 첫 번째

OrcaCyber Nano 1.0 — 27B Mix-13G 빌드, 디스크상 13.0GB — 은 16GB GPU용 21개 모델 리더보드의 정상에 있으며 점수는 100점 만점에 89.8점이며, 초당 60토큰으로 단일 Tesla V100에서 실행됩니다. 이 리더보드는 우리가 아니라 제3자 GitHub 저장소에서 운영합니다. 모든 답변은 LLM 심사자가 아니라 코드로 채점합니다. 그리고 두 번째로 말할 만한 점은 일반적으로 벤더가 생략하는 것입니다: OrcaCyber Nano 1.0은 해당 리더보드에서 가장 빠른 모델이 아닙니다. MiniCPM-V 4.7은 거기서 초당 93.4토큰으로 실행됩니다. Nano는 속도가 아니라 일곱 개 범주의 평균에서 이기며, 가장 가까운 두 경쟁자는 — Qwen3.8-27B의 두 가지 서로 다른 커뮤니티 양자화 버전이며, 각각 1.2점과 1.4점 뒤처져 있습니다.

다음은 저장소가 2026-10-19에 게시한 해당 평가에 대한 해석과, 2026-10-19에 모델 자체가 공개한 메타데이터입니다. 숫자가 제3자 보드가 아니라 OrcaRouter 자체 발표에서 나온 경우에는 해당 문장에서 그렇게 밝힙니다. 아래 내용 중 우리가 다시 실행한 것은 없습니다.

이사회, 그리고 누가 그것을 운영하는가

해당 V100-LLM 저장소는 Windows에서 NVIDIA Tesla V100 16GB 카드 한 장으로 로컬 모델을 실행하기 위한 GUI, 추론 엔진 세트, 평가 스위트를 패키징합니다. 모델, 프리셋, 엔진 선택, 누락된 항목 다운로드, 이미지와의 채팅, 실시간 초당 토큰 수 확인은 모두 해당 GUI에서 이루어집니다. 평가 스위트는 순위를 산출한 부분이며, 저장소는 점수와 함께 전체 테스트 하네스를 공개하는데, 이는 이 단락에서 다룰 가치가 있을 만큼 이례적입니다.

보드의 첫 번째 스위트는 너무 쉬웠습니다. 저장소에도 분명히 나와 있습니다: 대부분의 모델이 버전 1에서 90~100점을 받았고, 이는 모델들을 구분할 수 없었다는 뜻이며, 그 오래된 결과들은 실패를 직접 확인하려는 사람이라면 누구나 볼 수 있도록 여전히 저장소에 남아 있습니다. 버전 2 — 어려운 스위트 — 는 16GB급 모델 중 어느 것도 모든 문제를 맞히지 못하도록 설계되었습니다. 여기에는 7개 범주에 걸쳐 72개의 과제가 포함되어 있습니다:

• 코딩, 16개 과제 — eval 없는 수식 파서, 정규식 매칭, 동점 처리를 포함한 다익스트라, TTL이 있는 LRU 캐시, 위상 정렬, 편집 거리, 로마 숫자, 스도쿠, 배낭 문제, 나선형 행렬, JSON 압축기. 생성된 코드에 대해 샌드박스에서 시간 제한을 두고 실행되는 숨겨진 엣지 케이스 단위 테스트로 채점됩니다.

• 추론, 20개 과제 — 다단계 수학, 논리, 날짜, 조합론 및 문장제 문제. 정확한 답은 마지막 줄에 나타나야 합니다.

• 지시문, 12개 과제 — 한 번에 세에서 다섯 개의 규칙: 단어 수, 금지 문자, 정확한 형식, 순서, JSON 구조. 과제의 모든 규칙이 충족되어야 하며, 대부분이 아니라 전부여야 합니다.

• 웹 검색, 작업 8개 — 검색하고, 결과를 읽고, 찾은 내용으로 다시 검색하며, 때로는 계산기 도구로 계산하는 멀티홉 질문입니다. 정답과 최소 고유 검색 횟수로 채점됩니다. "웹"은 13개 페이지로 구성된 고정 오프라인 인덱스입니다.

• 에이전트, 6개 작업 — 파일 도구와 run_tests가 있는 작은 시뮬레이션 프로젝트: 버그 수정, 함수 추가, 여러 파일에 걸친 이름 변경, 설정 수정, CSV 보고서 작성. 최종 파일 상태와 프로젝트 자체 테스트를 기준으로 채점됩니다.

• 비전, 8개 작업 — 생성된 이미지: 표의 열 합산하기, 행 조회하기, 막대 차트 읽기, 점 개수 세기, 작은 텍스트 읽기, 공간 관계, 아날로그 시계, 영수증.

• 긴 컨텍스트, 작업 2개 — 약 14,000토큰 분량의 텍스트에 세 가지 사실이 멀리 떨어져 숨겨져 있으며, 그중 하나는 세 부분으로 나뉜 금고 코드입니다. 정확한 답.

"‘판사 없음’의 가치는 얼마인가"

이 정도 규모의 대부분 리더보드는 언어 모델이 답변을 읽고 좋은지 판단해 점수를 매깁니다. 이 방식은 저렴하지만, 리더보드를 재현 불가능하게 만듭니다: 심사자는 모델이고, 모델에는 버전이 있으며, 같은 답변이 월요일과 화요일에 다른 점수를 받을 수 있습니다. hard suite는 심사자를 제거하고 점수를 반복 가능하게 만드는 다섯 가지 규칙을 제시합니다.

• 모든 것은 코드로 검증됩니다. 동일한 답변은 항상 동일한 점수를 받습니다.

• 결정적이며 오프라인입니다. 온도 0, 사고 비활성화, 인터넷 접근 불가 — 웹 검색 카테고리의 웹은 13페이지 고정 색인입니다.

• 사용자가 받는 것과 동일한 프리셋입니다. 각 모델은 GUI가 권장하는 프리셋으로 실행되므로, 속도와 점수는 설치 후 사용자가 보게 되는 값이며, 승리를 위해 튜닝된 구성이 아닙니다.

• 모든 작업은 해결 가능함이 입증되어 있습니다. 저장소에는 모든 코딩 및 에이전트 작업에 대한 올바른 참조 솔루션이 있으며, 두 개의 자체 테스트 스크립트가 해당 솔루션이 채점자를 통과하는지 확인합니다. 계산된 답변 — 날짜, 합계, 코드 — 은 작업 파일에 단언되어 있습니다.

• 답은 마지막 줄입니다. 모델은 생각을 드러내며 추론할 수 있습니다; 채점자는 마지막 줄을 읽습니다. 도구 호출은 OpenAI 형식과 Qwen XML tool_call 텍스트 형식으로 허용됩니다.

점수 계산 방식도 마찬가지로 유행과는 거리가 멉니다. 각 범주는 통과한 과제의 백분율입니다. 전체 점수는 일곱 범주의 평균이며, 모든 범주에 동일한 가중치가 부여됩니다. 속도는 실행 중 64토큰 이상인 응답들의 평균 생성 속도입니다. 모든 실행은 모델별 JSON 파일로 저장되어 각 과제의 답변과 통과 여부가 기록되므로, 점수에 이견이 있으면 기록을 근거로 확인할 수 있습니다.

OrcaCyber Nano 1.0이 실제로 도달하는 지점

100점 만점 기준 일곱 개 카테고리 점수: 코딩 88, 추론 95, 지시 준수 58, 웹 검색 100, 에이전트 100, 비전 88, 긴 컨텍스트 100. 평균: 89.8.

58은 흥미로운 숫자이며, 마케팅 페이지라면 반올림해서 없애버릴 숫자다. Instructions는 모델이 세 가지에서 다섯 가지 제약을 동시에 유지해야 하는 범주다 — 단어 수, 금지 문자, 정확한 출력 형태 — 그리고 Nano는 그 범주에서 12개 작업 중 5개를 실패한다. 나머지는 모두 88 이상이다. 두 범주는 완벽하다.

가장 근접한 경쟁자는 Qwen3.8-27B로, HauhauCS의 Aggressive IQ3_XS 양자화에서 종합 88.6점, 초당 42.2토큰을 기록했습니다. 3위는 같은 모델의 Unsloth UD-IQ3_S 빌드로 88.4점, 초당 52.1토큰입니다. 둘 다 코딩과 추론에서 94~100점을 기록하고, 둘 다 지시 따르기에서는 50점으로 떨어집니다. 즉 지시 따르기 약점은 이 압축 수준에서 27B 클래스가 지닌 특성일 뿐, Nano만의 고유한 결함이 아닙니다. 1위와 3위를 가르는 것은 얇게 흩어진 1.4점 차이입니다. 이는 한 카테고리 내 몇몇 과제일 뿐, 모델 등급이 다른 것이 아닙니다.

초당 60토큰, 그리고 가장 빠른 모델이 다른 곳에 있는 이유

대표 속도는 32k 컨텍스트에서 초당 60토큰이며, 저장소는 그 숫자가 무엇을 의미하는지 신중하게 밝힙니다. 이는 모델의 튜닝된 fast-32k 프리셋이 깊이 3의 다중 토큰 예측을 사용할 때의 속도로, 코드에서 초당 66.6토큰, 채팅에서 54.0토큰으로 측정되어 평균 60.3입니다. 모든 평가 응답에 대한 단순 평균은 56.9입니다. 두 수치 모두 좋아 보이는 수치만이 아니라 표의 각주에 나옵니다.

컨텍스트가 커질수록 속도는 떨어지며, 저장소는 그 단계를 공개합니다: 96k에서 초당 57토큰, 160k에서 32토큰, 그리고 20,000토큰이 채워진 뒤에는 262k에서 24토큰입니다. 짧은 프롬프트에서의 프롬프트 처리는 초당 501토큰입니다. 최대 19,600토큰까지는 모든 프리셋이 통과합니다.

보드에서 가장 빠른 모델은 다른 모델입니다. MiniCPM-V 4.7은 35B-A3B Q3 믹스 빌드에서 128k 컨텍스트 기준 초당 93.4토큰으로 실행되며, 비전 인코더를 CPU로 옮겨 모든 전문가가 카드에 남도록 함으로써 그 속도에 도달합니다. 전체 순위는 87.5로 4위입니다. 저장소 자체의 설명은 전면 석권이 아니라 트레이드오프입니다. Nano는 그곳에서 표에서 가장 빠른 덴스 27B로 설명되는데, 이는 가장 빠른 모델이라는 주장보다 좁은 범위의 주장이며 사실입니다.

측정 환경은 한 번만 명시되며 전체 표에 적용됩니다. Tesla V100-SXM2-16GB 1대, Xeon E5-2660 v4, 64GB DDR4입니다. 테스트 대상 엔진은 PXA, V100 전용 패치가 적용된 llama.cpp, Prism ML 포크 및 Strata이며, 각각 MIT 라이선스를 따릅니다. CUDA DLL은 NVIDIA EULA를 따릅니다. 모델 가중치는 함께 제공되지 않으며, 각 가중치는 Hugging Face에서 해당 작성자의 자체 페이지에서 다운로드합니다.

모델 자체의 메타데이터로부터 모델이 무엇인지

Hugging Face 저장소 orcarouter/OrcaCyber-Nano-1.0는 262,144토큰 컨텍스트 창, image-text-to-text 파이프라인(이미지와 텍스트를 모두 입력받음), GGUF 라이브러리, 영어 및 중국어 언어를 보고합니다. 이 저장소는 게이트되어 있어 다운로드하려면 로그인해야 합니다. 라이선스 필드에는 other가 표시되고 라이선스 이름은 qwen입니다. 2026-10-19 기준으로 이 저장소는 다운로드 18,606회와 좋아요 151개를 보였으며, 기본 모델 필드에는 OrcaCyber-Nano-1.0-AI-Defense가 관계 quantized와 함께 명시되어 있습니다 — 공개 가중치 파일은 방어용으로 튜닝된 부모 모델의 양자화본이며, 이것이 해당 필드를 정직하게 해석하는 방식입니다.

파일은 네 개이며, 그 크기는 다음 섹션의 배포 결정 대부분을 설명합니다:

• Mix-13G — 12,993,304,352바이트, 89.8점을 기록한 13.0GB 빌드입니다.

• Mix-15.7G — 15,695,148,832바이트, 더 큰 빌드이며 여전히 16GB 카드의 용량 한도 안에 들어갑니다.

• DFlash2 Q8_0 — 2,056,414,112바이트, 추론적 디코딩을 위한 드래프트 모델입니다.

• mmproj F16 — 927,606,848바이트, 비전 프로젝터이며, 이것이 여덟 가지 비전 작업을 가능하게 합니다.

엔진까지 포함하면 실제로 작동하는 설치본은 디스크에서 약 14 GB입니다. 가중치 13.0 GB, 프로젝터 약 0.9 GB, 그리고 런타임이 차지합니다.

13기가바이트는 카드에 들어간다. 26만 2천 개의 토큰은 들어가지 않는다.

이는 서로 다른 두 가지 주장이며, 언론 보도는 이 둘을 함께 묶어 다루는 경향이 있습니다. 13.0 GB 가중치 파일은 16 GB VRAM 안에 들어가므로, 모델이 V100에서 32k 컨텍스트의 KV 캐시를 위한 공간을 남기고 실행됩니다. 262,144토큰 최대 컨텍스트는 카드에 들어가지 않습니다. 시스템 메모리에 KV 캐시가 필요하며, 저장소의 요구 사항에는 262k 프리셋의 경우 64 GB 시스템 RAM, 일반 사용의 경우 32 GB가 명시되어 있습니다. 그 한계까지 밀어붙이면 속도는 위의 단계표에서 나온 초당 24토큰입니다.

나머지 하드웨어 요구 사항은 크지 않고 구체적입니다. Volta 이후의 16GB NVIDIA 카드라면 어떤 것이든 이 스택을 실행할 수 있습니다. 드라이버는 R576 시리즈 이상이어야 하며, TCC 모드로 둔 V100도 괜찮습니다. WSL, Docker, CUDA 툴킷, Visual Studio, Python을 설치할 필요가 없습니다. 폴더에 자체 엔진과 자체 포터블 Python이 포함되어 있기 때문입니다. 모델당 약 20GB의 여유 디스크 공간이 필요합니다.

공급업체 번호, 레이블 표시됨

OrcaRouter가 OrcaCyber Nano 1.0을 2026-10-18에 긴급 릴리스이자 오픈 웨이트로 발표했으며, 세 모델 시리즈에 OrcaCyber Zero 1.5 및 OrcaCyber Ultra 1.0과 함께 포함시켰습니다. 같은 주에 회사는 침입 대응에 적극적으로 나서는 팀을 위해 OrcaCyber 모델에 대한 무료 우선 액세스를 개방했습니다. 다음 날 게시물은 리더보드 결과를 앞세워 Nano를, 벤더 자체의 초기 평가에 따르면 16GB 미만급에서 가장 뛰어난 로컬 모델이라고 설명했습니다.

그 마지막 문구는 벤더의 주장이며 독립적으로 재현되지 않았습니다. 발표에서 반복된 벤치마크도 마찬가지입니다: SWE-bench Verified에서 78.4%는 DeepSeek가 보고한 79.0%와 나란히 놓였으며, 대상은 DeepSeek V4 Flash입니다. 두 수치 모두 각 벤더가 보고한 것이며, 78.4도 79.0도 이 매체가 직접 실행한 것이 아닙니다. 이 비교가 흥미로운 주된 이유는 벤더 자체 하네스에서 27B 모델이 훨씬 더 큰 호스팅 모델과 0.6포인트 차이 안에 놓였다는 점입니다. 이는 결과가 아니라 발표로 읽어야 합니다.

모델 카드 자체는 담고 있지 않은 내용 때문에 주목할 만하다. 태그에는 사이버보안, 리버스 엔지니어링, 함수 호출, 비전이 언급되어 있지만, 카드에는 사이버 특화 벤치마크 수치가 없다. 사고 대응 점수도, 취약점 탐지율도, CTF 결과도 없다. 그런 수치는 대신 Zero 페이지에 있다. 그리고 우리 사이버 라인 주변에서 도는 CyberGym 수치는 단일 모델의 단독 실행이 아니라 결합 구성, 즉 Zero 1.0 + DeepSeek V4 Flash + 적응형 라우팅에 속한다. 방어 작업용으로 이 모델을 고르고 있다면, 증거의 정직한 현황은 이렇다. 코드로 채점되는 일반 스위트에서 이 모델은 16GB 카드에서 21개 중 1위를 차지했고, 사이버 특화 증거는 다른 곳에 있으며 다른 모델들의 것이다.

호스팅된 사이버 모델들 옆에 위치한 곳

OrcaCyber Nano 1.0은 로컬 하드웨어용 가중치 배포판입니다. 13GB를 다운로드해 직접 실행하며, 위의 점수는 사용자의 그래픽카드에서 이 모델이 내는 성능입니다. 현재 저희 카탈로그의 엔드포인트는 아니며, 이 글의 어떤 내용도 그렇다고 해석되어서는 안 됩니다. 카탈로그에 실제로 제공되는 것은 같은 시리즈의 나머지 모델인 OrcaCyber Zero 1.5와 OrcaCyber Ultra 1.0이며, 200개가 넘는 다른 모델과 동일한 키와 동일한 OpenAI 호환 엔드포인트로 제공됩니다. 여기에는 Claude Opus 5.5, GPT-6.1 Sol, Kimi K3, Qwen3.8-Max 및 DeepSeek V4 Flash가 포함되며, 제공업체 정가 대비 토큰 마크업이 없고 제공업체 간 자동 장애 조치가 지원됩니다.

그 구분은 머릿속에 담아 둘 만한 유용한 구분이다. Nano는 직접 소유하고 오프라인으로 실행하는 모델로, 데이터가 장비 밖으로 나가지 않는다 — 이는 사고 대응용 사이버 모델의 핵심이다. 왜냐하면 가장 점검해야 할 장비가 흔히 API로 보낼 수 없는 장비이기 때문이다. Zero 1.5와 Ultra 1.0은 호출하는 모델이다. 에어갭 작업을 위한 로컬 계층, 처리량을 위한 호스팅 계층, 두 계층이 공유하는 하나의 모델 이름 체계.

89.8을 어떻게 다룰지는 그것이 무엇을 위해 필요했는지에 달려 있습니다. 16GB 카드에서 13GB의 27B 모델이 경쟁력이 있다는 증거를 기다리고 있었다면 — 단순히 실행 가능한 수준이 아니라, 모두 실행 가능한 코드로 채점되는 작업에서 21개의 대안과 경쟁할 수 있다는 증거 — 이것이 바로 그 증거입니다. 지시 따르기 격차는 58에서, 속도 상한은 초당 60토큰에서 드러납니다. V100에서 가장 빠른 것을 필요로 했다면, 그것은 같은 보드에서 93.4인 다른 모델이며, 표에서 한 줄 아래에 있습니다.