OrcaCyber Nano 1.0: Đầu tiên trong số 21 trên một hội đồng không có giám khảo

OrcaCyber Nano 1.0 — bản dựng 27B Mix-13G, 13,0 GB trên đĩa — đứng đầu bảng xếp hạng 21 mô hình dành cho GPU 16 GB với điểm số 89,8 trên 100, ở mức 60 token mỗi giây trên một Tesla V100 duy nhất. Bảng xếp hạng này do một kho GitHub của bên thứ ba vận hành, không phải chúng tôi. Nó chấm mọi câu trả lời bằng mã thay vì bằng giám khảo LLM. Và điều thứ hai đáng nói là điều mà nhà cung cấp thường bỏ qua: OrcaCyber Nano 1.0 không phải mô hình nhanh nhất trên bảng đó. MiniCPM-V 4.7 chạy ở 93,4 token mỗi giây ở đó. Nano thắng nhờ điểm trung bình của bảy hạng mục, không phải tốc độ, và hai đối thủ gần nhất — Qwen3.8-27B ở hai bản lượng tử hóa cộng đồng khác nhau — kém nó 1,2 và 1,4 điểm.

Phần sau đây là cách diễn giải bản đánh giá đó theo như kho lưu trữ công bố vào ngày 2026-10-19, cùng với siêu dữ liệu do chính mô hình công bố từ ngày 2026-10-19. Khi một con số đến từ thông báo của chính OrcaRouter thay vì từ bảng xếp hạng bên thứ ba, câu đó sẽ nói rõ điều này. Không có nội dung nào dưới đây được chúng tôi chạy lại.

Hội đồng quản trị, và ai là người điều hành nó

Kho lưu trữ V100-LLM đóng gói một GUI, một bộ engine suy luận và một bộ đánh giá để chạy các mô hình cục bộ trên một thẻ NVIDIA Tesla V100 16 GB dưới Windows. Việc chọn mô hình, preset và engine, tải xuống những gì còn thiếu, trò chuyện với hình ảnh và theo dõi trực tiếp số token mỗi giây đều diễn ra trong GUI đó. Bộ đánh giá là phần đã tạo ra bảng xếp hạng, và kho lưu trữ công bố toàn bộ khung kiểm thử ngay bên cạnh điểm số, điều này đủ bất thường để đáng có một đoạn riêng.

Bộ đề đầu tiên của bảng đánh giá quá dễ. Kho lưu trữ nói thẳng điều đó: hầu hết các mô hình đạt từ 90 đến 100 ở phiên bản một, nghĩa là nó không thể phân biệt được chúng, và những kết quả cũ đó vẫn còn trong repo cho bất kỳ ai muốn xem thất bại ấy. Phiên bản hai — bộ đề khó — được thiết kế sao cho không mô hình tầm 16 GB nào làm đúng tất cả. Bộ đề gồm 72 tác vụ thuộc bảy hạng mục:

• Lập trình, 16 bài tập — một trình phân tích cú pháp biểu thức không dùng eval, so khớp regex, Dijkstra có xử lý hòa, bộ đệm LRU có TTL, sắp xếp tô-pô, khoảng cách chỉnh sửa, chữ số La Mã, sudoku, bài toán ba lô, ma trận xoắn ốc, công cụ rút gọn JSON. Được chấm bởi các bài kiểm tra đơn vị ẩn cho trường hợp biên, chạy trên mã được tạo trong sandbox có giới hạn thời gian.

• Suy luận, 20 bài tập — toán nhiều bước, logic, ngày tháng, tổ hợp và các bài toán có lời văn. Đáp án chính xác phải xuất hiện ở dòng cuối cùng.

• Hướng dẫn, 12 tác vụ — ba đến năm quy tắc cùng lúc: số lượng từ, chữ cái bị cấm, định dạng chính xác, thứ tự, cấu trúc JSON. Mọi quy tắc của một tác vụ đều phải được thỏa mãn, không chỉ phần lớn trong số đó.

• Tìm kiếm web, 8 nhiệm vụ — các câu hỏi đa bước, trong đó bạn tìm kiếm, đọc kết quả, tìm kiếm lại bằng những gì bạn tìm được, và đôi khi tính toán bằng một công cụ máy tính. Điểm được tính dựa trên câu trả lời đúng và số lượng tìm kiếm riêng biệt tối thiểu. "Web" là một chỉ mục ngoại tuyến cố định gồm 13 trang.

• Agent, 6 nhiệm vụ — một dự án mô phỏng nhỏ với các công cụ tệp và run_tests: sửa một lỗi, thêm một hàm, đổi tên trên nhiều tệp, sửa một cấu hình, tạo một báo cáo CSV. Được chấm điểm dựa trên trạng thái tệp cuối cùng và các bài kiểm thử của chính dự án.

• Thị giác, 8 tác vụ — hình ảnh được tạo: tính tổng một cột trong bảng, tra cứu một hàng, đọc biểu đồ cột, đếm các chấm, đọc văn bản nhỏ, quan hệ không gian, một đồng hồ kim, một hóa đơn.

• Ngữ cảnh dài, 2 nhiệm vụ — một văn bản khoảng 14.000 token với ba dữ kiện ẩn cách xa nhau, một trong số đó là mã két sắt được chia thành ba phần. Câu trả lời chính xác.

“không có thẩm phán” đáng giá bao nhiêu

Hầu hết các bảng xếp hạng có quy mô như thế này được chấm điểm bởi một mô hình ngôn ngữ đọc câu trả lời và quyết định xem nó có tốt hay không. Cách đó rẻ, và nó khiến bảng xếp hạng không thể tái lập: giám khảo là một mô hình, mô hình có phiên bản, và cùng một câu trả lời có thể nhận điểm khác nhau vào thứ Ba so với thứ Hai. Bộ kiểm thử khó loại bỏ giám khảo và nêu ra năm quy tắc khiến điểm số có thể lặp lại.

• Mọi thứ đều được kiểm tra bằng mã. Cùng một câu trả lời luôn nhận được cùng một điểm số.

• Tất định và ngoại tuyến. Nhiệt độ bằng 0, tính năng suy nghĩ bị tắt, không có quyền truy cập internet — web của danh mục tìm kiếm web là chỉ mục cố định gồm 13 trang.

• Cùng một preset mà người dùng nhận được. Mỗi mô hình chạy với preset mà GUI đề xuất, nên tốc độ và điểm số là những gì một người thấy sau khi cài đặt, không phải cấu hình được tinh chỉnh để giành chiến thắng.

• Mọi tác vụ đều được chứng minh là có thể giải được. Kho lưu trữ chứa một lời giải tham chiếu chính xác cho mọi tác vụ lập trình và tác vụ tác nhân, và hai tập lệnh tự kiểm tra xác minh rằng các lời giải đó vượt qua các bộ chấm điểm. Các câu trả lời được tính toán — ngày tháng, tổng, mã — được khẳng định trong tệp tác vụ.

• Câu trả lời là dòng cuối cùng. Một mô hình có thể suy nghĩ thành tiếng; người chấm đọc dòng cuối cùng. Các lệnh gọi công cụ được chấp nhận ở định dạng OpenAI và trong định dạng văn bản XML Qwen tool_call.

Cách tính điểm cũng không kém phần lỗi thời. Mỗi hạng mục là tỷ lệ phần trăm các tác vụ được vượt qua. Điểm tổng thể là trung bình cộng của bảy hạng mục, với mọi hạng mục có trọng số như nhau. Tốc độ là tốc độ sinh trung bình trên các phản hồi từ 64 token trở lên trong suốt quá trình chạy. Mỗi lượt chạy được lưu thành một tệp JSON riêng cho từng mô hình, ghi lại câu trả lời của từng tác vụ và việc tác vụ đó có được vượt qua hay không, nhờ đó khi có bất đồng về điểm số, có thể đối chiếu với bản ghi.

OrcaCyber Nano 1.0 thực sự phù hợp ở đâu

Điểm số của bảy hạng mục, trên thang 100: lập trình 88, suy luận 95, chỉ dẫn 58, tìm kiếm web 100, tác nhân 100, thị giác 88, ngữ cảnh dài 100. Trung bình: 89.8.

58 là con số thú vị, và đó chính là con số mà một trang tiếp thị sẽ làm tròn đi. Instructions là hạng mục mà ở đó một mô hình phải giữ đồng thời ba đến năm ràng buộc — một số lượng từ và một chữ cái bị cấm và một dạng đầu ra chính xác — và Nano thua năm trong mười hai tác vụ ở đó. Mọi thứ còn lại đều ở mức 88 trở lên. Hai hạng mục đạt hoàn hảo.

Đối thủ gần nhất là Qwen3.8-27B trong bản lượng tử hóa IQ3_XS Aggressive của HauhauCS, đạt 88,6 tổng thể và 42,2 token/giây; hạng ba là bản dựng UD-IQ3_S của Unsloth cho cùng mô hình, đạt 88,4 và 52,1 token/giây. Cả hai đều đạt 94 đến 100 về lập trình và suy luận, cả hai đều giảm còn 50 về tuân theo chỉ dẫn — vì vậy điểm yếu tuân theo chỉ dẫn là đặc tính của lớp 27B ở mức nén này, không phải khiếm khuyết riêng của Nano. Điều tách biệt hạng nhất với hạng ba là 1,4 điểm trải mỏng: một vài tác vụ trong một hạng mục, chứ không phải một cấp mô hình khác.

Sáu mươi token mỗi giây, và tại sao mô hình nhanh nhất lại ở nơi khác

Tốc độ được nhấn mạnh là 60 token mỗi giây ở ngữ cảnh 32k, và kho lưu trữ rất cẩn trọng về việc con số đó thực chất là gì. Đó là tốc độ của preset fast-32k đã được tinh chỉnh của mô hình với dự đoán đa token ở độ sâu 3, được đo là 66,6 token mỗi giây trên mã và 54,0 trên trò chuyện, trung bình là 60,3. Trung bình thông thường trên mọi phản hồi đánh giá là 56,9. Cả hai con số đều xuất hiện trong chú thích của bảng chứ không chỉ con số đẹp hơn.

Tốc độ giảm khi ngữ cảnh tăng, và kho lưu trữ công bố thang bậc: 57 token mỗi giây ở 96k, 32 ở 160k và 24 ở 262k sau khi đã điền 20.000 token. Xử lý prompt trên các prompt ngắn đạt 501 token mỗi giây. Tối đa 19.600 token, mọi preset đều vượt qua.

Mô hình nhanh nhất trên bảng là một mô hình khác. MiniCPM-V 4.7 trong bản dựng hỗn hợp 35B-A3B Q3 chạy ở 93,4 token mỗi giây với ngữ cảnh 128k, và đạt được điều đó bằng cách chuyển bộ mã hóa thị giác sang CPU để tất cả các chuyên gia của nó vẫn ở trên card đồ họa. Nó xếp thứ tư tổng thể với 87,5. Cách kho lưu trữ tự giới thiệu là một sự đánh đổi, chứ không phải một chiến thắng toàn diện: ở đó, Nano được mô tả là mô hình dense 27B nhanh nhất trong bảng, một tuyên bố hẹp hơn so với "mô hình nhanh nhất", và là một tuyên bố đúng.

Môi trường đo được nêu một lần và áp dụng cho toàn bộ bảng: một Tesla V100-SXM2-16GB, một Xeon E5-2660 v4, 64 GB DDR4. Các engine được thử nghiệm gồm PXA, llama.cpp với bản vá dành riêng cho V100, một bản fork của Prism ML và Strata, mỗi engine đều theo giấy phép MIT; các DLL CUDA tuân theo EULA của NVIDIA. Trọng số mô hình không được đóng gói sẵn — mỗi mô hình được tải xuống từ trang riêng của tác giả trên Hugging Face.

Mô hình là gì, từ siêu dữ liệu của chính nó

Kho lưu trữ Hugging Face orcarouter/OrcaCyber-Nano-1.0 báo cáo cửa sổ ngữ cảnh 262.144 token, một pipeline image-text-to-text (nó nhận cả hình ảnh lẫn văn bản), thư viện GGUF, và các ngôn ngữ tiếng Anh và tiếng Trung. Nó được kiểm soát truy cập: bạn đăng nhập để tải xuống. Trường giấy phép ghi là other với tên giấy phép qwen. Tính đến ngày 2026-10-19, kho lưu trữ hiển thị 18.606 lượt tải xuống và 151 lượt thích, và trường mô hình cơ sở của nó ghi tên OrcaCyber-Nano-1.0-AI-Defense với quan hệ quantized — các tệp trọng số mở là các bản lượng tử hóa của một mô hình mẹ được tinh chỉnh cho quốc phòng, đó là cách trung thực để hiểu trường đó.

Có bốn tệp và kích thước của chúng lý giải phần lớn các quyết định triển khai trong phần tiếp theo:

• Mix-13G — 12.993.304.352 byte, bản dựng 13,0 GB đạt 89,8.

• Mix-15.7G — 15,695,148,832 byte, bản dựng lớn hơn, vẫn nằm trong giới hạn dung lượng của thẻ 16 GB.

• DFlash2 Q8_0 — 2.056.414.112 byte, mô hình nháp cho giải mã suy đoán.

• mmproj F16 — 927.606.848 byte, bộ chiếu thị giác, chính là thứ giúp tám tác vụ thị giác trở nên khả thi.

Thêm engine vào và một bản cài đặt hoạt động sẽ chiếm khoảng 14 GB trên đĩa: 13.0 GB trọng số, khoảng 0.9 GB projector và runtime.

Mười ba gigabyte thì vừa trên thẻ. Còn hai trăm sáu mươi hai nghìn token thì không.

Đây là hai khẳng định khác nhau và báo chí thường có xu hướng gộp chúng lại với nhau. Tệp trọng số 13,0 GB vừa trong 16 GB VRAM, đó là lý do mô hình chạy được trên V100 với chỗ trống cho KV cache của ngữ cảnh 32k. Ngữ cảnh tối đa 262.144 token thì không vừa trên card; nó cần KV cache nằm trong bộ nhớ hệ thống, và phần yêu cầu của kho lưu trữ liệt kê 64 GB RAM hệ thống cho preset 262k so với 32 GB cho sử dụng thông thường. Đẩy tới mức trần đó thì tốc độ là 24 token mỗi giây từ thang đo ở trên.

Phần còn lại của yêu cầu phần cứng khá khiêm tốn và cụ thể. Bất kỳ card NVIDIA 16 GB nào từ Volta trở đi đều chạy được bộ stack; trình điều khiển phải thuộc dòng R576 trở lên; một V100 để ở chế độ TCC là ổn. Không cần cài WSL, Docker, CUDA toolkit, Visual Studio hay Python, vì thư mục này đi kèm engine riêng và Python di động riêng. Cần khoảng 20 GB dung lượng đĩa trống cho mỗi model.

Các số nhà cung cấp, được dán nhãn

OrcaRouter đã công bố OrcaCyber Nano 1.0 vào ngày 2026-10-18 dưới dạng bản phát hành khẩn cấp, trọng số mở, và xếp nó vào một dòng gồm ba mô hình cùng với OrcaCyber Zero 1.5 và OrcaCyber Ultra 1.0. Cùng tuần đó, công ty đã mở quyền truy cập ưu tiên miễn phí cho các mô hình OrcaCyber của mình dành cho những nhóm đang tích cực ứng phó với một vụ xâm nhập. Bài đăng ngày hôm sau mở đầu bằng kết quả bảng xếp hạng và mô tả Nano, theo đánh giá ban đầu của chính nhà cung cấp, là mô hình cục bộ có năng lực nhất trong phân khúc dưới 16GB của mình.

Cụm từ cuối cùng đó là tuyên bố của nhà cung cấp và chưa được tái lập độc lập. Điểm chuẩn mà thông báo lặp lại cũng vậy: 78.4% trên SWE-bench Verified, đặt cạnh mức 79.0% được DeepSeek báo cáo cho DeepSeek V4 Flash. Cả hai con số đó đều do nhà cung cấp tương ứng của chúng báo cáo; cả 78.4 lẫn 79.0 đều chưa được ấn phẩm này chạy, và việc so sánh chủ yếu thú vị ở chỗ một mô hình 27B đang được đặt trong khoảng 0,6 điểm so với một mô hình được host lớn hơn nhiều trên bộ khung thử nghiệm của chính nhà cung cấp. Hãy đọc đây như một thông báo, chứ không phải như một kết quả.

Bản thân thẻ mô hình đáng được lưu ý vì những gì nó không chứa. Các thẻ của nó nhắc đến an ninh mạng, kỹ thuật đảo ngược, gọi hàm và thị giác, nhưng thẻ không mang số liệu đánh giá chuẩn riêng cho cyber — không điểm ứng phó sự cố, không tỷ lệ phát hiện lỗ hổng, không kết quả CTF. Những thứ đó nằm trên các trang Zero. Và con số CyberGym lưu hành quanh dòng cyber của chúng ta thuộc về một thiết lập kết hợp — Zero 1.0 cộng DeepSeek V4 Flash cộng định tuyến thích ứng — chứ không phải lần chạy đơn lẻ của bất kỳ mô hình nào. Nếu bạn đang chọn mô hình này cho công việc phòng thủ, trạng thái bằng chứng trung thực là: một bộ đánh giá tổng quát được chấm bằng mã đã xếp nó đứng đầu trong 21 mô hình trên một card 16 GB, còn bằng chứng riêng cho cyber nằm ở nơi khác và thuộc về các mô hình khác.

Vị trí của nó bên cạnh các mô hình cyber được lưu trữ

OrcaCyber Nano 1.0 là bản phát hành trọng số cho phần cứng cục bộ. Bạn tải 13 GB, tự chạy nó, và điểm số ở trên là những gì nó đạt được trên card của bạn. Hiện nay nó không phải là một endpoint trên danh mục của chúng tôi, và không có gì trong bài viết này nên được hiểu theo cách khác. Điều danh mục thực sự có là phần còn lại của dòng sản phẩm — OrcaCyber Zero 1.5 và OrcaCyber Ultra 1.0 — dưới cùng key và cùng endpoint tương thích OpenAI như hơn 200 mô hình khác, bao gồm Claude Opus 5.5, GPT-6.1 Sol, Kimi K3, Qwen3.8-Max và DeepSeek V4 Flash, không có phụ phí token so với giá niêm yết của nhà cung cấp và tự động chuyển đổi dự phòng giữa các nhà cung cấp.

Cách phân chia đó là điều hữu ích để bạn ghi nhớ. Nano là mô hình bạn sở hữu và chạy ngoại tuyến, không có dữ liệu nào rời khỏi máy — đó chính là mục đích cốt lõi của một mô hình an ninh mạng dùng cho ứng phó sự cố, vì những cỗ máy bạn cần kiểm tra nhất thường lại là những cỗ máy bạn không thể gửi đến API. Zero 1.5 và Ultra 1.0 là những mô hình bạn gọi. Một tầng cục bộ cho công việc trong môi trường cách ly hoàn toàn, một tầng dịch vụ được lưu trữ cho thông lượng, và một hệ tên mô hình thống nhất giữa chúng.

Việc cần làm với 89.8 phụ thuộc vào mục đích bạn cần nó. Nếu bạn đang chờ bằng chứng rằng một mô hình 27B ở 13 GB có thể cạnh tranh trên một card 16 GB — không chỉ chạy được, mà cạnh tranh với 21 lựa chọn thay thế trên các tác vụ đều được chấm bằng mã thực thi — thì đây chính là bằng chứng đó, với khoảng cách tuân thủ chỉ dẫn của nó hiện rõ ở 58 và mức trần tốc độ của nó hiện rõ ở 60 token mỗi giây. Nếu bạn cần thứ nhanh nhất trên một V100, đó là một mô hình khác trên cùng bo mạch ở 93.4, và nó nằm ở hàng ngay dưới trong bảng.