OrcaCyber Nano 1.0: Pertama dari 21 di Papan yang Tidak Memiliki Hakim

OrcaCyber Nano 1.0 — build 27B Mix-13G, 13,0 GB di disk — berada di puncak papan peringkat 21 model untuk GPU 16 GB dengan skor 89,8 dari 100, pada 60 token per detik di satu Tesla V100. Papan peringkat itu dijalankan oleh repositori GitHub pihak ketiga, bukan oleh kami. Papan tersebut menilai setiap jawaban dengan kode, bukan dengan juri LLM. Dan hal kedua yang perlu dikatakan adalah hal yang biasanya tidak disebutkan vendor: OrcaCyber Nano 1.0 bukan model tercepat di papan itu. MiniCPM-V 4.7 berjalan pada 93,4 token per detik di sana. Nano menang pada rata-rata tujuh kategori, bukan pada kecepatan, dan dua pesaing terdekat — Qwen3.8-27B dalam dua kuantisasi komunitas yang berbeda — tertinggal 1,2 dan 1,4 poin darinya.

Berikut ini adalah pembacaan atas evaluasi tersebut sebagaimana dipublikasikan oleh repositori pada 2026-10-19, ditambah metadata terbitan model itu sendiri dari 2026-10-19. Jika suatu angka berasal dari pengumuman OrcaRouter sendiri dan bukan dari papan pihak ketiga, hal itu disebutkan dalam kalimatnya. Tidak ada apa pun di bawah ini yang telah kami jalankan ulang.

Dewan direksi, dan siapa yang menjalankannya

Repositori V100-LLM ini mengemas GUI, sekumpulan mesin inferensi, dan rangkaian penilaian untuk menjalankan model lokal pada satu kartu NVIDIA Tesla V100 16 GB di Windows. Memilih model, preset, dan mesin, mengunduh yang belum ada, mengobrol dengan gambar, dan melihat token per detik secara langsung semuanya terjadi di GUI tersebut. Rangkaian penilaian adalah bagian yang menghasilkan peringkat, dan repositori ini menerbitkan seluruh harness pengujian bersama skornya, yang cukup tidak biasa sehingga layak mendapat paragraf ini.

Suite pertama papan peringkat itu terlalu mudah. Repositori menyatakannya secara gamblang: sebagian besar model mendapat skor antara 90 dan 100 pada versi satu, yang berarti papan itu tidak dapat membedakan mereka, dan hasil-hasil lama itu masih ada di repo bagi siapa pun yang ingin melihat kegagalannya. Versi dua — suite sulit — dirancang agar tidak ada model kelas 16 GB yang mengerjakan semuanya dengan benar. Suite ini berisi 72 tugas di tujuh kategori:

• Pemrograman, 16 tugas — pengurai ekspresi tanpa eval, pencocokan regex, Dijkstra dengan pemecahan seri, cache LRU dengan TTL, pengurutan topologis, jarak edit, angka Romawi, sudoku, knapsack, matriks spiral, peminifikasi JSON. Dinilai oleh unit test kasus batas tersembunyi yang dijalankan terhadap kode yang dihasilkan di sandbox dengan batas waktu.

• Penalaran, 20 tugas — matematika multi-langkah, logika, tanggal, kombinatorika, dan soal cerita. Jawaban persisnya harus muncul di baris terakhir.

• Instruksi, 12 tugas — tiga hingga lima aturan sekaligus: jumlah kata, huruf terlarang, format persis, pengurutan, bentuk JSON. Setiap aturan dalam suatu tugas harus terpenuhi, bukan hanya sebagian besarnya.

• Penelusuran web, 8 tugas — pertanyaan multi-hop di mana Anda mencari, membaca hasilnya, mencari lagi dengan apa yang Anda temukan, dan terkadang menghitung dengan alat kalkulator. Dinilai berdasarkan jawaban yang benar dan jumlah minimum penelusuran berbeda. "Web" adalah indeks offline tetap yang terdiri dari 13 halaman.

• Agen, 6 tugas — proyek simulasi kecil dengan alat berkas dan run_tests: perbaiki bug, tambahkan fungsi, ganti nama di seluruh berkas, perbaiki konfigurasi, buat laporan CSV. Dinilai berdasarkan keadaan berkas akhir dan tes milik proyek itu sendiri.

• Visi, 8 tugas — gambar yang dihasilkan: menjumlahkan kolom tabel, mencari baris, membaca diagram batang, menghitung titik, membaca teks kecil, relasi spasial, jam analog, struk.

• Konteks panjang, 2 tugas — teks sekitar 14.000 token dengan tiga fakta yang tersembunyi berjauhan, salah satunya kode brankas yang dipecah menjadi tiga bagian. Jawaban tepat.

Berapa nilai "no judge"

Sebagian besar papan peringkat sebesar ini dinilai oleh model bahasa yang membaca jawaban dan memutuskan apakah jawaban itu bagus. Cara itu murah, tetapi membuat papan peringkat mustahil direproduksi: jurinya adalah model, model memiliki versi, dan jawaban yang sama dapat memperoleh skor berbeda pada hari Selasa dibandingkan hari Senin. Suite sulit menghapus juri dan menetapkan lima aturan yang membuat skor dapat diulang.

• Semuanya diperiksa oleh kode. Jawaban yang sama selalu menerima skor yang sama.

• Deterministik dan offline. Temperature nol, thinking dinonaktifkan, tanpa akses internet — web pada kategori pencarian web adalah indeks tetap 13 halaman.

• Preset yang sama dengan yang didapat pengguna. Setiap model dijalankan dengan preset yang direkomendasikan GUI, sehingga kecepatan dan skornya adalah yang dilihat seseorang setelah memasang, bukan konfigurasi yang disetel agar menang.

• Setiap tugas terbukti dapat diselesaikan. Repositori ini menyimpan solusi referensi yang benar untuk setiap tugas pemrograman dan agen, dan dua skrip uji mandiri memeriksa bahwa solusi tersebut lulus penilai. Jawaban yang dihitung — tanggal, jumlah, kode — dinyatakan dalam file tugas.

• Jawabannya adalah baris terakhir. Model dapat berpikir keras; penilai membaca baris terakhir. Panggilan alat diterima dalam format OpenAI dan dalam format teks Qwen XML tool_call.

Aritmetika penilaian juga sama tidak populernya. Setiap kategori adalah persentase tugas yang lulus. Nilai keseluruhan adalah rata-rata dari tujuh kategori, dengan setiap kategori diberi bobot yang sama. Kecepatan adalah rata-rata laju generasi untuk balasan berukuran 64 token atau lebih selama proses berjalan. Setiap run disimpan sebagai file JSON per model yang mencatat jawaban setiap tugas dan apakah tugas itu lulus, sehingga perbedaan pendapat tentang skor dapat dirujuk ke catatan tersebut.

Di mana OrcaCyber Nano 1.0 sebenarnya mendarat

Tujuh skor kategori, dari 100: coding 88, reasoning 95, instructions 58, web search 100, agent 100, vision 88, long context 100. Rata-rata: 89,8.

Angka 58 adalah yang menarik, dan itulah angka yang akan dihilangkan oleh halaman pemasaran lewat pembulatan. Instructions adalah kategori di mana sebuah model harus mempertahankan tiga hingga lima batasan secara simultan — jumlah kata dan huruf terlarang serta bentuk keluaran yang persis — dan Nano kehilangan lima dari dua belas tugas di sana. Semua lainnya berada di 88 atau lebih. Dua kategori sempurna.

Pesaing terdekat adalah Qwen3.8-27B dalam kuantisasi Aggressive IQ3_XS milik HauhauCS dengan skor keseluruhan 88,6 dan 42,2 token per detik; peringkat ketiga adalah versi Unsloth UD-IQ3_S dari model yang sama dengan 88,4 dan 52,1 token per detik. Keduanya mencapai 94 hingga 100 pada pengodean dan penalaran, keduanya turun ke 50 pada instruksi — jadi kelemahan mengikuti instruksi adalah sifat khas kelas 27B pada tingkat kompresi ini, bukan cacat yang unik pada Nano. Yang membedakan peringkat pertama dari ketiga adalah 1,4 poin yang tersebar tipis: beberapa tugas dalam satu kategori, bukan kelas model yang berbeda.

Enam puluh token per detik, dan mengapa model tercepat justru ada di tempat lain

Kecepatan yang ditonjolkan adalah 60 token per detik pada konteks 32k, dan repositori berhati-hati dalam menjelaskan angka tersebut. Ini adalah kecepatan dari preset model yang disetel fast-32kdengan prediksi multi-token pada kedalaman 3, diukur sebesar 66,6 token per detik pada kode dan 54,0 pada chat dengan rata-rata 60,3. Rata-rata biasa atas setiap balasan evaluasi adalah 56,9. Kedua angka tersebut muncul di catatan kaki tabel, bukan hanya angka yang menguntungkan.

Kecepatan menurun seiring bertambahnya konteks, dan repositori menerbitkan tangga: 57 token per detik pada 96k, 32 pada 160k, dan 24 pada 262k setelah 20.000 token terisi. Pemrosesan prompt pada prompt pendek adalah 501 token per detik. Hingga 19.600 token, setiap preset lolos.

Model tercepat di papan peringkat adalah model yang berbeda. MiniCPM-V 4.7 dalam build campuran 35B-A3B Q3 berjalan pada 93,4 token per detik dengan konteks 128k, dan itu dicapai dengan memindahkan encoder visi ke CPU agar semua expert-nya tetap berada di kartu. Secara keseluruhan, model ini berada di peringkat keempat dengan 87,5. Cara repositori itu sendiri membingkai klaimnya adalah sebuah trade-off, bukan sapuan menyeluruh: Nano di sana digambarkan sebagai model dense 27B tercepat di tabel, yang merupakan klaim lebih sempit daripada model tercepat, dan klaim itu benar.

Lingkungan pengukuran dinyatakan sekali dan berlaku untuk seluruh tabel: satu Tesla V100-SXM2-16GB, Xeon E5-2660 v4, DDR4 64 GB. Mesin yang diuji adalah PXA, llama.cpp dengan patch khusus V100, fork Prism ML, dan Strata, masing-masing di bawah lisensi MIT; DLL CUDA mengikuti EULA NVIDIA. Bobot model tidak disertakan — masing-masing diunduh dari halaman penulisnya sendiri di Hugging Face.

Apa model itu, dari metadatanya sendiri

Repositori Hugging Face orcarouter/OrcaCyber-Nano-1.0 mencantumkan jendela konteks 262.144 token, pipeline image-text-to-text (menerima gambar juga teks), pustaka GGUF, serta bahasa Inggris dan Mandarin. Aksesnya dibatasi: Anda harus masuk untuk mengunduh. Bidang lisensi bertuliskan other dengan nama lisensi qwen. Per 2026-10-19 repositori ini menunjukkan 18.606 unduhan dan 151 suka, dan bidang model dasarnya menyebutkan OrcaCyber-Nano-1.0-AI-Defense dengan relasi quantized — file berbobot terbuka adalah kuantisasi dari induk yang disetel untuk pertahanan, itulah cara jujur untuk membaca bidang tersebut.

Ada empat file, dan ukurannya menjelaskan sebagian besar keputusan deployment di bagian berikutnya:

• Mix-13G — 12.993.304.352 byte, build 13,0 GB yang mencetak skor 89,8.

• Mix-15.7G — 15.695.148.832 byte, build yang lebih besar, masih dalam kapasitas kartu 16 GB.

• DFlash2 Q8_0 — 2.056.414.112 byte, model draf untuk decoding spekulatif.

• mmproj F16 — 927.606.848 byte, proyektor visi, yang memungkinkan delapan tugas visi tersebut.

Menambahkan mesinnya dan instalasi yang berfungsi memakan sekitar 14 GB di disk: 13,0 GB bobot, sekitar 0,9 GB proyektor, dan runtime.

Tiga belas gigabyte muat di kartu. Dua ratus enam puluh dua ribu token tidak.

Ini adalah dua klaim yang berbeda, dan liputan pers cenderung menyatukan keduanya. File bobot 13,0 GB muat di dalam 16 GB VRAM, itulah sebabnya model ini dapat berjalan di V100 dengan ruang tersisa untuk KV cache konteks 32k. Konteks maksimum 262.144 token tidak muat di kartu tersebut; konteks itu memerlukan KV cache di memori sistem, dan persyaratan repositori mencantumkan 64 GB RAM sistem untuk preset 262k, dibandingkan dengan 32 GB untuk penggunaan biasa. Jika didorong hingga batas itu, kecepatannya adalah 24 token per detik seperti pada tangga di atas.

Sisa persyaratan perangkat kerasnya terbilang sederhana dan spesifik. Kartu NVIDIA 16 GB apa pun dari Volta dan seterusnya dapat menjalankan stack; driver harus dari seri R576 atau yang lebih baru; V100 yang dibiarkan dalam mode TCC juga tidak masalah. Tidak ada WSL, Docker, toolkit CUDA, Visual Studio, dan Python yang perlu dipasang, karena folder tersebut menyertakan mesinnya sendiri dan Python portabelnya sendiri. Diperlukan sekitar 20 GB ruang disk kosong per model.

Nomor-nomor vendor, diberi label

OrcaRouter mengumumkan OrcaCyber Nano 1.0 pada 2026-10-18 sebagai rilis darurat, open-weight, dan menempatkannya dalam seri tiga model bersama OrcaCyber Zero 1.5 dan OrcaCyber Ultra 1.0. Pada minggu yang sama, perusahaan membuka akses prioritas gratis ke model-model OrcaCyber miliknya bagi tim yang aktif menanggapi intrusi. Postingan hari berikutnya dibuka dengan hasil papan peringkat dan menyebut Nano sebagai, menurut evaluasi awal vendor sendiri, model lokal paling mampu di kelasnya yang di bawah 16GB.

Frasa terakhir itu merupakan klaim vendor dan belum direproduksi secara independen. Begitu pula dengan benchmark yang diulang dalam pengumuman tersebut: 78,4% pada SWE-bench Verified, disandingkan dengan 79,0% yang dilaporkan DeepSeek untuk DeepSeek V4 Flash. Kedua angka itu dilaporkan oleh vendor masing-masing; baik 78,4 maupun 79,0 belum dijalankan oleh publikasi ini, dan perbandingannya menarik terutama karena model 27B ditempatkan dalam selisih 0,6 poin dari model terhosting yang jauh lebih besar pada harness milik vendor itu sendiri. Bacalah sebagai pengumuman, bukan sebagai hasil.

Kartu model itu sendiri layak dicatat karena apa yang tidak dimuatnya. Tag-nya menyebut cybersecurity, reverse engineering, function calling, dan vision, tetapi kartu itu tidak memuat angka benchmark khusus siber — tidak ada skor incident-response, tidak ada tingkat deteksi kerentanan, tidak ada hasil CTF. Semua itu ada di halaman Zero. Dan angka CyberGym yang beredar di lini siber kami milik konfigurasi gabungan — Zero 1.0 plus DeepSeek V4 Flash plus adaptive routing — bukan hasil solo model mana pun. Jika Anda memilih model ini untuk pekerjaan pertahanan, keadaan bukti yang jujur adalah: suite umum yang dinilai lewat kode menempatkannya pertama dari 21 pada kartu 16 GB, dan bukti khusus siber ada di tempat lain dan milik model lain.

Di mana posisinya bersebelahan dengan model cyber yang dihosting

OrcaCyber Nano 1.0 adalah rilis bobot untuk perangkat keras lokal. Anda mengunduh 13 GB, menjalankannya sendiri, dan skor di atas adalah hasilnya di kartu Anda. Ini bukan endpoint di katalog kami saat ini, dan tidak ada apa pun dalam artikel ini yang boleh ditafsirkan sebaliknya. Yang ada di katalog adalah bagian lain dari seri ini — OrcaCyber Zero 1.5 dan OrcaCyber Ultra 1.0 — di bawah kunci yang sama dan endpoint yang kompatibel dengan OpenAI yang sama seperti 200 lebih model lainnya, termasuk Claude Opus 5.5, GPT-6.1 Sol, Kimi K3, Qwen3.8-Max dan DeepSeek V4 Flash, tanpa markup token di atas harga daftar penyedia dan failover otomatis antar penyedia.

Pembagian itulah yang berguna untuk diingat. Nano adalah model yang Anda miliki dan jalankan secara offline, tanpa data keluar dari mesin — yang merupakan inti dari model siber untuk respons insiden, karena mesin yang paling perlu Anda periksa sering kali adalah mesin yang tidak dapat Anda kirim ke API. Zero 1.5 dan Ultra 1.0 adalah model yang Anda panggil. Lapisan lokal untuk pekerjaan air-gapped, lapisan hosted untuk throughput, satu kosakata nama model di antara keduanya.

Apa yang perlu dilakukan dengan 89.8 bergantung pada untuk apa Anda membutuhkannya. Jika Anda menunggu bukti bahwa model 27B pada 13 GB kompetitif di kartu 16 GB — bukan sekadar dapat dijalankan, tetapi kompetitif melawan 21 alternatif pada tugas-tugas yang semuanya dinilai oleh kode yang dapat dieksekusi — inilah bukti itu, dengan celah kepatuhan instruksinya terlihat pada 58 dan batas kecepatannya terlihat pada 60 token per detik. Jika Anda membutuhkan yang tercepat di V100, itu adalah model lain pada papan yang sama di 93.4, dan letaknya satu baris di bawah dalam tabel.