OrcaCyber Nano 1.0 標題卡
Guides & Insights

OrcaCyber Nano 1.0:在一個沒有評審的委員會中,21 人裡的第一位

作者

Rowan Sterling

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

OrcaCyber Nano 1.0——27B Mix-13G 版本,磁碟佔用 13.0 GB——在針對 16 GB GPU 的 21 款模型排行榜上位居榜首,得分為100 分中的 89.8 分,達到每秒 60 個 token,運行於單張 Tesla V100 上。該排行榜由第三方 GitHub 儲存庫維護,而非我們。它用程式碼而非 LLM 評審來為每個答案評分。而第二件值得說、但廠商通常會略過的事是:OrcaCyber Nano 1.0 並不是該排行榜上最快的模型。MiniCPM-V 4.7 在那裡達到每秒 93.4 個 token。Nano 贏在七個類別的平均分,而非速度,而最接近的兩個競爭對手——Qwen3.8-27B 的兩種不同社群量化版本——分別落後它 1.2 分和 1.4 分。

以下是依該儲存庫於 2026-10-19 所發布的內容,對該評測所做的解讀,再加上該模型於 2026-10-19 自身公開的中繼資料。若某個數字來自 OrcaRouter 自身的公告,而非第三方排行榜,句子中會註明。以下內容均未經我們重新執行。

董事會,以及由誰經營

這個 V100-LLM 儲存庫打包了 GUI、一組推論引擎與評分套件,用於在 Windows 下於一張 NVIDIA Tesla V100 16 GB 顯示卡上執行本機模型。挑選模型、預設集與引擎,下載缺少的項目,搭配圖片聊天,以及即時查看每秒 token 數,全都會在該 GUI 中進行。評分套件正是產生該排名的部分,而儲存庫在分數旁邊一併公開整套測試框架,這一點相當罕見,值得用這段文字說明。

The V100-LLM GitHub repository page, showing the repository name, its description about running local LLMs on a Tesla V100 16 GB, and a highlighted quote block reading New #1 on the leaderboard: OrcaCyber-Nano-1.0 27B (89.8) at 60 tok/s and 66 tok/s on code on one V100 16 GB, with presets up to the full 262k context.

排行榜的第一套測試套件太簡單了。儲存庫明白指出這點:大多數模型在第一版上得分介於 90 到 100 分之間,這表示它無法區分它們,而那些較舊的結果仍留在儲存庫中,任何人都能查看這次失敗。第二版——困難測試套件——的設計目標是讓沒有任何 16 GB 等級的模型能全部答對。它包含橫跨七個類別的 72 項任務:

• 程式設計,16 項任務 — 一個不使用 eval 的表達式解析器、正則表達式匹配、帶有平局打破機制的 Dijkstra、具 TTL 的 LRU 快取、拓撲排序、編輯距離、羅馬數字、數獨、背包問題、螺旋矩陣、JSON 壓縮器。由隱藏的邊界案例單元測試評分,這些測試會在具有逾時限制的沙箱中對生成的程式碼執行。

• 推理,20 項任務 — 多步驟數學、邏輯、日期、組合數學與應用題。精確答案必須出現在最後一行。

• 指令,12 項任務 — 同時要符合三到五條規則:字數、禁用字母、精確格式、排序、JSON 結構。任務的每一條規則都必須成立,而不是大部分成立。

• 網頁搜尋,8 項任務——多跳問題:你先搜尋、讀取結果,再用找到的內容再次搜尋,有時還要用計算機工具來計算。評分依據是答案是否正確,以及相異搜尋次數是否最少。所謂的「網頁」是一個固定的離線索引,共 13 頁。

• 代理,6 項任務 — 一個小型模擬專案,配有檔案工具與 run_tests:修正錯誤、新增函式、跨檔案重新命名、修正設定檔、建置 CSV 報告。依據最終檔案狀態與專案自身的測試評分。

• 視覺,8 項任務 — 生成的圖像:加總表格的一欄、查找某一列、讀取長條圖、數點、閱讀小字、空間關係、一個指針式時鐘、一張收據。

• 長上下文,2 項任務——一段約 14,000 個詞元的文本,其中三個事實分別藏在相隔很遠的地方,其中一個是分成三部分的保險庫密碼。需精確作答。

「沒有法官」值多少

大多數這個規模的排行榜,都是由語言模型閱讀答案並判斷其好壞來評分。這很便宜,卻讓排行榜無法重現:評審是模型,模型有版本,同一個答案在星期二的分數可能和星期一不同。hard suite 移除了評審,並訂出五條規則,讓分數可以重複。

• 所有內容皆由程式碼檢查。相同的答案永遠會獲得相同的分數。

• 具確定性且可離線運作。溫度為零、停用思考、無法連線網際網路——網頁搜尋類別的網路是 13 頁的固定索引。

• 使用者取得的相同預設設定。每個模型都使用 GUI 建議的預設設定來執行,因此速度和分數就是使用者在安裝後看到的數值,而不是為了取勝而特別調校的設定。

• 每項任務皆已證明可解。 儲存庫為每個程式設計與代理任務保存一份正確的參考解答,並有兩個自我測試腳本檢查這些解答能通過評分程式。計算得出的答案——日期、總和、代碼——會在任務檔案中受到斷言。

• 答案是最後一行。模型可以出聲思考;評分者會讀取最後一行。工具呼叫可接受 OpenAI 格式,以及 Qwen XML tool_call 文字格式。

評分算術同樣不時興。每個類別是通過任務的百分比。總分是七個類別的平均值,每個類別權重相同。速度是執行期間針對 64 個 token 以上回覆的平均生成速率。每次執行都會存成每個模型一個 JSON 檔案,記錄每項任務的答案以及是否通過,因此對分數有爭議時可以查閱紀錄。

OrcaCyber Nano 1.0 究竟落腳何處

A scoreboard card for OrcaCyber Nano 1.0 listing overall 89.8 of 100, rank 1 of 21, size 13.0 GB, speed 60 tokens per second at 32k context, max context 262k, and coding 88, with a footer noting the figures are from the third-party V100-LLM repository and not run by OrcaRouter.

七個類別分數(滿分 100):程式設計 88,推理 95,指令遵循 58,網頁搜尋 100,代理 100,視覺 88,長上下文 100。平均:89.8。

58 才是耐人尋味的數字,也是行銷頁面會四捨五入掉的那個。指令是模型必須同時兼顧三到五個限制條件的類別——字數、禁用字母,以及精確的輸出格式——而 Nano 在那裡的十二項任務中失分五項。其餘項目都在 88 以上。有兩個類別拿到滿分。

最接近的競爭對手是 Qwen3.8-27B,採用 HauhauCS 的 Aggressive IQ3_XS 量化,整體 88.6、每秒 42.2 個 token;第三名是同一模型的 Unsloth UD-IQ3_S 版本,整體 88.4、每秒 52.1 個 token。兩者在程式設計與推理上都達到 94 到 100,在指令遵循上都降到 50——因此,指令遵循能力偏弱是 27B 級別在此壓縮程度下的特性,而非 Nano 獨有的缺陷。區隔第一名與第三名的,是分散得很薄的 1.4 分:只是某個類別裡的少數幾項任務,而非不同層級的模型。

每秒六十個 token,以及為什麼最快的模型在別處

在 32k 上下文下,主打速度為每秒 60 個 token,而該儲存庫對於這個數字究竟代表什麼相當謹慎。這是模型經過調校的 fast-32k 預設在深度 3 進行多 token 預測時的速度,在程式碼上測得每秒 66.6 個 token、在聊天上為 54.0,平均值為 60.3。對所有評估回覆取單純平均則為 56.9。這兩個數字都出現在表格的註腳中,而不是只列出比較好看的那個。

速度會隨著上下文增長而下降,而儲存庫公布了效能階梯:在 96k 時為每秒 57 個 token,160k 時為 32 個,262k 時在填入 20,000 個 token 後為 24 個。短提示詞的提示詞處理速度為每秒 501 個 token。最多到 19,600 個 token,每個預設集都會通過。

榜上最快的模型是另一個。MiniCPM-V 4.7 在 35B-A3B Q3 混合建置中,於 128k 上下文下以每秒 93.4 個 token 運行,而它之所以能做到,是把視覺編碼器移到 CPU 上,讓它的所有專家都留在顯卡上。它的總體排名第四,分數為 87.5。該儲存庫自己的說法是一項取捨,而非全面橫掃:Nano 在那裡被描述為表中最快的稠密 27B,這個說法比「最快的模型」範圍更窄,而且屬實。

測量環境只說明一次,適用於整張表:一台 Tesla V100-SXM2-16GB、一顆 Xeon E5-2660 v4、64 GB DDR4。受測引擎為 PXA、帶有 V100 專用修補程式的 llama.cpp、一個 Prism ML 分支以及 Strata,皆採 MIT 授權;CUDA DLL 則遵循 NVIDIA 的 EULA。模型權重並未隨附——每一個都從其作者在 Hugging Face 上的頁面下載。

從模型自身的中繼資料來看,模型是什麼

Hugging Face 儲存庫 orcarouter/OrcaCyber-Nano-1.0 回報其上下文視窗為 262,144 個 token,並採用一個 圖像-文字到文字 管線(可接受圖像與文字輸入)、GGUF 函式庫,以及英文與中文。此儲存庫設有存取限制:必須登入才能下載。授權欄位顯示 其他,授權名稱為 qwen。截至 2026-10-19,該儲存庫顯示 18,606 次下載與 151 個讚,而其基礎模型欄位標示為 OrcaCyber-Nano-1.0-AI-Defense,關係為 量化 — 開放權重檔案是經國防調校之母模型的量化版本,這才是解讀該欄位的誠實方式。

共有四個檔案,而它們的大小說明了下一節中大部分的部署決策:

• Mix-13G — 12,993,304,352 位元組,得分 89.8 的 13.0 GB 建置版本。

• Mix-15.7G — 15,695,148,832 位元組,是較大的建置版本,仍控制在 16 GB 記憶卡的容量預算之內。

• DFlash2 Q8_0 — 2,056,414,112 位元組,用於推測解碼的草稿模型。

• mmproj F16 — 927,606,848 位元組,視覺投影器,正是它讓八項視覺任務得以實現。

加入引擎後,一個可正常運作的安裝在磁碟上約佔 14 GB:13.0 GB 的權重、約 0.9 GB 的投影器,以及執行環境。

十三 GB 放得進這張卡。二十六萬兩千個 token 卻放不進。

這是兩項不同的說法,而媒體報導往往將它們混為一談。13.0 GB 的權重檔可放入 16 GB 的 VRAM,這就是為什麼該模型能在 V100 上運行,並仍有餘裕容納 32k 上下文的 KV 快取。262,144 token 的最大上下文無法放入顯示卡;它需要將 KV 快取放在系統記憶體中,而該儲存庫的需求列出 262k 預設需要 64 GB 系統 RAM,一般使用則為 32 GB。若推到此上限,速度就是上方階梯表中的每秒 24 個 token。

其餘的硬體需求並不高,而且很明確。任何 Volta 及之後架構的 16 GB NVIDIA 顯示卡都能執行這整套軟體堆疊;驅動程式必須是 R576 系列或更新版本;V100 保持在 TCC 模式下也沒問題。不需要安裝 WSL、Docker、CUDA Toolkit、Visual Studio 或 Python,因為該資料夾自帶引擎與可攜式 Python。每個模型約需 20 GB 可用磁碟空間。

廠商編號,標記為

OrcaRouter 宣布OrcaCyber Nano 1.0 於 2026-10-18 作為緊急發布的開放權重版本推出,並將其置於三模型系列中,與 OrcaCyber Zero 1.5 及 OrcaCyber Ultra 1.0 並列。同一週,該公司向正在積極應對入侵事件的團隊開放其 OrcaCyber 模型的免費優先使用權。隔天的貼文以排行榜結果開頭,並根據廠商自身的初步評估,形容 Nano 是其 16GB 以下級別中最強大的本地模型。

最後那句話是廠商的主張,尚未經過獨立重現。公告中重複提到的基準測試也是如此:SWE-bench Verified 上的 78.4%,與 DeepSeek 所報告的 79.0% 並列,該數字是針對DeepSeek V4 Flash。這兩個數字都是由各自廠商所報告;本刊並未實際執行 78.4 或 79.0 的測試,而這項比較之所以有趣,主要是因為一個 27B 模型在廠商自家的測試框架上,被拿來與一個規模大得多的託管模型相比,差距僅 0.6 個百分點。請將其視為一則公告,而非一項結果。

模型卡本身值得註記的是它沒有包含什麼。它的標籤提到資安、逆向工程、函式呼叫與視覺,但這張卡並未附上任何資安專屬的基準數字——沒有事件應變分數、沒有漏洞偵測率、也沒有 CTF 結果。那些反而放在 Zero 頁面上。而我們資安產品線周邊流傳的 CyberGym 數字,屬於一套組合式設定——Zero 1.0 加上 DeepSeek V4 Flash 再加上自適應路由——並不是任何單一模型單獨跑出的成績。如果你是要為防禦工作挑選這個模型,誠實的證據狀態是:一套由程式碼評分的通用測試套件在 16 GB 顯示卡上讓它在 21 個模型中排名第一,而資安專屬的證據在別處,且屬於其他模型。

它與託管網路模型並列的位置

The OrcaRouter model catalogue filtered to the cyber tier, showing OrcaCyber Zero 1.5, OrcaCyber Ultra 1.0 and the other cyber models available through one API endpoint.

OrcaCyber Nano 1.0是供本地硬體使用的權重釋出版。你下載 13 GB、自行執行,上方分數就是它在你的顯示卡上的表現。它目前不是我們型錄上的端點,本文任何內容都不應被解讀為相反的意思。型錄確實收錄的是系列其餘版本——OrcaCyber Zero 1.5 和 OrcaCyber Ultra 1.0——與其他 200 多個模型使用相同的金鑰和相同的 OpenAI 相容端點,包括Claude Opus 5.5、GPT-6.1 Sol、Kimi K3、Qwen3.8-Max 和 DeepSeek V4 Flash,且不收取高於供應商定價的 token 加價,並提供跨供應商自動容錯移轉。

那個分法才是值得記在腦中的實用區分。Nano 是你自己擁有、可離線執行的模型,資料不會離開機器——這正是資安模型用於事件應變的重點,因為你最需要檢查的機器,往往正是你無法送去 API 的那些。Zero 1.5 和 Ultra 1.0 則是你會呼叫的模型。本地層級用於氣隙隔離環境的工作,託管層級用於吞吐量,兩者共用同一套模型名稱詞彙。

89.8 該怎麼用,取決於你原本需要它做什麼。如果你一直在等證據,證明 27B 模型在 13 GB 下、於 16 GB 顯示卡上具有競爭力——不只是能跑,而是在全都由可執行程式碼評分的任務上,能與 21 個替代方案競爭——這就是那個證據;它的指令遵循差距在 58 一覽無遺,速度上限則在每秒 60 個 token 一覽無遺。如果你需要的是 V100 上最快的東西,那是在同一張板卡上、93.4 的另一個模型,就在表格中往下一列。

本文中的比較2

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新