OrcaCyber Nano 1.0 标题卡
Guides & Insights

OrcaCyber Nano 1.0:无裁判榜单上 21 个中的第一名

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

OrcaCyber Nano 1.0——27B Mix-13G 构建版,磁盘占用 13.0 GB——在面向 16 GB GPU 的 21 款模型排行榜上位居榜首,得分为100 分中的 89.8 分,以每秒 60 个 token的速度在单块 Tesla V100 上运行。该排行榜由第三方 GitHub 仓库维护,而非我们。它用代码而不是 LLM 评审来为每个答案评分。而第二件值得说的事,正是厂商通常会略过的那件事:OrcaCyber Nano 1.0并不是该榜单上最快的模型。MiniCPM-V 4.7在那里以每秒 93.4 个 token 运行。Nano 胜在七个类别的平均值,而非速度,而最接近的两个竞争对手——Qwen3.8-27B的两种不同社区量化版本——分别落后它 1.2 分和 1.4 分。

以下是依据该仓库于 2026-10-19 发布的内容,以及该模型自身于 2026-10-19 发布的元数据,对这项评估所作的解读。若某个数字来自 OrcaRouter 自己的公告而非第三方榜单,句中会予以说明。下文没有任何内容由我们重新运行过。

董事会,以及由谁掌管

这个V100-LLM 仓库打包了 GUI、一组推理引擎和一套评分套件,用于在 Windows 下用一张 NVIDIA Tesla V100 16 GB 显卡运行本地模型。选择模型、预设和引擎,下载缺失内容,带图片聊天,以及实时查看每秒 token 数,全都在该 GUI 中完成。评分套件正是产生该排名的部分,而仓库在公布评分的同时还发布了完整的测试工具链,这种做法相当少见,值得单独用一段来说明。

The V100-LLM GitHub repository page, showing the repository name, its description about running local LLMs on a Tesla V100 16 GB, and a highlighted quote block reading New #1 on the leaderboard: OrcaCyber-Nano-1.0 27B (89.8) at 60 tok/s and 66 tok/s on code on one V100 16 GB, with presets up to the full 262k context.

榜单的第一套测试太简单了。仓库里说得很直白:大多数模型在版本一上的得分都在 90 到 100 之间,这意味着它无法把它们区分开来,而那些旧结果仍然留在仓库里,任何人都可以去看这次失败。版本二——困难套件——的设计目标是让任何 16 GB 级别的模型都无法全部答对。它包含横跨七个类别的 72 项任务:

• 编程,16 个任务— 不使用 eval 的表达式解析器、正则匹配、带平局决胜的 Dijkstra、带 TTL 的 LRU 缓存、拓扑排序、编辑距离、罗马数字、数独、背包问题、螺旋矩阵、JSON 压缩器。由隐藏的边界情况单元测试评分,这些测试在带超时的沙箱中针对生成的代码运行。

• 推理,20 道题 — 多步数学、逻辑、日期、组合数学和应用题。准确答案必须出现在最后一行。

• 指令,12 项任务——一次给出三到五条规则:字数限制、禁用字母、精确格式、排序、JSON 结构。任务中的每条规则都必须成立,而不能只是大部分成立。

• 网络搜索,8 个任务——多跳问题:你需要搜索、阅读结果,再用找到的内容继续搜索,有时还要使用 计算器工具进行计算。评分依据是答案正确,以及不同搜索次数最少。“网络”是一个固定的离线索引,包含 13 个页面。

• Agent,6 项任务——一个带有文件工具和 run_tests 的小型模拟项目:修复一个 bug、添加一个函数、跨文件重命名、修复一个配置、生成 CSV 报告。评分依据是最终文件状态和项目自身的测试。

• 视觉,8 项任务 — 生成的图像:对表格的一列求和、查找一行、读取条形图、数点、读取小字、空间关系、一个指针式时钟、一张收据。

• 长上下文,2 个任务——一篇约 14,000 个 token 的文本,其中三个事实相隔很远地隐藏着,其中一个是被分成三部分的保险库密码。精确答案。

“没有法官”价值几何

这种规模的排行榜大多由语言模型阅读答案并判断其好坏来评分。这样做成本很低,却让榜单无法复现:评审是一个模型,而模型有版本,同一个答案在周二得到的分数可能和周一不同。hard suite 移除了评审,并明确五条规则,使分数可重复。

• 一切都由代码检查。相同的答案始终获得相同的分数。

• 确定且离线。 温度为零,禁用思考,无互联网访问——网页搜索类别的“网页”是固定的 13 页索引。

• 用户拿到的同一个预设。每个模型都按 GUI 推荐的预设运行,因此速度和分数就是用户安装后实际看到的水平,而不是为取胜而调优的配置。

• 每项任务均已被证明可解。仓库中为每个编码任务和智能体任务都保存了一份正确的参考解决方案,并且两个自测脚本会检查这些解决方案能通过评分器。计算得出的答案——日期、总和、代码——会在任务文件中进行断言。

• 答案在最后一行。模型可以边想边说;评分器读取最后一行。工具调用支持 OpenAI 格式以及 Qwen XML tool_call文本格式。

评分计算同样不讨好。每个类别是已通过任务的百分比。总体得分是七个类别的平均值,每个类别的权重相同。速度是本次运行中所有长度为 64 个 token 或以上的回复的平均生成速率。每次运行都会保存为一个按模型区分的 JSON 文件,记录每个任务的答案以及是否通过,因此对分数的分歧可以追溯到记录。

OrcaCyber Nano 1.0 究竟落在何处

A scoreboard card for OrcaCyber Nano 1.0 listing overall 89.8 of 100, rank 1 of 21, size 13.0 GB, speed 60 tokens per second at 32k context, max context 262k, and coding 88, with a footer noting the figures are from the third-party V100-LLM repository and not run by OrcaRouter.

七项分类得分(满分 100):编程 88,推理 95,指令遵循 58,网页搜索 100,智能体 100,视觉 88,长上下文 100。平均分:89.8。

58 才是有意思的数字,也正是营销页面会舍去的那一个。“指令”是模型必须同时兼顾三到五项约束的类别——词数、禁用字母以及精确的输出形态——而 Nano 在该类别十二项任务中丢了五项。其余类别均在 88 或以上。有两个类别是满分。

最接近的竞争对手是 Qwen3.8-27B,采用 HauhauCS 的 Aggressive IQ3_XS 量化,总体得分 88.6,速度为每秒 42.2 个 token;第三名是同一模型的 Unsloth UD-IQ3_S 构建版本,得分 88.4,速度为每秒 52.1 个 token。两者在编码和推理上的得分均为 94 到 100,在指令遵循上都降到 50——因此,指令遵循方面的弱点是在这一压缩水平下 27B 这一类模型的共性,而不是 Nano 独有的缺陷。第一名与第三名之间只差 1.4 分,且这点差距分散在细处:不过是某个类别里的几项任务,而非不同档次的模型。

每秒六十个 token,以及为什么最快的模型在别处

在 32k 上下文下,主打速度是每秒 60 个 token,而该仓库对这个数字的具体含义很谨慎。它是模型经过调校的 fast-32k 预设的速度,该预设采用深度 3 的多 token 预测,在代码上测得每秒 66.6 个 token,在聊天上为 54.0,平均为 60.3。所有评测回复的简单平均值为 56.9。这两个数字都出现在表格脚注中,而不是只给出那个更讨喜的数字。

随着上下文增长,速度会下降,而代码仓库公布了阶梯数据:在 96k 时每秒 57 个 token,在 160k 时每秒 32 个 token,在填充 20,000 个 token 后于 262k 时每秒 24 个 token。短提示的提示处理速度为每秒 501 个 token。最多到 19,600 个 token 时,每个预设都能通过。

榜单上最快的模型是另一款。MiniCPM-V 4.7在 35B-A3B Q3 混合构建中,于 128k 上下文下以每秒 93.4 个 token 的速度运行,它通过将视觉编码器移到 CPU 上,使其所有专家都留在显卡上,从而实现这一速度。它以 87.5 的总分排名第四。该仓库自己的说法是一种权衡,而非横扫全榜:Nano 在那里被描述为表中速度最快的稠密 27B 模型,这比“最快模型”的说法范围更窄,而且属实。

测量环境只说明一次,适用于整张表:一块 Tesla V100-SXM2-16GB、一颗 Xeon E5-2660 v4、64 GB DDR4。被测引擎包括 PXA、带有 V100 专用补丁的 llama.cpp、Prism ML 分支和 Strata,均采用 MIT 许可证;CUDA DLL 遵循 NVIDIA 的 EULA。模型权重不随附——每个权重都从其作者在 Hugging Face 上的页面下载。

从模型自身的元数据来看,模型是什么

Hugging Face 仓库 orcarouter/OrcaCyber-Nano-1.0报告了 262,144 个 token 的上下文窗口、图像-文本到文本流水线(既可接收图像也可接收文本)、GGUF 库以及英语和中文支持。该仓库为受限访问:需登录才能下载。许可证字段显示为 其他,许可证名称为 qwen。截至 2026-10-19,该仓库显示 18,606 次下载和 151 个赞,其基础模型字段命名为 OrcaCyber-Nano-1.0-AI-Defense,关系为 量化——开放权重文件是经过防御微调的父模型的量化版本,这才是解读该字段的诚实方式。

共有四个文件,它们的大小解释了下一节中的大部分部署决策:

• Mix-13G — 12,993,304,352 字节,即得分 89.8 的 13.0 GB 构建版本。

• Mix-15.7G — 15,695,148,832 字节,是较大的构建版本,仍在 16 GB 存储卡的容量预算之内。

• DFlash2 Q8_0 — 2,056,414,112 字节,用于推测解码的草稿模型。

• mmproj F16 — 927,606,848 字节,视觉投影器,正是它使八项视觉任务成为可能。

加上引擎后,一个可正常工作的安装大约占用 14 GB 磁盘空间:13.0 GB 权重、约 0.9 GB 投影器,以及运行时。

十三吉字节能装进这张卡里,二十六万二千个词元却装不下。

这是两个不同的说法,媒体报道往往把它们混为一谈。13.0 GB 的权重文件能装进 16 GB 显存,因此该模型可以在 V100 上运行,并留有 32k 上下文的 KV 缓存空间。262,144 token 的最大上下文无法装进显卡;它需要把 KV 缓存放在系统内存中,而仓库的要求中列出,262k 预设需要 64 GB 系统内存,普通使用则为 32 GB。推到那个上限时,速度就是上面阶梯表中的每秒 24 个 token。

其余硬件要求不高且很明确。任何 Volta 及之后的 16 GB NVIDIA 显卡都能运行这套软件栈;驱动程序必须是 R576 系列或更新版本;留在 TCC 模式的 V100 也可以。无需安装 WSL、Docker、CUDA toolkit、Visual Studio 和 Python,因为该文件夹自带引擎和自己的便携式 Python。每个模型需要约 20 GB 可用磁盘空间。

已标注的供应商编号

OrcaRouter 宣布OrcaCyber Nano 1.0于 2026-10-18 作为紧急发布版本推出,采用开放权重,并将其纳入与OrcaCyber Zero 1.5和OrcaCyber Ultra 1.0组成的三模型系列。同一周,公司为其 OrcaCyber 模型向正在积极应对入侵的团队开放免费优先访问权限。次日的文章以排行榜结果开篇,并称根据厂商自己的早期评估,Nano 是其 16GB 以下级别中能力最强的本地模型。

最后那句话是厂商的说法,尚未经过独立复现。公告中重复提到的基准测试成绩也是如此:SWE-bench Verified 上的 78.4%,与 DeepSeek 报告的 79.0% 并列,后者对应DeepSeek V4 Flash。这两个数字均由各自的厂商报告;78.4 和 79.0 都没有由本刊运行验证,而这一比较之所以有意思,主要是因为一个 27B 模型在厂商自己的测试框架上,被置于距一个规模大得多的托管模型 0.6 个百分点以内的位置。应把它看作一则公告,而不是一项结果。

这张模型卡本身值得注意的地方,在于它没有包含什么。它的标签提到了网络安全、逆向工程、函数调用和视觉,但卡片上没有网络安全专用的基准测试数字——没有事件响应得分,没有漏洞检测率,也没有 CTF 结果。这些反而存在于 Zero 的页面上。而在我们网络安全产品线中流传的 CyberGym 数字,属于一个组合配置——Zero 1.0 加上 DeepSeek V4 Flash 再加上自适应路由——而不是任何单一模型的单独运行结果。如果你是为防御工作选择这个模型,那么诚实的证据状况是:一个按代码评分的通用测试套件在 16 GB 显卡上将其排在 21 个模型中的首位,而网络安全专用的证据在别处,并且属于其他模型。

它相对于托管式网络模型所处的位置

The OrcaRouter model catalogue filtered to the cyber tier, showing OrcaCyber Zero 1.5, OrcaCyber Ultra 1.0 and the other cyber models available through one API endpoint.

OrcaCyber Nano 1.0是面向本地硬件的权重发布。你下载 13 GB,自行运行,上面的分数就是它在你的显卡上的表现。它目前不是我们目录中的端点,本文中的任何内容都不应被理解为相反的意思。目录中确实提供的是该系列的其余型号——OrcaCyber Zero 1.5和OrcaCyber Ultra 1.0——它们与 200 多个其他模型使用相同的密钥和相同的 OpenAI 兼容端点,包括 Claude Opus 5.5、GPT-6.1 Sol、Kimi K3、Qwen3.8-Max和DeepSeek V4 Flash,按 token 计费不高于提供商标价,并支持跨提供商自动故障转移。

这种划分方式最值得你记在心里。Nano 是你可以拥有并离线运行的模型,数据不会离开本机——这正是面向事件响应的网络安全模型的核心意义所在,因为你最需要检查的那些机器,往往恰恰是无法送去调用 API 的机器。Zero 1.5 和 Ultra 1.0 则是你调用使用的模型。一个本地层级用于气隙隔离环境下的工作,一个托管层级用于满足吞吐量需求,两者共用同一套模型名称。

89.8 这个分数该怎么用,取决于你原本需要它来做什么。如果你一直在等一个证据,证明一个 13 GB 的 27B 模型在 16 GB 显卡上具备竞争力——不只是能运行,而是在所有任务都由可执行代码评分的情况下,还能与 21 个替代方案竞争——那这就是这样的证据:它的指令遵循差距在 58 分处可见,它的速度上限在每秒 60 个 token 处可见。如果你需要的是 V100 上最快的东西,那则是同一块卡上的另一个模型,得分 93.4,就在表格往下一行。

本文中的对比2

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新