Moondream 3.1 9B A2B vs North Micro Vision Instruct：哪家厂商真正让你核对数字

相隔四个月先后发布的两个开放视觉模型，在希望被如何评判这件事上几乎毫无共同之处。M​oondream 3.1 9B A2B于 2026 年 7 月 7 日发布，附有一张基准测试表，页脚的方法论说明中指明使用的是单张 H100 SXM5、批大小为 16，而同一篇帖子中始终贯穿着一个论点：基准测试衡量的并非其客户真正需要的东西。North Micro Vision Instruct于 2026 年 8 月 12 日由 C​ohere Labs 发布，参数量为 2.4B，采用 Apache 2.0 许可；其发布帖子的篇幅全部用在训练课程与评估设置上——所用的测试框架，以及得出这些数字时采用的确切采样参数。

这是真正的本质区别，而且对买家来说，它比任何一个模型的参数数量都更有用。一家供应商在告诉您如何复现它的表格。另一家则告诉您不要相信表格，然后自己又印了一张。就我们所能查到的而言，二者都没有经过独立评估，因此，真正决定该采信哪一组数字的问题，是两家供应商各自给了您多少可供核查的内容。

每一个是什么

Moondream 3.1 9B A2B 是一种稀疏混合专家视觉语言模型：总参数量 9B，每个 token 激活 2B，64 个专家中激活 8 个，配备采用多裁剪通道拼接的 SigLIP 视觉编码器、32K token 上下文和 SuperBPE 分词器。它的四项技能——query、detect、point和caption——是通过训练而非提示获得的，并且检测和指向路径返回的是结构化几何信息，而非描述。它运行在厂商的推理引擎 Photon 上，面向从 Ampere 及之后的 NVIDIA GPU 和 Apple Silicon。

North Micro Vision Instruct 是一个 2.4B 的稠密模型，由三个部分组成：一个 400M 原生分辨率视觉编码器，基于 Google 的 SigLIP 2 SO400M 检查点进一步预训练；一个投影器，遵循 DeepStack 模式，将来自若干编码器层的 patch 嵌入注入到语言模型的早期层中；以及一个名为 North Micro LLM 的 2B 语言模型，遵循 Cohere 的 Command A+ 架构。它接收交错的文本和图像——一张或多张——并输出文本。分词器词表大小为 262,144，列出的语言达到十一种，外加“等等”。

输出类型差异值得直说，因为它决定了接下来的内容：M​oondream 是一个感知模型，用边界框和坐标作答；North Micro Vision 是一个理解模型，用语言作答。两家厂商发布的每一项内容，都是对这两项任务之一的衡量，而它们并不是同一项任务。

并非模型上下文窗口的那个 8K 数字

从陷阱说起，因为它正位于 North Micro Vision 模型卡的中间，而这类东西往往会在不经意间混进架构决策里。

• North Micro Vision Instruct —— 语言主干上下文窗口为 128,000 tokens；经验证的多模态工作范围最高可达 8,000 tokens。该说明卡明确指出，更长的多模态上下文可能依赖外推，且尚未经过基准测试。

• Moondream 3.1 9B A2B——32,000 tokens，一个数字，未公布任何模态划分。

所以，宣传数字让 North Micro Vision 领先四倍，而真正适用于你的图像工作负载的数字却让 Moondream 领先四倍。如果你在估算一次调用能容纳多少页扫描文档，128K 是错误的数字，8K 才是正确的；而一旦原生分辨率编码器开始按像素面积成比例地输出 token，8K 的交错图像和文本 token 就装不了多少页。厂商发布这条注意事项值得称赞——大多数规格卡都不会这么做——但注意事项被埋在规格表下方，而人们会复制的恰恰是那张表。

两家供应商的报告方式，并排对比

这是比较中与模型毫无关系、而完全关乎你能审计哪一个的部分。

Mo​oondream 的 3.1 文章说明了其基线（Qwen3.5 9B、SAM 3、LocateAnything、Gemma 4 12B）、其指标（用于检测的 F1@0.5）、其硬件（一块 H100 SXM5）、其批大小（16），以及每个模型都由自己的引擎提供服务这一事实——LocateAnything、Qwen3.5 和 Gemma 4 使用 vLLM；Mo​oondream 使用 Photon；SAM 3 使用 Hugging Face Transformers。它还表示，每个模型都选择了最高的准确率和推理设置，并且 LocateAnything 以慢速模式运行以最大化准确率。它公布的结果是：COCO val 上 81.46 F1@0.5，ODinW-13 上 93.94，LVIS 上 67.4，Dense200 上 74.61，SKU-110K 上 52.77，CrowdHuman 上 74.5，RefCOCO-M 上 87.1，HumanRef 上 70.39，DOTA-v2 上 59.63，CountBench 上 90.35，TallyQA 上 74.86，PixMo-Count 上 88.68，ChartQA 上 86.01，DocVQA 上 88.6，并在五个基准系列上声称达到最先进水平。

那个页脚里没有的，正是让结果可复现的东西：提示词。检测是一项开放词汇任务，而你用来查询某个物体的短语会改变返回的结果。重跑者即使有指标、硬件和批大小，如果不知道每个框是由什么文本生成的，仍然无法复现那个数值。

Cohere Labs 的博文采取了另一种做法。它明确给出了评测框架（VLMEvalKit），表示该模型是使用内部 vLLM 实现进行评测的，列出了每个能力组的基准测试组成——通用 VQA 是 MMBench、MMStar、RealWorldQA 和 GQA 的平均值；图表、文档与 OCR 组涵盖 ChartQA、DocVQA、InfoVQA、OCRBench、OCRBench v2 和 AI2D；定位与计数则是 RefCOCO 平均值和 CountBench——并公布了生成这些数字时所用的采样参数：temperature 0.7、top_p 0.8、top_k 20、min_p 0.0、presence_penalty 1.5、repetition_penalty 1.0。它还指出，公开的 vLLM 支持“即将推出”，对于任何计划复现的人来说，这是最重要的诚实披露：该模型是在一个 fork 上测试的。

那篇帖子没有公布的是逐基准测试的表格。它给出的是按能力分组的平均值和一项相对性主张——在 Instruct 模式下，35B-A3B 的得分高于 Qwen3.6 35B-A3B，且推理时间更短；而 1B 变体在得分和效率两方面都优于 Qwen3.5 0.8B——这类说法不那么便于直接引用，也更不容易被挑拣式对比所动摇。两份文件都无法让你重新算出另一家厂商的数字。但两者都能让你看出它们隐藏了多少东西。

架构差异在实践中体现在哪些方面

原生分辨率是 North Micro Vision 中会改变日常工作的一项设计决策，值得在查看基准表之前先理解它。大多数视觉编码器会将你给它的任何图像调整为固定正方形，这就是为什么一张宽幅电子表格截图到达语言模型时，其各列会被挤压变形。North Micro Vision 的编码器经过训练，会按图像自身的分辨率和宽高比接收图像，从而保留文档、表格、图表和表单的精细细节。公开的训练课程从使用 1000 万个样本的固定 384×384 阶段，发展到使用 1300 万个样本的 1024×1024 阶段，并且还在继续扩展。

Moondream 的编码器则基于多裁剪：图像被视为一组裁剪，其特征被拼接起来，这也是在大输入上保留细节的一种方式，并且与其检测头生成框的方式耦合。两者都是对同一问题的合理答案，而且没有一家厂商发布在匹配分辨率下的正面比较，因此从架构讨论中能获得的有用东西比一个结论更狭窄：如果你的工作是密集文档和宽幅 UI 截图，原生分辨率才是需要测试的属性，而测试应该是你自己的一张截图，而不是基准测试中的一行。

另一个结构性差异在于多图像和视频。North Micro Vision Instruct 处理交错的多图像输入，并在其评估的组别中列出了多图像基准。M​oondream 3.1 9B A2B 的适用范围是每次调用一张图像——没有视频路径，也没有多图像路径。这与其设计一致：M​oondream 自己关于实时视频的工程文章认为，问题在于推理管线而非模型能力，而公司对时序工作负载的答案是能跟上流的引擎，而不是一个只摄入单张图像的检查点。这相较于一次接收 128 帧的模型是否是更好的答案，是一个坦率的开放问题，而且这两家厂商衡量的并不是同一件事。

部署和许可证，快速

• 规模 — 9B 总参数 / 2B 激活参数，对比 2.4B 稠密模型。从存储角度看，这一差距比激活参数比例所体现的更大，因为稀疏模型的占用空间取决于其总参数量。

• 微调规模——2.4B 的稠密模型小到足以在单台设备上微调；而 9B 的稀疏模型若要超出 LoRA 的范围，就需要一套真正的训练配置，这就是为什么 M​oondream 自身的调优路径要经由托管产品来实现。

• 运行时 — North Micro Vision Instruct 要求使用 Transformers 5.16.0，并搭配 accelerate 和 Pillow；社区量化版本存在于 MLX、LiteRT 和 ONNX 相关格式中。M​oondream 3.1 9B A2B 在 Photon 上运行，该检查点的首个第三方 GGUF 打包版本于 2026 年 10 月 15 日出现。

• 许可证——North Micro Vision Instruct 采用 Apache 2.0，无门槛，也不限制为他人托管它。针对 M​oondream 3.1 9B A2B 的 M​oondream Model License 1.0：商业使用、自托管、微调、量化和再分发均被允许，但有一项禁止——你不得将通用型 M​oondream 推理或微调作为托管服务提供。

• 变动 — North Micro Vision Instruct 自发布以来一直保持不变；近期值得注意的新增内容主要是第三方量化版本。Moondream 的条款在过去两周内发生了变化：Prime Intellect 于 2026 年 10 月 13 日收购了该公司，而 Moondream Cloud（包括 Lens 微调产品）将于 2026 年 11 月 13 日关停。权重和 Photon 不受影响；托管路径则不然。

流水线中的第二个模型，以及由谁路由它

这两个检查点都不在 OrcaRouter 上提供，因此请把这段内容当作一条集成说明来读。两者都是单阶段组件：一个返回边界框，另一个返回文本，而生产系统需要在这两者背后有一个模型来判断该观测意味着什么，并把它记录下来。这一阶段是文本阶段，它每次调用的成本通常高于视觉阶段，而且当更便宜或更好的推理模型出现时，它正是你最先想替换的阶段。若要通过一个覆盖 200 多个模型的 OpenAI 兼容端点——按 0% 加价透传提供商目录价，并在上游服务出现问题时自动跨提供商故障转移——来完成这一替换，就意味着只需更改模型标识符，而不必重新为摄像头布线。当一种意见不够用时，模型融合会在同一输入上运行一组模型，而路由 DSL 则可将多个模型组合成一次调用。

有一个地方我们可以说得更具体，而且值得诚实面对它到底对哪一方有利。North Micro Vision Instruct 采用 Apache 2.0 许可，并且小到足以在你自己的硬件上运行；这意味着，将视觉模型通过托管端点来路由的常见理由——你无法自行托管它——在这里并不适用。剩下的理由就是那个普通的理由：在流程中再多一个模型，使用同一把密钥，只有一张账单和一套凭据。

该选哪一个，以及什么会改变答案

如果你要阅读文档、表格、图表或屏幕内容，如果你需要在一次调用中处理多张图像，如果 Apache 2.0 很重要因为你打算为其他人托管该模型，或者如果你想要一个可以在自有数据上微调的 2.4B 检查点，请选择 North Micro Vision Instruct。C​ohere 的模型卡将微调指出为预期用途，且许可证不会构成障碍。

如果你的输出是几何数据——边界框、坐标、附带实例的计数——并且你的部署环境是装有 Photon 的 CUDA 机器，那就选择 M​oondream 3.1 9B A2B。该模型是专用型的，其速度宣称正针对的正是这类工作负载。

真正会改变两者答案的，是一次独立评估，而这正是值得持续关注的事。两家厂商的数字都没有在厂商之外得到复现，而且各自发布时所处的条件，都让复现变得比本应更难：一家不公开其提示词，另一家则运行在某个框架的内部服务实现上，而该框架的公开支持仍待确定。当第三方在同一组文档上运行任一方的检查点时，哪个模型的表格能在这场检验中完好无损，哪个才值得相信——而在那之前，那个告诉你它是如何测量的厂商，是更容易与之争论的一方。

这样的结果也提醒我们，模型出错早已有记录：此类模型背后的 AI 事件和智能体故障，均收录于OrcaRouter AI Incident Archive，其中每个条目都附有自己的来源、严重程度、置信度等级和争议标记。