关于 Ollama 上 Qwen3.8-27B 的文章的标题卡,展示了一个极简终端窗口,其中有命令“ollama run qwen3.8:27b”和闪烁的光标;三个徽章分别写着“18 GB 下载”“Q4_K_M 默认”和“262K 上下文”,图注为“在你的硬件上免费运行”。
Guides & Insights

Qwen3.8-27B 在 Ollama 上:一条命令、四种量化版本,以及“免费”究竟要付出什么代价

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

只需一条命令即可运行:ollama run qwen3.8:27b。这就是本页所讨论问题的完整答案。Qwen3.8 27B——阿里巴巴的稠密 270 亿参数模型,权重于 2026 年 8 月 14 日以 Apache 2.0 许可发布——本周已在 Ollama 库中上线,默认构建已经是合理的 18 GB Q4_K_M 量化版本(17 GB 权重加 931 MB 视觉编码器)。在正常上下文长度下,它可完全在 24 GB GPU 上运行;显卡较小时会拆分到 CPU,且每个 token 零成本。

这里的所有内容日期均为 2026 年 8 月 15 日。规格来自 Qwen3.8 27B 模型卡;下载大小、标签和下载次数来自 Ollama 实时库页面;基准测试数据由 Alibaba 报告,目前尚无独立复现。该模型几天前才发布,因此任何可能变化的内容都应视为暂定。

真正有效的那一句话

如果你已经安装了 Ollama,那么你只差两个词:

ollama run qwen3.8:27b

Ollama 的支持已在 v0.32.12 中落地——发布说明直白地写道:“本次发布新增了对 Qwen 3.8 27B 的支持。”首次运行会下载默认构建版本(约 18 GB,Q4_K_M),随后把你带入一个默认开启思考模式的聊天 REPL。库页面用能力标签“vision tools thinking 27b”列出了该构建,由此可知视觉和工具调用路径都已接入同一下载包。截至本文撰写时,该页面显示下载量已超过 40,000 次,标签列表已覆盖十一个变体。

Screenshot of the Ollama library page for qwen3.8:27b, showing the default Q4_K_M build at 18 GB total — 17 GB for the 27.3B weights plus 931 MB for the 461M-parameter vision projector — the model ID 'ollama run qwen3.8:27b' and capability tags vision, tools, thinking, 27b.

你会真正用到的两个变体:

• ollama run qwen3.8:27b-mlx — Apple Silicon 构建版,同样占用 18 GB 空间,但针对 Metal 编译;正是 Ollama 的发布说明中特别优化“以实现最大性能和输出质量,适用于重复性任务和编码智能体”的那一个。

• ollama run qwen3.8:27b-q8_0 —— 一个 30 GB 的 8 位量化版本,适用于你显存充足、且希望权重更接近全精度的情况。

你实际上正在下载的是什么

名字里写的是 27B,但完整参数量是 28B:一个 27.3B 的稠密语言模型,加上一个 461M 的视觉编码器,使其具备原生图像和视频输入能力。其余核心规格直接来自模型卡:

• 64 层,隐藏维度 5,120,词表大小 248,320。

• 混合注意力:16 个完整的 Gated Attention 层与 48 个线性 Gated DeltaNet 层——以 3:1 的精简线性配比,正是 27B 模型得以保持 262,144 token 原生上下文(可扩展至 1M)、而 KV cache 不会吃掉一整个数据中心的原因。

• 原生图像与视频理解——“从 STEM 图表、文档到长达数小时的视频”是阿里巴巴的表述。

• Apache 2.0。下载它、修改它、基于它出售产品。正是这项许可证构成本文其余经济分析所依赖的法律事实。

全精度参考是 BF16,这正是 56 GB 标签存在的原因;每一个更小的标签都是用精度换取占用空间,而你要权衡的正是模型卡自带的基准测试结果。

选一个量化版本,然后再检查你的显存,而不是反过来。

Ollama 提供了十一个标签,但选择最终归结为三种规模。

• 18 GB — Q4_K_M(默认)。在正常上下文下可完整装入 24 GB 显卡(RTX 4090 / 5090 级别),在 16 GB 显卡上部分 CPU 卸载也能运行——慢一些,但能用。这就是“开箱即用”的那一版。

• 30 GB — Q8_0。权重接近完整精度,要完全留在 GPU 上运行大约需要 40 GB 显存。对于 27B 模型,在为此付出代价之前,你应该已经清楚自己为什么需要这种额外保真度。

• 56 GB — BF16。参考构建。需要 H100 级别或 96 GB 显存的硬件。没有人会在消费级 GPU 上跑这个,这也没问题。

A self-built card comparing the Qwen3.8-27B Ollama quantization tiers: Q4_K_M at 18 GB fitting a 24 GB card, Q8_0 at 30 GB needing roughly 40 GB of VRAM, BF16 at 56 GB requiring H100-class hardware, and the Apple Silicon MLX build at 18 GB of unified memory, with a footer noting the KV cache adds several GB at long context.

最容易让人翻车的是 KV cache 这一项。18 GB 的下载量并不代表 18 GB 显存就足以支撑 262K 上下文的会话——在长上下文下,缓存会在权重之外再额外占用好几个 GB,所以 24 GB 的卡在 8K–32K 上下文时能舒舒服服地装下这个模型,但到了 262K 就不行了。如果你的卡正好卡在临界线上,该降的是上下文,而不是量化等级。

Apple Silicon 在这里是一等目标平台

Ollama 的 v0.32.12 版本说明特别提到了 macOS。具体来说,运行 ollama run qwen3.8:27b-mlx 大约需要 18 GB 统一内存,因此 24 GB 以上的 Mac 可以完全在 GPU 上运行它,并为上下文留出余量。此外还有 32 GB 的 mxfp8 MLX 标签和 56 GB 的 mlx-bf16 标签,适用于 64–128 GB 内存的机器。如果你手上的 M 系列 Mac 一直在关注桌面级模型的新闻,那么这就是你一直在等待的版本。

规格表上写着 262K,坐进去感受到的却更少

模型卡列出的是 262,144 个原生 token,可扩展至 1M;Ollama 的库页面把同一个窗口标为 256K。两者都没错——262,144 就是 256K 乘以 1024——但两者都不意味着你应该在 24 GB 显卡上把那个数字填进 --num-ctx。KV 缓存大致会随上下文线性增长,因此在消费级硬件上,你实际会停留在 16K–64K,而不是 262K。先从 Ollama 的默认值开始,只有当任务确实需要时才提高 --num-ctx,并且记住,1M 这个数字需要扩展机制以及足够的显存来支撑它。

还有什么不稳固——在下注之前先读这个

• 尚无独立基准测试。截至8月15日,模型卡上的每一项数据都只是 Alibaba 的说法。其宣称相较 Qwen3.6-27B 的提升很大——SWE-bench Pro 61.7 对 53.5,Terminal Bench 2.1 73.0 对 63.4,LiveCodeBench v6 90.3 对 83.9,GPQA Diamond 89.2 对 87.8——这些数字看起来都可信,但没有任何一项被外部测试框架复现。不要仅凭这些数据就做出生产决策。

• 视觉技术栈才问世几天。 一份早期缺陷报告(ollama issue #17753)显示,Q4 构建会将视觉输入经由 Qwen3.5 解析器路由,并在图像上失败;该问题已在几天内通过 PR #17755 修复,但对于一个才发布一周的模型,多模态路径正是你在依赖它之前应该测试的地方。

• 默认构建包含 MTP。 q4_K_M 标签同样是多词元预测(multi-token prediction)构建——解码更快,这也是“18 GB”与“27B”能够并存而不矛盾的原因。

• 量化标签在 Apple 平台上可能会产生误导。18 GB 的 “mlx” 与 “nvfp4” 标记在量化方式上并不相同——NVFP4 是 NVIDIA 的 FP4 格式——因此在 Mac 上,除非你确实需要面向 Blackwell GPU 的 FP8/FP4 变体,否则建议优先选择普通的 -mlx 构建。

“Free”这个词在那个标题里承担了太多分量。

自托管 27B 模型按 token 计算是免费的,但它并非没有成本。坦诚地讲,这里有三种选择,它们需要付出不同形式的“货币”:

• 自己运行(Ollama)。 每 token $0 成本、离线、不限量、私密——而且硬件归你所有。一块 24 GB 的 GPU 或一台 18 GB+ 的 Mac 是一笔实打实的开销,电费和搭建时间同样如此。当 Qwen3.8 27B 成为日常主力时,这就是正确的选择。

• 调用一个 $0 的限流 API。OrcaRouter 在其自有基础设施上以零成本提供 Qwen3.8 27B(模型 ID 为 qwen/qwen3.8-27b-free,每请求 $0,有限流)——由于权重是开放的,不存在需要转嫁的按 token 计费的供应商成本。当你想试用这个模型、又不想为了测试一个刚发布一周的版本而去购置硬件时,这是合适的选择。

• 调用无限量 API。 同一模型在不设速率限制时,在 OrcaRouter 上每百万输入 token 为 0.33 美元,每百万输出 token 为 2.40 美元(qwen/qwen3.8-27b,262K 上下文,支持文本、图像和视频输入)。当你需要生产级规模且不想一直照看 GPU 时,这就是合适的选择。

Screenshot of the OrcaRouter model page for qwen/qwen3.8-27b, showing the model ID, the 'by Qwen' vendor label, a 262K-token context window, text, image and video input, and a p50 first-token latency of 225 ms.

在两者之间做决定时,这笔账是这样的:偶尔使用的话,按 $0 或 $0.33/$2.40 计费比付出 GPU 的价格更划算;日常交互式使用在本地更便宜;持续的生产吞吐量,作为无需你自行维持运行的 API 最便宜。无论这笔账怎么算,隐私和离线要求都会把你推向第一列。

当此推荐有误时

• 你确实需要 100K+ 上下文。模型可以做到;你的 24 GB 显卡做不到。在真正的长上下文场景下,40 GB+ 的 GPU 或支持更长上下文的 API 并不是奢侈品。

• 你今天就需要在生产环境中使用视频功能。视觉路径刚刚修复了解析器缺陷;在仅发布一周的多模态模型上运行生产视频,是一场没有备用方案就不该下的赌注。

• 你想要并发。一块消费级 GPU 一次只能流式生成一两个结果。27B 并不是一台服务机。

• 你使用的是仅有 CPU 的硬件。在 CPU 上以 4 位量化运行 27B 模型只是一次缓慢的演示,而非可用的工具。在拥有 GPU 之前,使用 API 才是务实的选择。

底线

在 Ollama 上运行 Qwen3.8 27B,是目前为止任何人交付过的最简单的当代 27B 模型运行方式:一条命令、18 GB 的默认量化(能塞进 24 GB 显卡)、一流的 Apple Silicon 构建,以及 Apache 2.0 的自由。你该选的量化版本几乎总是默认的 Q4_K_M——只有当你能实测出差别时,才换到 q8_0。而“免费”是有条件的:如果你只是偶尔用一下这个模型,那么 $0 的限速 API 比买硬件更自由;如果它成了你的日常主力,本地副本就是你拥有的最便宜的东西。在基于这些数字动手之前,先核实一遍——本文所有内容在 2026 年 8 月 15 日都属实,而这个模型每天都在变。