
Qwen3.8-27B 在 Ollama 上:一条命令、四种量化版本,以及“免费”究竟要付出什么代价
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百万 tokens · 185 tok/s
- openai新OpenAI: GPT-6.2 Astra2026-11-17$8.00 / $40.00 每百万 tokens · 76 tok/s
- openai新OpenAI: GPT-6.2 Sol2026-11-17$2.00 / $10.00 每百万 tokens · 151 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百万 tokens · 240 tok/s
- Alibaba新Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 每百万 tokens · 178 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 94 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 212 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百万 tokens · 82 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百万 tokens · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 105 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 68 tok/s
- openaiOpenAI: GPT-6.1 Terra2026-10-26$1.00 / $5.00 每百万 tokens · 36 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 39 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 222 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 104 tok/s
只需一条命令即可运行:ollama run qwen3.8:27b。这就是本页所讨论问题的完整答案。Qwen3.8 27B——阿里巴巴的稠密 270 亿参数模型,权重于 2026 年 8 月 14 日以 Apache 2.0 许可发布——本周已在 Ollama 库中上线,默认构建已经是合理的 18 GB Q4_K_M 量化版本(17 GB 权重加 931 MB 视觉编码器)。在正常上下文长度下,它可完全在 24 GB GPU 上运行;显卡较小时会拆分到 CPU,且每个 token 零成本。
这里的所有内容日期均为 2026 年 8 月 15 日。规格来自 Qwen3.8 27B 模型卡;下载大小、标签和下载次数来自 Ollama 实时库页面;基准测试数据由 Alibaba 报告,目前尚无独立复现。该模型几天前才发布,因此任何可能变化的内容都应视为暂定。
真正有效的那一句话
如果你已经安装了 Ollama,那么你只差两个词:
ollama run qwen3.8:27b
Ollama 的支持已在 v0.32.12 中落地——发布说明直白地写道:“本次发布新增了对 Qwen 3.8 27B 的支持。”首次运行会下载默认构建版本(约 18 GB,Q4_K_M),随后把你带入一个默认开启思考模式的聊天 REPL。库页面用能力标签“vision tools thinking 27b”列出了该构建,由此可知视觉和工具调用路径都已接入同一下载包。截至本文撰写时,该页面显示下载量已超过 40,000 次,标签列表已覆盖十一个变体。

你会真正用到的两个变体:
• ollama run qwen3.8:27b-mlx — Apple Silicon 构建版,同样占用 18 GB 空间,但针对 Metal 编译;正是 Ollama 的发布说明中特别优化“以实现最大性能和输出质量,适用于重复性任务和编码智能体”的那一个。
• ollama run qwen3.8:27b-q8_0 —— 一个 30 GB 的 8 位量化版本,适用于你显存充足、且希望权重更接近全精度的情况。
你实际上正在下载的是什么
名字里写的是 27B,但完整参数量是 28B:一个 27.3B 的稠密语言模型,加上一个 461M 的视觉编码器,使其具备原生图像和视频输入能力。其余核心规格直接来自模型卡:
• 64 层,隐藏维度 5,120,词表大小 248,320。
• 混合注意力:16 个完整的 Gated Attention 层与 48 个线性 Gated DeltaNet 层——以 3:1 的精简线性配比,正是 27B 模型得以保持 262,144 token 原生上下文(可扩展至 1M)、而 KV cache 不会吃掉一整个数据中心的原因。
• 原生图像与视频理解——“从 STEM 图表、文档到长达数小时的视频”是阿里巴巴的表述。
• Apache 2.0。下载它、修改它、基于它出售产品。正是这项许可证构成本文其余经济分析所依赖的法律事实。
全精度参考是 BF16,这正是 56 GB 标签存在的原因;每一个更小的标签都是用精度换取占用空间,而你要权衡的正是模型卡自带的基准测试结果。
选一个量化版本,然后再检查你的显存,而不是反过来。
Ollama 提供了十一个标签,但选择最终归结为三种规模。
• 18 GB — Q4_K_M(默认)。在正常上下文下可完整装入 24 GB 显卡(RTX 4090 / 5090 级别),在 16 GB 显卡上部分 CPU 卸载也能运行——慢一些,但能用。这就是“开箱即用”的那一版。
• 30 GB — Q8_0。权重接近完整精度,要完全留在 GPU 上运行大约需要 40 GB 显存。对于 27B 模型,在为此付出代价之前,你应该已经清楚自己为什么需要这种额外保真度。
• 56 GB — BF16。参考构建。需要 H100 级别或 96 GB 显存的硬件。没有人会在消费级 GPU 上跑这个,这也没问题。

最容易让人翻车的是 KV cache 这一项。18 GB 的下载量并不代表 18 GB 显存就足以支撑 262K 上下文的会话——在长上下文下,缓存会在权重之外再额外占用好几个 GB,所以 24 GB 的卡在 8K–32K 上下文时能舒舒服服地装下这个模型,但到了 262K 就不行了。如果你的卡正好卡在临界线上,该降的是上下文,而不是量化等级。
Apple Silicon 在这里是一等目标平台
Ollama 的 v0.32.12 版本说明特别提到了 macOS。具体来说,运行 ollama run qwen3.8:27b-mlx 大约需要 18 GB 统一内存,因此 24 GB 以上的 Mac 可以完全在 GPU 上运行它,并为上下文留出余量。此外还有 32 GB 的 mxfp8 MLX 标签和 56 GB 的 mlx-bf16 标签,适用于 64–128 GB 内存的机器。如果你手上的 M 系列 Mac 一直在关注桌面级模型的新闻,那么这就是你一直在等待的版本。
规格表上写着 262K,坐进去感受到的却更少
模型卡列出的是 262,144 个原生 token,可扩展至 1M;Ollama 的库页面把同一个窗口标为 256K。两者都没错——262,144 就是 256K 乘以 1024——但两者都不意味着你应该在 24 GB 显卡上把那个数字填进 --num-ctx。KV 缓存大致会随上下文线性增长,因此在消费级硬件上,你实际会停留在 16K–64K,而不是 262K。先从 Ollama 的默认值开始,只有当任务确实需要时才提高 --num-ctx,并且记住,1M 这个数字需要扩展机制以及足够的显存来支撑它。
还有什么不稳固——在下注之前先读这个
• 尚无独立基准测试。截至8月15日,模型卡上的每一项数据都只是 Alibaba 的说法。其宣称相较 Qwen3.6-27B 的提升很大——SWE-bench Pro 61.7 对 53.5,Terminal Bench 2.1 73.0 对 63.4,LiveCodeBench v6 90.3 对 83.9,GPQA Diamond 89.2 对 87.8——这些数字看起来都可信,但没有任何一项被外部测试框架复现。不要仅凭这些数据就做出生产决策。
• 视觉技术栈才问世几天。 一份早期缺陷报告(ollama issue #17753)显示,Q4 构建会将视觉输入经由 Qwen3.5 解析器路由,并在图像上失败;该问题已在几天内通过 PR #17755 修复,但对于一个才发布一周的模型,多模态路径正是你在依赖它之前应该测试的地方。
• 默认构建包含 MTP。 q4_K_M 标签同样是多词元预测(multi-token prediction)构建——解码更快,这也是“18 GB”与“27B”能够并存而不矛盾的原因。
• 量化标签在 Apple 平台上可能会产生误导。18 GB 的 “mlx” 与 “nvfp4” 标记在量化方式上并不相同——NVFP4 是 NVIDIA 的 FP4 格式——因此在 Mac 上,除非你确实需要面向 Blackwell GPU 的 FP8/FP4 变体,否则建议优先选择普通的 -mlx 构建。
“Free”这个词在那个标题里承担了太多分量。
自托管 27B 模型按 token 计算是免费的,但它并非没有成本。坦诚地讲,这里有三种选择,它们需要付出不同形式的“货币”:
• 自己运行(Ollama)。 每 token $0 成本、离线、不限量、私密——而且硬件归你所有。一块 24 GB 的 GPU 或一台 18 GB+ 的 Mac 是一笔实打实的开销,电费和搭建时间同样如此。当 Qwen3.8 27B 成为日常主力时,这就是正确的选择。
• 调用一个 $0 的限流 API。OrcaRouter 在其自有基础设施上以零成本提供 Qwen3.8 27B(模型 ID 为 qwen/qwen3.8-27b-free,每请求 $0,有限流)——由于权重是开放的,不存在需要转嫁的按 token 计费的供应商成本。当你想试用这个模型、又不想为了测试一个刚发布一周的版本而去购置硬件时,这是合适的选择。
• 调用无限量 API。 同一模型在不设速率限制时,在 OrcaRouter 上每百万输入 token 为 0.33 美元,每百万输出 token 为 2.40 美元(qwen/qwen3.8-27b,262K 上下文,支持文本、图像和视频输入)。当你需要生产级规模且不想一直照看 GPU 时,这就是合适的选择。

在两者之间做决定时,这笔账是这样的:偶尔使用的话,按 $0 或 $0.33/$2.40 计费比付出 GPU 的价格更划算;日常交互式使用在本地更便宜;持续的生产吞吐量,作为无需你自行维持运行的 API 最便宜。无论这笔账怎么算,隐私和离线要求都会把你推向第一列。
当此推荐有误时
• 你确实需要 100K+ 上下文。模型可以做到;你的 24 GB 显卡做不到。在真正的长上下文场景下,40 GB+ 的 GPU 或支持更长上下文的 API 并不是奢侈品。
• 你今天就需要在生产环境中使用视频功能。视觉路径刚刚修复了解析器缺陷;在仅发布一周的多模态模型上运行生产视频,是一场没有备用方案就不该下的赌注。
• 你想要并发。一块消费级 GPU 一次只能流式生成一两个结果。27B 并不是一台服务机。
• 你使用的是仅有 CPU 的硬件。在 CPU 上以 4 位量化运行 27B 模型只是一次缓慢的演示,而非可用的工具。在拥有 GPU 之前,使用 API 才是务实的选择。
底线
在 Ollama 上运行 Qwen3.8 27B,是目前为止任何人交付过的最简单的当代 27B 模型运行方式:一条命令、18 GB 的默认量化(能塞进 24 GB 显卡)、一流的 Apple Silicon 构建,以及 Apache 2.0 的自由。你该选的量化版本几乎总是默认的 Q4_K_M——只有当你能实测出差别时,才换到 q8_0。而“免费”是有条件的:如果你只是偶尔用一下这个模型,那么 $0 的限速 API 比买硬件更自由;如果它成了你的日常主力,本地副本就是你拥有的最便宜的东西。在基于这些数字动手之前,先核实一遍——本文所有内容在 2026 年 8 月 15 日都属实,而这个模型每天都在变。
