一台 Mac 本地跑 DeepSeek 新模型：M5 Ultra 实测 100+ tokens/秒，MLX-Serve 上手整理

一句话

X 博主 SuSu（@NFT_Chen）2026 年 10 月 22 日发帖（4.6 万浏览）：在单台 M5 Ultra（80 核 GPU + 256GB 内存）上，用 MLX-Serve 把刚发布的 DeepSeek-V4.1-Flash-1017 跑通了，生成速度稳定在每秒 102～112 个 token，峰值冲到 136.7。本文把他的实测数据、门槛和上手步骤整理出来，关键处都对照官方仓库核过一遍。

先说清门槛：这速度不是人人能复现的

这篇最重要的一节先说清楚，免得白折腾：

  • 硬件是顶配：M5 Ultra + 256GB 内存。MLX-Serve 官方仓库的内存对照表写明，128GB 的 Mac 是靠从 SSD 流式加载专家层来跑 DeepSeek-V4.1-Flash，256GB 才到 GLM-5.3 这一档。256GB 能跑 1017，靠的也是 SSD 流式加载机制；想把量化版完整放进内存预算，得 512GB 的机器。
  • 普通 Mac 别照搬速度预期：官方表里 16GB 只能跑 Gemma 4 E4B、32GB 跑 Qwen 3.8 27B，100 tokens/秒这个数字只属于 M5 Ultra 这一档。
  • 版本提醒：原帖说「升级到 macOS 26.10.3 预发布版」，但官方仓库的测速表标注的 v26.10.3 是 MLX-Serve 自身的版本号，系统门槛写的是 macOS 26.2 或更高（Apple Silicon）。建议以官方要求为准：系统 26.2+，MLX-Serve 装最新版，不必特意追预发布系统。
  • 模型文件几百 GB：MLX 量化版即使最小的一档也要 300GB 以上，下载前先留足磁盘。

作者实测数据

以下均为原帖作者的实测数字，本站未亲测；官方仓库测速表里没有 DeepSeek 这一行，无法交叉验证：

  • 生成速度：稳定 102～112 tok/s，峰值 136.7 tok/s；
  • Prefill（读提示词）：1770 tok/s；
  • 首字延迟：短问题约 0.5 秒，16k 长上下文约 9 秒出字；
  • 量化：3-bit 量化（iQ-MLX-3.0bpw），token 匹配率 89.8%，困惑度仅 +3.6%；
  • 加速：自带 DSpark 草稿层 + prompt lookup 加速，跑 coding agent 尤其猛。

模型本身：1017 是什么

这部分是公开可查的发布信息：DeepSeek-V4.1-Flash-1017 于 2026 年 10 月 17 日发布，是 9 月 V4.1-Flash 的小幅更新（不是新架构），权重 MIT 开源，552B 混合专家模型，上下文 100 万 token，API 名称 deepseek-flash，价格不变。MLX 量化版由 mlx-community 同日上传。

上手步骤（已对照官方仓库）

  1. 系统：macOS 26.2 或更高，Apple Silicon 芯片的 Mac；
  2. 装 MLX-Serve：官网下载 App（mlxserve.com），拖到「应用程序」打开；或用 Homebrew：brew tap ddalcu/mlx-serve、brew trust ddalcu/mlx-serve、brew install --cask mlx-serve（装 App；只装命令行服务则 brew install mlx-serve）；
  3. 打开 App，在 Model Browser 里搜索 DeepSeek-V4.1-Flash，下载对应的量化版（注意体积，几百 GB）；
  4. 直接在 App 里聊天，或把 Claude Code、Codex 等工具连到本地端口 http://localhost:11234——MLX-Serve 兼容 OpenAI、Anthropic、Ollama 三种 API，浏览器打开这个地址还有内置 Web 控制台。

提醒

  • 3-bit 量化有精度损失：token 匹配率 89.8% 意味着约一成 token 输出与原模型不一致，对精度敏感的任务先小规模验证；
  • 本地跑不花 API 调用费，但硬件和电费成本自己扛，模型文件也要占几百 GB 磁盘；
  • 本站未亲测（没有 M5 Ultra 可验证），以上速度数字以作者实测为准。

出处

  • 原帖：X 博主 SuSu @NFT_Chen（2026 年 10 月 22 日）；
  • MLX-Serve 官方仓库：github.com/ddalcu/mlx-serve（MIT 开源，安装命令、内存对照表、本地端口均出自该仓库 README）；
  • 模型发布信息：DeepSeek-V4.1-Flash-1017（2026 年 10 月 17 日，MIT 权重）。