Mac Studio 集群

什么时候需要 Mac Studio 集群

• 为很多用户提供模型服务。一台机器能同时处理的请求有限，节点越多，吞吐越高。
• 多个大模型同时在线。对话模型、代码模型、Embedding 模型各占一个节点。
• 单机放不下的模型。可以把模型拆分到多个节点，但有一些前提，见下文。
• 渲染农场。把帧分配给多块 Max 级 GPU，更快完成整段序列。

价格为每台机器起始配置的美元月费。需要更多内存、存储或多台机器？联系我们。

两种模型服务方式

复制：每个节点一份模型

在每个节点上用 Ollama、llama.cpp server 或 MLX 运行同一个模型，前面放一个负载均衡。这种方式简单、稳健，吞吐几乎随节点数线性增长。某个节点忙碌或重启时，其他节点照常响应。对大多数团队来说，这是默认首选。

分片：一个模型跨多个节点

当模型超出单台机器的可用内存时，可以把模型层拆到多个节点上。llama.cpp 的 RPC 后端和 MLX 的分布式功能都可以做到。它们能用，但仍在完善中；每个 token 都要经过网络，性能取决于节点间的连接。这样汇集内存扩大了你能加载的模型规模，但不会让单个请求更快。正式投入前，请先用自己的模型测试。

分片需要节点之间互相通信。请 告诉我们你的需求，我们会和你讨论机器如何互联。

按模型规模规划节点数

先看内存。4-bit 量化模型每十亿参数大约需要 0.5–0.7GB，另外要给上下文留空间。macOS 默认允许 GPU 使用约三分之二到四分之三的统一内存，即 36GB 的 M5 Max 约有 24–27GB 可用，96GB 的 M5 Ultra 约有 64–72GB 可用。

模型（4-bit）	内存约需	最少节点	说明
14B	8–12GB	1 台 M5 Max	加节点只为提升吞吐
30–34B	18–26GB	1 台 M5 Max（偏紧）或 1 台 M5 Ultra	Ultra 可留出长上下文空间
70B 级	40–55GB	1 台 M5 Ultra	用户多时做复制
100B 以上	60GB 起	2 台或更多 M5 Ultra	需分片，先测试

然后考虑负载。粗略方法如下：

1. 选能装下模型、并为上下文留有余量的最小节点。
2. 在这一台节点上测出每秒 token 数和可承载的并发请求数。
3. 用峰值需求除以单节点能力，向上取整。
4. 如果不能接受重启期间服务变慢，再加一台备用节点。

所有数字都是粗略估算，取决于上下文长度、量化方式和运行框架。更深入的内容见 Apple 芯片本地大模型内存指南。

渲染农场

3D 渲染时，把帧范围拆分到各节点。每台 Mac Studio 用支持 Metal 的渲染器（如 Blender Cycles）渲染自己的帧，完成后写入共享存储或上传结果。按帧拆分不需要节点间的特殊网络，只要有办法收集输出即可。大多数场景用 M5 Max 节点，内存需求大的场景交给 Ultra。

租期与报价

Mac Studio 节点提供 6 个月或 12 个月租期：12 个月期 M5 Max 为 $529/月，M5 Ultra 为 $999/月。需要多台节点、额外内存或特定网络设计，请在 联系页面 申请报价。单台机器请看 Mac Studio M5 Ultra 租赁。

常见问题

Mac Studio 集群能把内存汇集起来跑一个大模型吗？

可以，借助 llama.cpp 的 RPC 后端或 MLX 分布式等工具。这些工具仍在完善中，且依赖节点间网络，请先用你的模型测试。

需要多少个节点？

先选能装下模型的最小节点，测出吞吐，再按峰值需求增加节点。本页表格给出了粗略的起点。

可以混用 M5 Max 和 M5 Ultra 节点吗？

可以。常见做法是用 Ultra 节点跑最大的模型，用 M5 Max 节点跑较小的模型或做渲染。

Mac Studio 节点可以按月租吗？

不可以。Mac Studio M5 Max 和 M5 Ultra 提供 6 个月和 12 个月租期。