AI 产品

苹果芯片突破：开源MLX移植让2.8万亿参数Kimi K3模型可在Mac Studio运行

首次出现 8月9日 00:06·最近更新 8月9日 00:06

根据证据，Kimi K3是一个拥有2.8万亿参数、磁盘大小1.6TB的大型模型，原本无法在Apple Silicon上运行。通过开发MLX移植版，团队解决了两个关键技术问题：一是编写了流式转换器以逐层处理模型，避免了全模型实例化；二是应用REAP剪枝技术，根据工作负载只保留必要的专家，将模型大小压缩至350GB。这使得Kimi K3模型现在可以在Mac Studio上运行。该MLX移植版已开源发布。来源为Twitter/X AI List，非官方确认。

多来源证据

Twitter/X AI List·twitter·7月28日 09:13

在Mac Studio上运行Kimi K3 🫰

在Mac Studio上运行Kimi K3 🫰 K3拥有2.8万亿参数，磁盘大小1.6TB，这使得它无法在Apple Silicon上运行。直到现在。我们的MLX移植版现已开源：https://t.co/Iszg55hRZT 为了实现这一点，我们解决了两个问题： 1. 我们编写了一个流式转换器，逐层处理，这样mlx_lm就不需要实例化整个模型。 2. REAP剪枝在此基础上，对896个专家进行评分，根据校准语料库只保留工作负载需要的专家。这就是将K3降低到350GB并放入Mac Studio的关键。

事件时间线

7月28日 09:13
Twitter/X AI List
在Mac Studio上运行Kimi K3 🫰