Mistral Large 4「Le Chonk」进 Transformers：一万亿参数、1M 上下文，在 3800 块 Grace Blackwell 上从零训出来

10 月 29 日，Transformers 发了 v5.22.0，标题只有一行：Mistral Large 4 (Le Chonk)。我第一眼是被「Le Chonk」逗笑的 —— 一个在法语里指「胖乎乎」的词，配上一个一万亿参数的模型，多少有点自嘲的意思。

笑完之后看到正文，笑不出来了。

数字先摆出来

• 1T 总参数，每 token 激活约 49B（算上嵌入与输出层是 52B）
• 128 个路由专家，每 token 选 4 个，另有 1 个共享专家
• 1M 上下文
• 原生多模态：文本 + 图像输入，Pixtral 风格的视觉编码器，能处理可变尺寸与长宽比
• 推理强度三档：low / medium / high，默认 high
• 160 多种语言，覆盖欧盟全部官方语言

关键的一句在训练细节里：这个模型是在 Mistral 自己的欧洲数据中心里、用 3800 块 NVIDIA Grace Blackwell 从零训出来的。不是微调，不是蒸馏，是从零。

1T 参数的意义，和你家的显卡没关系

我得说一句可能不讨喜的话：这类模型的发布，对绝大多数人来说不是「我能用了」，而是「我知道天花板在哪里」。

MoE 的设计本来就是为这个做的：总参数堆上去保证知识面，激活参数压下来保证推理成本。1T/49B 这个比例（约 5%）意味着单次前向的计算量接近一个 49B 稠密模型，而不是一个 1T 模型。这是过去两年所有开源大模型都在走的同一条路。

但「计算量接近 49B」不等于「能在 49B 的机器上跑」。权重还是要全部装进显存。所以真正会用上它的人，是那些本来就在采购 H100/B200 的团队。对我们这些在自己机器上折腾的人，这一版的实际价值是另一件事 —— 下面这段。

顺手降下来的显存，才是普通人能用的部分

同一版里还有一条不太显眼的改动：FP8 量化模型现在可以用于适配器训练（LoRA / PEFT 那一套），因为给稠密和分组的 FP8 matmul 补上了反向传播，is_trainable 变成 True。

效果写得很具体：MoE 层反向传播的峰值显存，在 8k token 时从约 28.9 GiB 降到 2.8 GiB。

这个数字比一万亿参数对我有用得多。28.9 GiB 意味着一张 40GB 的卡勉强够、24GB 的卡直接没戏；2.8 GiB 意味着消费级显卡能跑起 MoE 的微调了。开源生态的进步常常不在头条里，而在这类「顺便修掉」的条目里。

许可：能商用，但不能拿它做 MaaS

模型用的是 Mistral Ecosystem Open-Weight License —— 一份改动过的 MIT。商业与非商业使用都可以，但拿它提供模型即服务（MaaS）需要单独的商业授权。

这条界线划得很清醒：权重给你，生意归我。对做内部工具、做研究、做二次开发的人，这已经够用了；对想搭个 API 转卖的人，这是明确的红灯。

我的判断

一万亿参数的开源模型出现，最直接的后果不是「人人都能用最强的模型」，而是闭源模型的价格锚点被往下拽了一截。能力接近、许可宽松、权重可下载，这三件事凑齐之后，采购谈判桌上的话术就变了。

至于要不要现在就试：如果你手上有一台能装下几百 GB 权重的机器，值得拉下来跑一次 reasoning_effort="high" 的对比；如果没有，看看 5.22.2（11 月 6 日的补丁版）里那些 FP8 与适配器训练的修复，收益反而更大。