目录

Mistral Large 4也称Le Chonk,如果能满足其高昂的硬件要求,就值得针对防御性安全工作和编码智能体进行评估。Hugging Face于2026年10月29日发布的文章称,该模型在漏洞修复方面表现出色,但在引入前,需要确认部署配置、量化方式和许可条款。

要点#

  • 支持文本和图像输入、文本生成,以及最多100万token的上下文窗口。
  • Hugging Face报告称,该模型在漏洞复现与修复测试中得分82%,在Coding Agent Index中得分49.8%。
  • 官方已发布FP8和NVFP4权重,社区制作的GGUF版本可通过llama.cpp使用。
  • 权重的公开让团队能够自行管理部署,但Mistral Ecosystem Open-Weight License对将模型作为服务提供的形式设有限制。

Le Chonk的特点#

Mistral Large 4是一个总参数量约1万亿的多语言、多模态混合专家(Mixture-of-Experts)模型。路由器为每个token激活少量专家,因此比激活整个模型所需的计算量更低。不过,这并不意味着全部权重会小到足以装入普通工作站。

该架构结合了专家路由和稀疏注意力。两者作用不同:路由负责选择处理token的专家网络,稀疏注意力负责选择要参考的历史token位置。图像由拥有16亿参数的Pixtral编码器处理。

部分规格仍需确认。发布文章称激活参数量约为490亿,而检查点名称中却包含A52B。无论用哪个数值进行容量规划,都应先在模型卡中确认统计方法。

评估结果适用的领域#

安全领域是试用此次发布的模型最明确的理由。Hugging Face报告称,在先复现再修复开源软件真实漏洞的测试中,该模型得分82%。此外,在Cybench的40项安全挑战中得分93%。这些结果可作为评估其在调查和修复中应用价值的依据,但并不能证明它在自有代码仓库中的可靠性。

编码测试结果参差不齐:DeepSWE v1.1为61.7%,SWE-Atlas-QnA为59.4%,Terminal-Bench 4为28.3%。综合Coding Agent Index的报告得分为49.8%。应将这些数值用于选择评估任务,而非预测智能体在生产环境中的成功率。

Mistral内部测试还报告称,该模型在恶意软件分析和检测规则生成方面表现出实用价值。这些说法需要独立验证。同样,在Lakera的B3基准测试中报告的93.3%攻击抵抗率,也不意味着可以省略工具隔离和执行内容验证。

选择部署方式#

应结合考虑硬件与推理服务软件。此次发布提供了4种实用选择。

  • 托管端点: Hugging Face公开了一个FP8配置示例,使用8块NVIDIA H200 GPU,支持约13.1万token的上下文和最多16个并发请求。
  • 在Blackwell上部署: 官方NVFP4检查点支持vLLM,权重的内存占用也更小。文档中的操作流程需要NVIDIA Blackwell GPU。
  • 大内存本地机器: llama.cpp团队提供了GGUF量化版本,其中包括据称可在配备512 GB统一内存的Apple Silicon Ultra机器上运行的2位版本。
  • 自有基础设施: Transformers支持文本和图像推理,TRL支持微调。公开的FP8训练示例使用了8块B300 GPU。

初步评估时,如有可用端点,应使用现有的兼容端点。在衡量任务质量之前购买硬件,会让高额投资依赖于基准测试中的说法。

在实际配置中测量#

标称100万token的上下文窗口是模型能力,并不保证每种部署都能处理这一长度。Hugging Face公开的端点配置示例使用约13.1万token。在发送大型代码仓库或文档集之前,应确认服务器上限。

性能也在很大程度上取决于量化方式和提示长度。Hugging Face报告称,在单台M3 Ultra上使用Q2_K时,生成速度约为每秒15个token。使用4块RTX6000 Pro GPU运行IQ2_XXS的测量显示,短上下文中的速度约为每秒30个token,长上下文中则降至3个token。这些是特定配置下的观测值,不能直接用于硬件排名。

推理也会影响响应时间。支持的推理强度设置为low、medium和high,默认值为high。按照文档所述的Transformers行为,即使传入none也不会禁用推理,而会使用high。建议先从medium开始,同时测量回答质量和响应总耗时。

确认使用权和失败模式#

向客户提供访问权限之前,应阅读Mistral Ecosystem Open-Weight License。发布说明将其描述为一种衍生自MIT、对将模型作为服务提供的形式增加限制的许可证。能够下载权重,并不意味着可以不受限制地托管模型。

从可验证的工作中构建一个小型评估集,例如已修复的漏洞、有代表性的编码任务、图像相关问题,以及包含恶意指令的提示。对于安全任务,应要求修复前能够复现问题,修复后能够通过回归检查。生成的命令应在凭据权限受限的隔离环境中执行。

还应使用相同任务比较量化方式。较小的检查点即使能装入现有硬件,也可能因精度下降而失去运行上的优势。

下一步#

在选择硬件或签订推理服务合同之前,先使用一个兼容的部署环境开展包含10项任务的试运行,记录经验证的完成率、响应时间和成本。

来源: https://huggingface.co/blog/mistral-large4

目录