目录

Hugging Face 的 torch-neuronx 模型支持 Space 可用于查看哪些经过测试的模型能在 AWS Trainium 上无需修改即可运行,并提供复现各项结果的脚本。决定部署前,请先确认兼容性,再使用自己的工作负载进行测试。通过结果仅能证明模型通过了简短的生成测试。

要点#

  • 在 Space 中搜索模型名称,选择与计划使用的环境匹配的 Neuron 编译器和 Transformers 版本。
  • 每个经过测试的模型都会显示测试结果、核心数、包含编译在内的总运行时间,以及设备内存峰值用量。
  • 附带的 run.py 可复现测试,并在模型需要分片时自动启动分布式进程。
  • PASS 仅针对生成32个 token 的测试,不涵盖生产环境吞吐量、长输出或模型的全部功能。

查找模型#

打开 Hugging Face 的 torch-neuronx model support Space。默认的 Selected 视图会显示从下载量或趋势评分较高的模型中精选出的模型。

要查找特定检查点,请切换到 Trending 或 Downloads,选择相应任务并输入部分模型名称。这些视图遵循 Hub 排名,也包含未经测试的模型。未经测试并不代表不兼容。对于被有意排除的模型,Space 会注明原因。有时原因是优先级,而非技术限制。

选择计划使用的 neuronx-cc 编译器和 Transformers 版本。请将兼容性视为模型与软件版本组合的测试结果,而非检查点的固有属性。

正确解读结果#

经过测试的行会显示模型是否运行成功、使用的 Trainium 核心数、包含编译在内的实际耗时,以及设备内存峰值用量。这些数值有助于复现测试和了解所需资源,并不代表推理服务性能。

每项测试都会在 Trainium2 实例上加载模型,并将其分片到足以容纳权重的最少核心数上。大多数模型使用张量并行。没有张量并行方案的混合专家模型仅使用专家并行。

测试会生成32个 token 并检查输出。使用单个核心时,会将生成的 token 与同一检查点在 CPU 上运行的结果进行比较。对于分片模型,则由一个小型评判模型检查生成文本的英语流畅度。这些检查所提供的证据强度不同。流畅度检查无法验证输出是否与参考运行逐 token 一致。

复现测试#

选择模型后,可以查看测试所用的 Neuron 软件栈、附加软件包和实际的 run.py 脚本。使用 AWS Neuron Deep Learning Container 等方式,启动具备该软件栈的 Trainium2(trn2)实例,并安装列出的软件包。

脚本通过 from_pretrained 加载模型,按需应用分片,并使用静态缓存和 torch.compile(backend="neuron") 进行生成。将提供的脚本保存为 run.py,然后执行:

snippet.txt
python3 run.py

无需使用 torchrun 启动。如果需要分片,脚本会自行启动 torch.distributed 的各个 rank。首次复现时,尽量与公布的环境保持一致,有助于定位失败原因。

将编译纳入考量#

首次运行时会编译模型计算图。显示的实际耗时包含这一过程,因此请勿将其视为稳态生成延迟,也不要直接用它估算每秒请求数。

Space 还提供了使用对应测试的编译器版本、从公共 NEFF 缓存下载计算图的命令。如果希望复用已发布的编译后计算图,跳过复现运行时的编译过程,请使用该命令。

评估应用程序时,请分别测量启动和生成过程。使用缓存成功运行,与新实例在处理请求前需要先编译,两者在运维层面能验证的情况不同。

了解覆盖范围的限制#

根据2026年10月23日的公告,测试对象是执行 text-generation 和 image-text-to-text 任务的 Transformers 模型。模型必须能够容纳在4个 Trainium2 设备、即16个核心以内。Diffusers、sentence transformers 及其他 Transformers 任务计划在后续扩展,尚未纳入已确认支持的范围。

PASS 并不验证更长的生成或吞吐量。部署前,请测试预期的提示词长度、输出长度、并发数和所需功能。对于处理图像和文本的模型,还应检查实际使用的图像输入。报告中的结果并不保证支持所有输入格式或使用场景。

如需自动检查,请查询公开的模型支持数据集 ↗。每行包含结果、失败时的错误、软件栈版本和所用脚本。结果标签的定义见数据集卡片,请先查阅,再决定是否将不同状态等同处理。

后续步骤#

在 Space 中找到要使用的检查点,选择计划使用的编译器和 Transformers 版本,并在相应的 Trainium2 环境中运行附带的 run.py。

来源:https://huggingface.co/blog/torch-neuronx-model-support

目录