目录

AWS与Google Cloud开源了TorchNeuron和TorchTPU,让开发者更容易在Trainium和Cloud TPU上评估PyTorch工作负载。这些版本可能减少迁移工作,但团队仍需与现有NVIDIA环境对比,验证兼容性、性能和总成本。

要点#

  • AWS以开源公开测试版的形式发布了TorchNeuron,用于在AWS Trainium上运行PyTorch。
  • Google Cloud开源了TorchTPU,用于在Cloud TPU及其自有基础设施上利用硬件加速运行PyTorch。
  • 两家公司均表示支持即时执行和torch.compile,以减少对现有PyTorch代码的修改。
  • 实际判断标准是,迁移后整个工作负载能否满足精度、速度和成本要求。

此次发布带来的变化#

配合10月20日至21日举行的PyTorch Conference 2026,此次发布将此前限制使用的后端以开源形式向公众开放。开发者无需参加此前的有限访问计划,即可查看代码并评估实现。不过,运行工作负载仍需具备相应硬件的访问权限。

主要变化是与开发者熟悉的PyTorch执行方式进一步整合。据AWS与Google Cloud介绍,开发者在使用两家公司的AI处理器时,可以保留更多现有代码。

这一点很重要,因为迁移工作量可能抵消硬件的价格优势。如果需要重写算子、替换库、单独维护训练实现,切换处理器就会带来持续的开发成本。

后端的工作原理#

据AWS介绍,使用TorchNeuron时,将设备指定改为.to('neuron')即可在Trainium上运行PyTorch代码,同时还支持即时执行、torch.compile和标准PyTorch API。不过,这应被视为评估的起点,并不保证所有应用都只需修改一处。

TorchNeuron还集成了Neuron Kernel Interface(NKI)。当标准运算无法提供所需行为或速度时,可通过它实现自定义算子或进行针对硬件的优化。

Google表示,TorchTPU通过即时执行优化、与torch.compile集成以及原生硬件加速,帮助开发者运行模型并迁移至TPU。对于其在训练和推理中实现有竞争力性能的说法,团队需要使用实际采用的模型、精度设置和部署条件加以验证。

CUDA仍然难以替代的原因#

模型正常运行只是第一项要求。许多PyTorch应用依赖围绕NVIDIA CUDA开发的库、自定义内核和工具。即使后端支持标准PyTorch运算,应用也可能因某个依赖组件以CUDA设备为前提而无法运行。

这些后端开源后,开发者可以检查实现并参与开发。但这并不意味着整个应用的兼容性已得到确认,也不能证明某款处理器在特定工作负载下成本更低。

因此,需要回答的问题很具体:能否在Trainium或TPU上,以所需质量稳定运行自己的应用,并降低总成本?关于替代NVIDIA的笼统说法无法回答这个问题。

如何验证迁移效果#

选择一个有代表性的工作负载,以现有NVIDIA环境中的测量值为基准。统一模型、数据集、质量目标和测量方法,以便判断差异的意义。

记录以下4项结果。

  • 兼容性: 检查所需算子、第三方库、自定义扩展以及检查点加载。
  • 正确性: 根据预先设定的容许范围,比较训练收敛情况或推理质量。
  • 性能: 将编译时间和启动时间与稳态吞吐量、延迟及内存使用量分开测量。
  • 成本: 纳入加速器运行时间、配套基础设施、失败的运行,以及达到可接受结果所需的开发工时。

训练时,比较达到相同质量目标所需的时间和成本。推理时,在相同延迟目标和请求量下比较成本。如果输出质量下降,或响应时间超出应用允许的上限,仅有更高的吞吐量并不足够。

仍需确认的事项#

TorchNeuron处于公开测试阶段,因此在生产环境使用前,应确认支持的配置、已知限制和可获得的支持服务。对于这两个项目,都需要在规划部署前确认许可证、安装要求、支持的硬件和依赖版本。

还需验证运维流程。从检查点恢复、性能分析、分布式执行和错误诊断,决定了能否将成功的实验转化为可维护的服务。记录所有必要的代码修改。这些修改也是维持应用运行的成本之一。

下一步#

使用TorchNeuron或TorchTPU运行一个有代表性的PyTorch工作负载,并以现有NVIDIA环境为基准,制作一页对比材料,汇总正确性、性能、总成本及所需的代码修改。

来源: https://www.publickey1.jp/blog/26/awsgoogle_cloudpytorchaws_trainiumgoogle_cloud_tpunvidia.html

目录