目录

AWS 发布了轻量级虚拟机 AWS Nitro Sandboxes,可通过硬件隔离,以接近原生 EC2 的性能运行不可信的 AI 生成代码。对于运行编程智能体的团队,其实际优势在于,无需重构现有容器部署工作流,即可使用独立的客户机内核。

要点#

  • AWS Nitro Sandboxes 通过 Nitro 硬件隔离,将工作负载与宿主机及其他沙箱隔离。
  • 每个沙箱运行自己的操作系统,因此工作负载的系统调用会进入其客户机内核。
  • 据 AWS 介绍,在 EKS Auto Mode 中,可以保留现有容器镜像、部署流水线和 Helm Chart,同时在这些轻量级虚拟机中运行 Pod。
  • 接近原生的性能是 AWS 的说法,定价、可用区域、支持的配置以及各类工作负载的开销仍需确认。

对 AI 智能体有何影响#

编程智能体会执行命令、安装依赖,并运行行为难以预测的程序。因此,即使智能体正在处理合法任务,生成的脚本和下载的软件包也应视为不可信代码。

普通容器共享宿主机内核。这意味着内核是共同的安全边界,如果存在允许工作负载逃逸容器的漏洞,同一台机器上的其他工作负载也可能受到影响。

Nitro Sandboxes 为每个沙箱引入独立的客户机操作系统。根据所提供的相关发布报道,沙箱内代码发出的系统调用会进入该沙箱的客户机内核,而非宿主机内核。这改变了代码执行的隔离边界。

AWS 宣称的特性#

AWS 将 Nitro Sandboxes 描述为基于 AWS Nitro System 的轻量级虚拟机,兼具硬件隔离和接近原生 EC2 的执行性能。当智能体反复启动环境、编译代码和运行测试时,这种组合尤为重要。

性能方面的说法需要谨慎解读。即使执行速度接近原生,也无法据此了解启动时间、内存开销、存储吞吐量,以及单个实例可同时运行的沙箱数量。这些指标决定了该服务是否适合特定智能体的工作负载。

应将此次发布视为评估该服务的契机,而非所有容器工作负载都能维持当前成本和延迟的证据。

如何在 EKS 中引入#

根据所提供的报道,EKS Auto Mode 在启用该功能后,可以将 Pod 部署到 Nitro Sandboxes 中。AWS 表示,现有容器镜像、部署流水线和 Helm Chart 无需修改即可继续使用。

对于已在 Kubernetes 上运行智能体工作进程的团队,这提供了一条切实可行的迁移路径。团队可以保留熟悉的应用打包方式,同时为运行环境添加独立的客户机内核。不过,仍需进行基础设施配置和兼容性验证。

请先进行小规模试用。

1. 选择一个执行生成代码或安装外部软件包的智能体工作进程。 2. 确认 Nitro Sandboxes 支持该工作进程所在的 AWS 区域、实例配置和 Kubernetes 要求。 3. 按照 AWS 文档中的配置说明,在测试部署中启用该功能。 4. 在现有环境和沙箱环境中运行相同的智能体任务。

仅靠隔离无法解决的问题#

强化计算边界并不能决定智能体可以访问哪些资源。在沙箱中运行的代码仍可能滥用凭证、修改可访问的数据,或通过获准的网络连接发送信息。

请将权限限制在必要的最小范围内。仅授予工作进程访问任务所需代码仓库、存储和服务的权限。尽可能限制出站连接,并避免将生产环境密钥放入执行不可信代码的环境中。

所提供的报道并未明确所有部署配置下的具体隔离粒度。请确认 Pod 内的容器是否共享沙箱、存储如何挂载,以及执行结束后如何处理文件和凭证。这些细节会影响用户和任务的隔离方式。

全面部署前应测量的指标#

请使用相同的输入和资源限制比较两种环境。记录以下四项指标。

  • 从请求环境到执行第一条命令的时间。
  • 代表性编程任务从开始到完成的耗时。
  • 峰值内存使用量,以及可正常运行的并发任务数。
  • 每个已完成任务的成本,包括失败执行和重试的成本。

还请查阅 AWS 文档,确认最新定价、可用情况、配额和支持的功能。所提供的报道缺少这些细节和独立基准测试结果,因此无法判断生产运行中的成本效益。

后续步骤#

先在现有容器环境和 Nitro Sandbox 中运行同一个具有代表性的智能体任务,比较启动时间、完成时间、内存使用量和成本,再扩大部署范围。

来源: https://www.publickey1.jp/blog/26/awsaiec2vmaws_nitro_sandboxes.html

目录