目录

萨姆·奥尔特曼认为,与其让个人为了偶尔使用本地AI而购买大量内存,不如让云服务商持续使用这些内存,使稀缺的内存惠及更多人。这是关于资源效率的讨论,却无法回答是否应该在自己的电脑上运行AI。

要点#

  • 奥尔特曼认为,相比偶尔运行AI的个人电脑,共享云基础设施能更高效地利用有限的DRAM。
  • 他以个人内存仅有5%的时间被使用为例的说法,需要查阅原始访谈确认。
  • 本地AI具有离线运行、便于管理机密数据等实用优势。
  • 增配RAM前,应测试实际任务,并比较硬件追加成本与云服务费用。

奥尔特曼的主张#

根据所提供的有关奥尔特曼做客Stripe联合创始人约翰·科利森播客的资料,他反对将推理任务转移到个人电脑就能缓解内存短缺的观点。他担忧的是,每位用户都占用大量稀缺的DRAM,却未能充分利用这些容量。

资料称,他举了利用率为5%的例子。这个数字应被视为说明观点的示例,而非经过验证的个人电脑使用测量值。所提供的资料既没有佐证数据,也没有可用于准确确认“使用”含义的访谈实录。

他提出的替代方案是共享基础设施。云服务商可以全天为不同客户提供服务,因此有望用相同的内存容量完成更多有用的计算。他讨论的是如何分配资源,并非证明所有本地AI部署都是浪费。

内存为何重要#

AI推理需要内存来存放模型权重和工作数据,还需要键值缓存来保存文本生成过程中使用的信息。上下文变长或并发请求增多时,内存需求也可能增加。

容量决定能否容纳处理所需的数据,内存带宽则影响向处理器传输数据的速度。因此,即使购买了足以加载模型的RAM,也不一定能获得足够的性能。同时运行多个智能体会进一步增加负载。

云基础设施可以分散不同用户的需求,并在共享硬件上安排可兼容的任务。不过,即使数据中心全天运行,也不代表所有内存始终用于有用的计算。效率优势取决于实际需求、任务分配方式和硬件配置。

本地AI适用的情况#

本地运行的价值无法仅用利用率衡量。出行途中或网络不稳定时,可能需要无需联网即可运行的模型。在自己控制的设备上进行推理,也能减少向外部服务商发送机密信息的需要。

要获得这些优势,除了下载模型,还需检查应用程序。即使工具看似在本地运行,也可能为了附加功能或遥测而连接外部服务。模型能力和响应速度也需要在计划使用的机器上验证。

是否已有硬件也会影响判断。利用原本就需要的电脑的闲置算力,与主要为了偶尔推理而购买昂贵机器,是两回事。内存也用于常规应用,因此工作间隙有空闲容量并不一定是浪费。

购买前如何选择#

首先,测试能代表实际用途的任务。仅靠简短的聊天交互,无法判断系统能否满足文档长度、输出要求和并发请求数量的需求。

请确认以下4点。

1. 测试计划使用的模型。 记录模型大小、量化设置和上下文长度,并执行实际任务。 2. 测量性能。 检查峰值内存占用、响应速度,以及操作系统是否开始将数据交换到存储设备。 3. 估算使用量。 记录每周计划运行推理的时长,以及是否需要离线使用。 4. 比较追加成本。 用硬件追加成本除以预计的每月云服务费用,粗略计算回本所需的时间。

例如,硬件追加成本为1,200美元,云服务费用为每月40美元,简单计算可得回本需要30个月。但这不包含电费、维护费用及模型质量差异。这只是计算的起点,不能证明哪种方案更便宜。

OpenAI在云端AI领域也有商业利益。这一点应纳入考量,但并不意味着其资源分配论点无效。同样,对服务商而言高效,也不意味着对个人用户而言就是最佳选择。将适合本地处理的机密或离线任务留在本地推理,将超出设备能力的任务交给云端,也是一种实用的混合方案。

下一步#

在增购RAM前,先用当前电脑运行一项能代表实际用途的AI任务,记录峰值内存占用和完成时间。

来源: https://www.techno-edge.net/article/2026/10/31/5657.html

目录