目录

Ai2的ToyBlocks为研究人员提供了一个可控制条件的环境,用于验证机器人模型学到了什么、为何失败。其最大价值在于可复现的实验。研究人员可以按需生成训练数据,改变一个条件,并测量问题出在规划、感知还是物理控制环节。

要点#

  • ToyBlocks结合了仿真机械臂、桌面积木、自动生成的演示数据和详细的评估指标。
  • 研究人员可以调整训练数据,并在未知的积木布局、外观、堆叠高度和工作区域中进行验证。
  • Ai2的实验揭示了模型在空间泛化、文字识别和物理交互预测方面的弱点。
  • 仿真结果有助于在受控条件下进行比较,但所提供的报告尚未证实模型能可靠地迁移到真实机器人。

ToyBlocks提供了什么#

2026年11月6日发布的ToyBlocks是Ai2首个FoundationWorld。这一框架将范围有限的仿真环境与任务生成、训练演示生成及动作评估工具结合起来。

机器人会推、翻转、旋转、抬起和堆叠积木。积木各面上的文字和图案也引入了感知与推理挑战。有时,机器人需要先露出隐藏的面,才能决定使用哪块积木。研究人员可以改变积木大小、桌面高度及其他物理属性,验证性能如何变化。

由于范围较窄,实验结果更容易解读。研究人员既可以固定任务、改变训练数据的构成,也可以固定训练条件,将测试对象移到已知工作区域之外。评估除成功率外,还会记录执行时间、力和任务进度。

如何生成演示数据#

ToyBlocks结合强化学习与运动规划,构建简短的动作技能。技能训练使用Nvidia的Isaac Lab。策略学习推、翻转等接触动作,任务与运动规划器则选择技能、确定顺序,并规划技能之间的运动。

执行这些规划后,系统会记录带有任务和技能标签的演示数据。据Ai2介绍,单块GPU可并行执行数百个规划,最高达到实时速度的24倍。这是报告中的最高值,具体配置下的处理速度仍需确认。

数据生成可以利用仿真器内的精确信息,例如积木的位置和朝向。而经过训练、根据原始传感器观测执行动作的模型,则必须自行解决感知问题。比较演示生成器与训练后的机器人策略时,需要明确这一区别。

实验揭示了什么#

Ai2使用ManiFlow、π0.5和MolmoAct 2,在Stack、Unstack、Flip和Rotate任务上验证空间泛化能力。测试区分了内插与外推。在堆叠2块和5块积木的状态下训练,再用3块和4块测试,与在左侧工作区域训练、在右侧测试,是不同的。报告中的初步结果表明,大规模预训练并不能保证较强的泛化能力。

对于长任务,ToyBlocks将高层规划与底层执行分开。规划器选择技能和目标积木,动作模型负责执行动作。参考规划器和控制器有助于确定哪个组件导致了失败。在一项由前沿智能体进行的字母搜索与单词拼写实验中,智能体在63%的情况下完成了任务,或正确判断任务无法完成。半数场景缺少所需字母。混淆相似字母的情况占任务的13%,字母朝向错误占15%。

工具说明也会影响性能。在另一项实验中,使用智能体试用自身技能后撰写的说明,成功率从使用默认说明时的24%提高到了63%。使用人类专家撰写的说明时,成功率为36%。这一结果表明,在将失败完全归因于规划能力之前,有必要验证模型是否理解可用的操作手段。

结果无法证明什么#

ToyBlocks还评估以动作为条件的世界模型,这类模型预测机器人行动后场景如何变化。Ai2针对4种技能设置分别生成了900条轨迹,成功与失败样本各占一半。在这些测试中,Wan 2.2在积木运动和任务结果预测方面表现最佳。Astra难以处理接触,LeWM则在较长轨迹中出现误差累积。

在补充实验中,加入表现最佳的视频模型生成的100条轨迹后,策略在未见区域的成功率从19%提高到了78%。这是特定实验设置下的结果,并不表明生成数据能在其他任务或机器人上带来同等程度的改善。

所提供的资料在展示真实机器人评估结果之前便已结束。因此,这些资料支持关于受控仿真实验的结论,但向现实世界迁移的问题仍未解决。在真实机器人项目中采用ToyBlocks之前,需要查阅完整版报告,确认迁移结果、机器人配置和失败率。

下一步#

开展一次改变工作区域的迁移实验。使用放在左侧区域的积木训练Flip策略,在固定积木外观及其他设置的情况下,分别在左右两侧各进行100次未用于训练的试验,测量成功率。

来源: https://huggingface.co/blog/allenai/toyblocks

目录