目录

LingBot-VA是一个面向机器人控制的开源项目,用同一个模型处理摄像头画面预测和机器人动作估计。项目报告了在RoboTwin 2.0和LIBERO上的高成功率,但运行时需要准备兼容环境并调整数据格式。

要点#

  • 采用交替处理画面变化与动作的自回归模型,旨在应对长流程任务和未知场景。
  • 训练时将attn_mode设为flex,推理和评估时设为torch或flashattn。
  • RoboTwin 2.0评估报告的Easy成功率为92.9%,Hard成功率为91.6%。
  • 使用自有数据继续训练,需要转换为LeRobot格式、描述动作区间,并提取视频潜在表示。

统一处理画面与动作#

LingBot-VA的特点是,不仅输出机器人动作,还在同一序列中预测视觉状态变化并估计动作。模型交替处理画面与动作,但两者的作用分别设计。其思路是以未来画面为线索,判断下一步操作。

为提高执行效率,项目将Dual-stream MoT结构与异步执行、KV Cache相结合。这一架构旨在提高长流程任务的成功率,以及对陌生场景的泛化能力。实际效果取决于所用任务、数据和评估条件。

先准备推理环境#

README列出的基础环境为Python 3.10.16、PyTorch 2.9.0和CUDA 12.6。需安装面向CUDA 12.6的指定版PyTorch,并配套安装diffusers==0.36.0、transformers==4.55.2等依赖。使用GPU时还需要flash-attn。

加载模型前,打开模型文件夹中的transformer/config.json,根据用途修改attn_mode。训练使用flex,推理和评估使用torch或flashattn。项目说明,保留flex进行评估会报错。

在RoboTwin 2.0单GPU评估中,将VAE和文本编码器卸载到CPU后,显存需求约为24GB。根据图像生成视频和动作的推理约需18GB。这些是仓库给出的参考值,实际需求请结合配置和环境确认。

运行评估的步骤#

使用RoboTwin 2.0时,需检出指定提交2eeec322,准备依赖包和资源文件,然后启动推理服务器与客户端。单GPU场景下,服务器使用evaluation/robotwin/launch_server.sh,客户端使用evaluation/robotwin/launch_client.sh。服务器与客户端必须在同一台机器上运行。

LIBERO也提供了服务器和客户端启动脚本。请根据待评估的基准,按官方步骤配置环境后再运行。RoboTwin的多GPU客户端将任务分为7组,task_group_id取值为0到6。

如何看待公开的评估数据#

在RoboTwin 2.0的50项任务平均结果中,LingBot-VA报告的Easy成功率为92.9%,Hard成功率为91.6%。对比表中的Motus分别为88.7%和87.0%。LIBERO的平均成功率为98.5%。不过,这些是仓库公布的基准测试结果,并不保证在你自己的机器人或数据上也能达到相同数值。

项目说明,实机评估包含6项任务,每项进行50次试验。例如,“Unpack Delivery”的成功率,LingBot-VA为65.0%,对比模型π₀.₅为25.0%。而“Fold Clothes”的进度分数为48.8%,各任务的结果存在差异。除了成功率,同时查看反映任务完成程度的进度分数,更容易理解评估结果。

使用自有数据继续训练#

继续训练的输入采用LeRobot格式。需在meta/episodes.jsonl中为每个回合添加action_config,记录动作区间的起止帧和自然语言描述。例如,一段450帧的连续动作,其区间为start_frame: 0、end_frame: 450。

训练用动作统一为30维:左右末端执行器各7维、左右关节各7维、左右夹爪各1维。未使用的维度填0。视频建议调整为约256×256像素、5~15fps,并使用Wan2.2 VAE提取潜在表示。

潜在数据放在与原视频目录结构相同的latents/中,文件名设为episode_{index}_{start_frame}_{end_frame}.pth。训练使用FSDP,README为RoboTwin和LIBERO都提供了8 GPU运行示例。单GPU未必能在相同条件下完成训练,因此请先确认数据格式和可用计算资源。

下一步#

请先在GitHub的README中确认所用基准的环境配置步骤和模型设置。如果从推理开始尝试,先获取检查点,将attn_mode设为torch或flashattn,再启动评估脚本。如果使用自有数据训练,可以先将1个回合转换为LeRobot格式,确认action_config与潜在文件的对应关系,以此作为具体起点。

来源: https://github.com/robbyant/lingbot-va

目录