目次

LingBot-VAは、カメラ映像の予測とロボットの動作推定をひとつのモデルで扱う、ロボット制御向けの公開プロジェクトです。RoboTwin 2.0やLIBEROで高い成功率を報告していますが、動かすには対応環境の用意やデータ形式の調整が必要です。

要点#

  • 映像の変化と動作を交互に扱う自己回帰型のモデルで、長い作業や未知の場面への対応を目指しています。
  • 学習にはattn_modeをflex、推論・評価にはtorchまたはflashattnに設定します。
  • RoboTwin 2.0評価ではEasy成功率92.9%、Hard成功率91.6%を報告しています。
  • 独自データで追加学習するには、LeRobot形式への変換、動作区間の記述、動画潜在表現の抽出が必要です。

映像と動作をまとめて扱う#

LingBot-VAの特徴は、ロボットの動作だけを出力するのではなく、視覚的な状態変化の予測と動作推定を同じ系列の中で行うことです。モデルは映像と動作を交互に扱いますが、両者の役割は分けて設計されています。将来の映像を手がかりに、次の操作を判断する考え方です。

実行効率を高めるため、Dual-stream MoT構造に非同期実行とKV Cacheを組み合わせています。長い作業での成功率や、見慣れない場面への汎化を狙った構成です。実際の効果は、使うタスクやデータ、評価条件に左右されます。

まず推論環境を整える#

READMEに記載された基本環境はPython 3.10.16、PyTorch 2.9.0、CUDA 12.6です。PyTorchはCUDA 12.6向けの指定版を入れ、diffusers==0.36.0、transformers==4.55.2などの依存関係も合わせます。GPUで使う場合はflash-attnも必要です。

モデルを読み込む前に、モデルフォルダ内のtransformer/config.jsonを開き、attn_modeを用途に合わせて変更します。学習はflex、推論や評価はtorchかflashattnです。flexのまま評価するとエラーになると案内されています。

RoboTwin 2.0の単一GPU評価では、VAEとテキストエンコーダーをCPUに退避する設定で約24GBのVRAMが目安です。画像から動画と動作を生成する推論は約18GBとされています。これらはリポジトリ記載の目安で、実際の必要量は設定や環境で確認してください。

評価を動かす手順#

RoboTwin 2.0では、指定のコミット2eeec322をチェックアウトし、依存パッケージとアセットを準備します。その後、推論サーバーとクライアントを起動します。単一GPUならサーバーにevaluation/robotwin/launch_server.sh、クライアントにevaluation/robotwin/launch_client.shを使います。サーバーとクライアントは同じマシンで動かす必要があります。

LIBEROにもサーバーとクライアントの起動スクリプトが用意されています。評価対象のベンチマークに合わせて公式手順で環境を整えてから実行します。RoboTwinの複数GPUクライアントでは、タスクを7グループに分けており、task_group_idは0から6を指定します。

公開された評価値の見方#

RoboTwin 2.0の50タスク平均では、LingBot-VAはEasy 92.9%、Hard 91.6%を報告しています。比較表にあるMotusはそれぞれ88.7%、87.0%です。LIBEROの平均成功率は98.5%。ただし、これはリポジトリ掲載のベンチマーク結果であり、手元のロボットやデータで同じ値が出る保証ではありません。

実機評価は6タスクを各50試行で行ったと説明されています。たとえば「Unpack Delivery」の成功率はLingBot-VAが65.0%、比較対象のπ₀.₅が25.0%です。一方、「Fold Clothes」の進捗スコアは48.8%で、タスクごとに結果の幅があります。成功率だけでなく、作業がどこまで進んだかを示す進捗スコアも併せて見ると、評価の中身をつかみやすくなります。

独自データで追加学習する#

追加学習の入力はLeRobot形式です。各エピソードのmeta/episodes.jsonlにaction_configを加え、動作区間の開始・終了フレームと自然言語の説明を記録します。たとえば450フレームの連続動作なら、区間はstart_frame: 0、end_frame: 450です。

学習用アクションは30次元に揃えます。左右のエンドエフェクター各7次元、左右の関節各7次元、左右のグリッパー各1次元です。使わない次元は0で埋めます。動画は目安として約256×256ピクセル、5〜15fpsに調整し、Wan2.2 VAEで潜在表現を抽出します。

潜在データは元動画と同じ構造のlatents/に置き、ファイル名をepisode_{index}_{start_frame}_{end_frame}.pthにします。学習はFSDPを使い、READMEではRoboTwin、LIBEROともに8 GPUの実行例が示されています。単一GPUで同じ条件の学習ができるとは限らないため、まずデータ形式と利用可能な計算資源を確認してください。

次の一歩#

まずGitHubのREADMEで、利用するベンチマーク用の環境手順とモデルの設定を確認してください。推論から試す場合は、チェックポイントを取得し、attn_modeをtorchまたはflashattnに設定してから評価スクリプトを起動します。独自データで学習する場合は、先に1エピソードをLeRobot形式へ変換し、action_configと潜在ファイルの対応を確かめるのが具体的な出発点です。

出典: https://github.com/robbyant/lingbot-va

目次