目次
Ai2のToyBlocksは、ロボットモデルが何を学び、なぜ失敗するのかを、条件を制御して検証できる環境を研究者に提供する。最大の価値は、再現可能な実験にある。目的に応じた訓練データを生成し、条件を1つ変え、計画・知覚・物理的制御のどこに問題が生じるかを測定できる。
要点#
- ToyBlocksは、シミュレーション上のロボットアーム、卓上のブロック、デモンストレーションの自動生成、詳細な評価指標を組み合わせている。
- 研究者は訓練データを変え、未知のブロック配置、外観、積み上げ高さ、作業領域で検証できる。
- Ai2の実験は、空間的な汎化、文字認識、物理的相互作用の予測における弱点を明らかにしている。
- シミュレーション結果は条件を統制した比較に役立つが、提供されたレポートでは、実機への信頼できる転移は確認されていない。
ToyBlocksが提供するもの#
2026年11月6日に公開されたToyBlocksは、Ai2初のFoundationWorldだ。これは、範囲を限定したシミュレーションと、タスク生成、訓練用デモンストレーションの作成、動作評価のためのツールを組み合わせたフレームワークである。
ロボットはブロックを押し、裏返し、回転させ、持ち上げ、積み上げる。ブロックの各面にある文字や絵によって、知覚や推論の課題も加わる。どのブロックを使うか決める前に、隠れた面を見えるようにする必要がある場合もある。研究者はブロックの大きさ、テーブルの高さ、その他の物理特性を変え、性能がどう変化するかを検証できる。
対象範囲が狭いため、実験結果を解釈しやすい。タスクを固定して訓練データの構成を変えることも、訓練条件を固定してテスト対象を既知の作業領域の外へ移すこともできる。評価では成功率に加え、実行時間、力、タスクの進捗も記録する。
デモンストレーションの生成方法#
ToyBlocksは強化学習と動作計画を組み合わせ、短い動作スキルを作成する。スキルの訓練にはNvidiaのIsaac Labを使う。方策は押す、裏返すといった接触動作を学び、タスク・動作プランナーがスキルを選択して順序を決め、スキル間の動きを計画する。
その計画を実行することで、タスクとスキルのラベルが付いたデモンストレーションが記録される。Ai2によると、1基のGPUで数百の計画を並列実行し、最大で実時間の24倍の速度に達したという。これは報告された最大値であり、個々の構成での処理速度は確認が必要だ。
データ生成には、ブロックの位置や向きなど、シミュレーター内の正確な情報を利用できる。一方、生のセンサー観測から動作するよう訓練されたモデルは、知覚の問題を自ら解かなければならない。デモンストレーション生成器と学習済みのロボット方策を比較する際は、この違いを明確にする必要がある。
実験から分かること#
Ai2は、ManiFlow、π0.5、MolmoAct 2を用い、Stack、Unstack、Flip、Rotateの各タスクで空間的な汎化を検証している。テストでは内挿と外挿を区別する。ブロックを2個と5個積んだ状態で訓練し、3個と4個でテストすることと、左側の作業領域で訓練して右側でテストすることは異なる。報告された初期結果は、大規模な事前学習が高い汎化性能を保証するわけではないことを示している。
長いタスクでは、ToyBlocksは高レベルの計画と低レベルの実行を分離する。プランナーがスキルと対象ブロックを選び、動作モデルが動きを実行する。参照用のプランナーとコントローラーは、どの構成要素が失敗の原因になったかを特定するのに役立つ。最先端エージェントによる文字探索・単語作成実験の1つでは、63%のケースでタスクを完了するか、実行不可能だと正しく判断した。シーンの半数には必要な文字がなかった。似た文字の取り違えはタスクの13%、文字の向きの誤りは15%を占めた。
ツールの説明も性能に影響した。別の実験では、エージェントが自分のスキルを試した後に書いた説明を使うと、成功率はデフォルトの説明での24%から63%に上がった。人間の専門家による説明では36%だった。この結果は、失敗を計画能力だけに帰する前に、モデルが利用可能な操作手段を理解しているか検証する意義を示している。
結果からは証明できないこと#
ToyBlocksは、ロボットの行動後にシーンがどう変化するかを予測する、行動を条件とする世界モデルも評価する。Ai2は4つのスキル設定それぞれについて900本の軌跡を生成し、成功例と失敗例を半数ずつにした。これらのテストでは、ブロックの動きとタスク結果の予測でWan 2.2が最も優れていた。Astraは接触の扱いに苦戦し、LeWMは長い軌跡で誤差が蓄積した。
追加実験では、最も性能の高かった動画モデルが生成した100本の軌跡を加えると、未見の領域での方策の成功率が19%から78%に上がった。これは特定の実験設定での結果であり、生成データが他のタスクやロボットでも同程度の改善をもたらすことを示すものではない。
提供された資料は、実機での評価結果が示される前に終わっている。そのため、条件を制御したシミュレーション実験についての結論は裏付けられるが、実世界への転移は未解決のままだ。ToyBlocksを実機プロジェクトに採用する前に、完全版のレポートで転移結果、ロボットの構成、失敗率を確認する必要がある。
次のステップ#
作業領域を変える転移実験を1つ行う。左側の領域に置いたブロックでFlip方策を訓練し、ブロックの外観やその他の設定を固定したまま、左右それぞれで訓練に使っていない100回の試行を行い、成功率を測定する。
出典: https://huggingface.co/blog/allenai/toyblocks
目次
