目次

NVIDIAの新しいCosmos 3チェックポイント4種は、オフラインの運転データ、ストリーミングの運転観測、シミュレーターのレンダリング、行動を条件とするロボット動画に対応します。すでに利用できる制御入力に合わせて選び、生成された観測を検証してから、ポリシーの学習や評価に使用してください。

要点#

  • 4種のチェックポイントはいずれも、学習可能なパラメーター160億個を持つ事後学習済みのCosmos 3 Nanoモデルで、OpenMDW1.1の条件に従い、商用・非商用で利用できます。
  • Transfer-Autoは、魚眼カメラを含む最大11視点のオフライン運転データを生成し、オプションでRGBとLiDARの同時生成にも対応します。
  • Sim-Autoは運転観測をストリーミング生成し、Sim-Transferはシミュレーターの制御入力からRGBを生成し、Sim-Bimanualはロボットやカメラの行動から動画を予測します。
  • 公開された重みと事後学習レシピを使って適応できますが、ハードウェア要件とポリシー学習への適性は、自分のワークロードに照らして確認する必要があります。

利用できる制御入力で選ぶ#

2026年11月5日に公開されたこのリリースは、4種類のインターフェースを提供します。まずは、自分のシステムが供給できるデータを確認してください。

| モデル | 必要な初期入力 | 想定する出力 | |---|---|---| | Transfer-Auto | 運転シーンの制御入力とテキスト | オフラインの多視点運転データ | | Sim-Auto | 更新された運転制御入力と履歴 | カメラとLiDARの観測ストリーム | | Sim-Transfer | シミュレーターの空間制御入力とテキスト | 生成RGB動画 | | Sim-Bimanual | 初期画像と行動入力 | その後のロボットシーンの観測 |

実用上の違いは、状態をどこから得るかです。Sim-Transferはシミュレーターに物理状態の計算を依存します。Sim-Bimanualは行動と観測から視覚的な結果を直接予測します。どちらのインターフェースも、それだけでは、生成動画が用途に必要な物理的正確さを備えているとは判断できません。

まず運転データを作る#

Transfer-Autoは、最大11台のカメラ間で同期した動画を生成します。カメラごとのWorld Scenario Map(WSM)制御入力でシーン構造と交通の動きを指定し、テキストプロンプトで天候、照明、外観を誘導します。オプションの初期RGB画像は、シーンの外観の基準になります。LiDARを同時生成する場合は、位置合わせ済みのHDマップのレンジマップ制御入力も必要です。

異なるカメラ配置、LiDAR構成、運転ドメインに対応する場合、NVIDIAが示す手順は、まず独自データでTransfer-Autoを適応させることです。その後、適応済みモデルをオフライン生成に使うか、因果的学習と蒸留を適用してストリーミングモデルを作成できます。

Sim-Autoは、因果的に蒸留されたストリーミング版です。更新された制御入力と直近の履歴を使い、小さなチャンクを順次生成します。閉ループの運転システムには、運転入力を次の制御入力へ変換するシミュレーションランタイムとWSMレンダラーが別途必要です。チェックポイントだけでは、このループ全体は構成できません。

ロボティクスのインターフェースを合わせる#

物理シミュレーターがすでに運動、接触、状態を計算している場合は、Sim-Transferを使います。深度、セグメンテーション、エッジ、大まかにぼかした外観などの空間制御入力とテキストプロンプトを受け取り、RGB観測を生成します。ループは、ポリシーの行動 → シミュレーターの更新 → 空間制御入力 → 生成画像 → 次の行動、という流れです。

一方、Sim-Bimanualは画像を起点に、ロボットやカメラの行動から観測を予測します。公開チェックポイントはYAMとAgiBotの双腕ロボット構成に対応し、視点変更と物体操作を切り替えるシーケンスも扱えます。

行動スキーマへの準拠を、統合時の要件として扱ってください。混合行動の例では59個の制御値を使い、学習時には64個にパディングします。座標系、回転、グリッパーのキャリブレーション、有効性マスクも定義されています。時間の対応も維持してください。T回の遷移にはT+1個の観測が必要です。公開されている推論用の行動入力は、すでに正規化されています。

ストリーミングの学習レシピを理解する#

ストリーミング生成では、制御入力と利用可能な履歴から短いチャンクを予測し、画像にデコードして、後続の予測に使うアテンション情報をキー/バリューキャッシュに保持します。初期画像以降は、潜在表現の各タイムステップがRGBの4フレームに相当します。チャンクを小さくすると、新しい制御入力をより頻繁に生成へ反映できます。

公開されている適応レシピは、4段階で構成されます。

1. 双方向の適応: 記録された完全なクリップから、ドメイン固有の制御入力と動画の関係を学習します。 2. 教師強制: ノイズのない予測対象と未来の観測をマスクし、それ以前の記録済み観測からチャンクを予測します。 3. 整合性蒸留: 各チャンクを4回のノイズ除去ステップで生成するよう、生徒モデルを学習させます。 4. 自己強制: ロールアウト中に蓄積する誤差に対処するため、生徒モデル自身が生成した履歴を使って学習します。

これらの段階は、それぞれ異なる問題に対処します。蒸留は生成コストを削減し、自己強制は不完全な生成コンテキストを学習時に経験させます。どちらも、長いロールアウトの信頼性を保証するものではありません。

実行と有用性を確認する#

公開されているSim-Bimanualのセットアップには、Linux、NVIDIA GPU、Docker、NVIDIA Container Toolkitが必要です。NVIDIAはGB200を1基使ってvLLM-Omni構成をテストしました。これはテスト済みの構成であり、最小メモリ要件でも、ほかのGPUでの性能保証でもありません。

長時間の適応学習を始める前に、環境を確認し、データサンプルを1件検証し、短い学習ジョブを実行して、再開をテストしてください。完全な学習チェックポイントを保存してください。エクスポートした推論用の重みには、オプティマイザーなどの学習状態が含まれません。

その後、学習に使っていないエピソードを評価します。運転では、カメラとLiDARの位置合わせ、およびシーン制御入力への応答を確認します。ロボティクスでは、行動のタイミングと物体の一貫性を確認します。推論デモの成功で確認できるのは実行できることまでであり、学習の収束やポリシー評価の信頼性までは確認できません。

次のステップ#

既存の制御入力に合うチェックポイントを選び、独自データセットを準備する前に、付属のサンプル入力で公開推論例を実行してください。

出典: https://huggingface.co/blog/nvidia/cosmos-interactive-world-simulation

目次