目次

TRELLIS.2を特定のオブジェクトカテゴリに適応させるには、構造モデルと形状モデルのLoRAアダプターを学習し、評価用に取り分けたオブジェクトで生成メッシュを評価します。提供されているワークフローはDockerまたはHugging Face Jobsで実行でき、靴を対象とした実験では188個のオブジェクトを使用し、マテリアル生成は凍結したままにしています。

要点#

  • 形状に問題がある場合は、疎構造モデルと形状モデルを学習し、テクスチャモデルは凍結します。
  • メッシュを一度前処理して学習用の潜在表現とレンダリング画像を作成し、実験間で再利用します。
  • 参照設定では、2つのモデルにわたる約930万個のアダプターパラメーターを学習します。
  • 学習損失の低下が形状の改善を意味すると結論づける前に、評価用オブジェクトで生成メッシュを確認します。

学習対象を選ぶ#

TRELLIS.2では、大まかな構造、詳細な形状、マテリアルが分離されています。この分離により、すべてのコンポーネントを更新せずに、特定の欠陥を改善できます。

靴の実験で報告された問題は、靴底の形状が不正確なことでした。このワークフローでは、大まかな占有領域を決める疎構造モデルと、詳細な形状を生成する形状モデルという2つの拡散TransformerにLoRAアダプターを追加します。元のモデルの重みは凍結したままです。

まずは次の参照設定を使用してください。

| コンポーネント | 設定 | |---|---| | 疎構造モデル | 注意層とフィードフォワード層にランク8のLoRA | | 形状モデル | 注意層にランク16のLoRA | | テクスチャモデル | 凍結 | | 形状・構造エンコーダー | 前処理中は凍結 |

データセットを準備する#

Hugging Faceのデータセットリポジトリにアップロードしたメッシュから始めます。コンテナはGLBまたはOBJアセットを受け取り、学習に必要な潜在表現に変換します。また、必要なリポジトリ権限を持つHF_TOKENと、アクセス制限付きDINOv3モデルの利用承認が必要です。

前処理コンテナは、Blenderでオブジェクトごとに条件付け用の画像を16視点からレンダリングし、エンコードした学習用潜在表現を保存します。学習時には、各サンプルでランダムに選んだレンダリング画像を使用します。参照設定では靴のオブジェクト179個を学習用、9個を評価用に分けます。評価用オブジェクトの画像は、どの視点のものも学習セットに含めないでください。

Hugging Face Jobsで前処理を実行します。

snippet.txt
export HF_TOKEN=hf_xxx

hf jobs run -d --flavor a100-large --timeout 6h \
  --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-prep:latest \
  trellis2-prep \
  --meshes your-username/my-meshes \
  --push-to your-username/my-meshes-trellis2 \
  --private --holdout 0.05 \
  --views 16 --workers 8

2つの学習ジョブを実行する#

ssとshapeのプリセットを使い、構造と形状のアダプターを別々に学習します。どちらも準備済みのデータセットを使用しますが、それぞれ異なるモデルと設定を選択します。アップロード先のパスを分けることで、チェックポイントを区別できます。

以下のコマンドでは、各実行をオプティマイザーの更新3,000ステップに設定し、500ステップごとに保存します。これらは実験用の設定であり、すべてのデータセットで最適と実証された値ではありません。Trackioが指標を記録するため、学習の進行状況を確認できます。

snippet.txt
hf jobs run -d --flavor a100-large --timeout 12h \
  --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config ss \
  --latents your-username/my-meshes-trellis2 \
  --push-to your-username/my-trellis2-lora \
  --run-name ss_lora --push-path ss_lora \
  --trackio-space your-username/trellis2-trackio \
  --set max_steps=3000 i_save=500

hf jobs run -d --flavor a100-large --timeout 12h \
  --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config shape \
  --latents your-username/my-meshes-trellis2 \
  --push-to your-username/my-trellis2-lora \
  --run-name shape_lora --push-path shape_lora \
  --trackio-space your-username/trellis2-trackio \
  --set max_steps=3000 i_save=500

リソースコストを把握する#

報告された前処理では、GPUメモリ80 GBのa100-largeジョブで188個のオブジェクトを処理するのに約1時間かかりました。前処理の6時間と学習の12時間という制限はジョブのタイムアウトであり、実測の完了時間ではありません。提供資料では、GPUの最小要件や学習の総コストは示されていません。

LoRAは学習対象のパラメーターとそのオプティマイザー状態を削減しますが、バックボーンは引き続きメモリを消費します。この実装では勾配チェックポイントを使用し、学習対象のアダプターの重みをfp32で保持し、順伝播の計算時にbf16のオートキャストを適用します。例ではバッチサイズ4、勾配蓄積4ステップで、実効バッチサイズは16です。

ローカルでは、GPUアクセスを有効にしたDockerで同じコンテナコマンドを実行します。Hubへのアクセスが必要な各コンテナにHF_TOKENを渡し、ダウンロードの繰り返しを避けるために永続的なHugging Faceキャッシュをマウントしてください。

結果と制約を確認する#

不適切な学習対象でテクスチャモデルを学習しないでください。ここで使用するGSOアセットには、このワークフローに必要な個別のマテリアルマップではなく、照明が焼き込まれた拡散反射マップが含まれています。これらで学習すると、照明を表面の特性として再現するようモデルが学習するおそれがあります。

同じ評価用の条件付け画像と生成設定を使い、保存したチェックポイントを未変更のベースモデルと比較評価します。靴底の厚みと輪郭を確認し、エクスポートしたメッシュを別の角度からも確認してください。レンダリングの見た目だけでは、形状の誤りが隠れることがあります。

提供資料には実験の目的と学習設定が記載されていますが、改善を示す定量的な結果はありません。評価用の9個のオブジェクトは初期確認には使えますが、広範な汎化性能を実証するものではありません。また、latestイメージタグは変わる可能性があるため、各実行で使用したコンテナのダイジェストと設定も記録してください。

次のステップ#

自分のメッシュを前処理する前に、suvadityamuk/gso-footwear-trellis2-latents ↗の前処理済みデータセットを確認し、想定される学習データの構造を把握してください。

出典: https://huggingface.co/blog/3d-lora-finetuning

目次