目录

要让 TRELLIS.2 适应特定对象类别,需要训练结构模型和形状模型的 LoRA 适配器,并使用预留的评估对象检查生成的网格。提供的工作流可通过 Docker 或 Hugging Face Jobs 运行,鞋类实验使用了 188 个对象,并始终冻结材质生成部分。

要点#

  • 如果形状存在问题,就训练稀疏结构模型和形状模型,并冻结纹理模型。
  • 对网格进行一次预处理,生成训练用的潜在表示和渲染图像,供不同实验重复使用。
  • 参考配置会训练两个模型中共约 930 万个适配器参数。
  • 在认定训练损失下降意味着形状改善之前,先检查评估对象生成的网格。

选择训练对象#

TRELLIS.2 将粗略结构、精细形状和材质分离。这种设计允许针对特定缺陷进行改进,无需更新所有组件。

鞋类实验报告的问题是鞋底形状不准确。该工作流为两个扩散 Transformer 添加 LoRA 适配器:一个是决定粗略占据区域的稀疏结构模型,另一个是生成精细形状的形状模型。原始模型权重保持冻结。

请先使用以下参考配置。

| 组件 | 配置 | |---|---| | 稀疏结构模型 | 在注意力层和前馈层中使用秩为 8 的 LoRA | | 形状模型 | 在注意力层中使用秩为 16 的 LoRA | | 纹理模型 | 冻结 | | 形状与结构编码器 | 预处理期间冻结 |

准备数据集#

从上传到 Hugging Face 数据集仓库的网格开始。容器接收 GLB 或 OBJ 资产,并将其转换为训练所需的潜在表示。此外,还需要具有相应仓库权限的 HF_TOKEN,以及受限访问的 DINOv3 模型使用授权。

预处理容器使用 Blender,为每个对象从 16 个视角渲染条件图像,并保存编码后的训练用潜在表示。训练时,每个样本使用随机选择的渲染图像。参考配置将 179 个鞋类对象用于训练,9 个用于评估。评估对象的任何视角图像都不能包含在训练集中。

通过 Hugging Face Jobs 执行预处理。

snippet.txt
export HF_TOKEN=hf_xxx

hf jobs run -d --flavor a100-large --timeout 6h \
  --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-prep:latest \
  trellis2-prep \
  --meshes your-username/my-meshes \
  --push-to your-username/my-meshes-trellis2 \
  --private --holdout 0.05 \
  --views 16 --workers 8

运行两个训练任务#

使用 ss 和 shape 预设,分别训练结构和形状适配器。两者都使用准备好的数据集,但各自选择不同的模型和配置。使用不同的上传路径可以区分检查点。

以下命令将每次运行设为执行 3,000 步优化器更新,每 500 步保存一次。这些是实验配置,并非已证实适用于所有数据集的最优值。Trackio 会记录指标,便于查看训练进度。

snippet.txt
hf jobs run -d --flavor a100-large --timeout 12h \
  --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config ss \
  --latents your-username/my-meshes-trellis2 \
  --push-to your-username/my-trellis2-lora \
  --run-name ss_lora --push-path ss_lora \
  --trackio-space your-username/trellis2-trackio \
  --set max_steps=3000 i_save=500

hf jobs run -d --flavor a100-large --timeout 12h \
  --secrets HF_TOKEN \
  cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
  trellis2-train --config shape \
  --latents your-username/my-meshes-trellis2 \
  --push-to your-username/my-trellis2-lora \
  --run-name shape_lora --push-path shape_lora \
  --trackio-space your-username/trellis2-trackio \
  --set max_steps=3000 i_save=500

了解资源成本#

据报告,预处理使用配备 80 GB 显存的 a100-large 任务,处理 188 个对象耗时约 1 小时。预处理的 6 小时和训练的 12 小时限制是任务超时时间,并非实测完成时间。提供的资料未说明最低 GPU 要求或训练总成本。

LoRA 减少了可训练参数及其优化器状态,但骨干网络仍会占用显存。此实现使用梯度检查点,以 fp32 保存可训练适配器的权重,并在前向计算时应用 bf16 自动类型转换。示例的批大小为 4,梯度累积步数为 4,有效批大小为 16。

在本地,可通过启用 GPU 访问的 Docker 运行相同的容器命令。请向每个需要访问 Hub 的容器传入 HF_TOKEN,并挂载持久化的 Hugging Face 缓存,以避免重复下载。

检查结果与局限#

不要使用不合适的训练数据训练纹理模型。这里使用的 GSO 资产包含烘焙了光照的漫反射贴图,而非此工作流所需的独立材质贴图。使用这些数据训练,可能会让模型学会将光照作为表面属性重现。

使用相同的评估条件图像和生成配置,将保存的检查点与未经修改的基础模型进行比较评估。检查鞋底的厚度和轮廓,并从其他角度检查导出的网格。仅看渲染效果可能会掩盖形状错误。

提供的资料说明了实验目的和训练配置,但没有展示改善效果的量化结果。9 个评估对象可用于初步检查,但不足以证明广泛的泛化能力。此外,latest 镜像标签可能变化,因此还应记录每次运行使用的容器摘要和配置。

下一步#

在预处理自己的网格之前,请查看 suvadityamuk/gso-footwear-trellis2-latents ↗ 的预处理数据集,了解预期的训练数据结构。

来源:https://huggingface.co/blog/3d-lora-finetuning

目录