目录
要让 TRELLIS.2 适应特定对象类别,需要训练结构模型和形状模型的 LoRA 适配器,并使用预留的评估对象检查生成的网格。提供的工作流可通过 Docker 或 Hugging Face Jobs 运行,鞋类实验使用了 188 个对象,并始终冻结材质生成部分。
要点#
- 如果形状存在问题,就训练稀疏结构模型和形状模型,并冻结纹理模型。
- 对网格进行一次预处理,生成训练用的潜在表示和渲染图像,供不同实验重复使用。
- 参考配置会训练两个模型中共约 930 万个适配器参数。
- 在认定训练损失下降意味着形状改善之前,先检查评估对象生成的网格。
选择训练对象#
TRELLIS.2 将粗略结构、精细形状和材质分离。这种设计允许针对特定缺陷进行改进,无需更新所有组件。
鞋类实验报告的问题是鞋底形状不准确。该工作流为两个扩散 Transformer 添加 LoRA 适配器:一个是决定粗略占据区域的稀疏结构模型,另一个是生成精细形状的形状模型。原始模型权重保持冻结。
请先使用以下参考配置。
| 组件 | 配置 | |---|---| | 稀疏结构模型 | 在注意力层和前馈层中使用秩为 8 的 LoRA | | 形状模型 | 在注意力层中使用秩为 16 的 LoRA | | 纹理模型 | 冻结 | | 形状与结构编码器 | 预处理期间冻结 |
准备数据集#
从上传到 Hugging Face 数据集仓库的网格开始。容器接收 GLB 或 OBJ 资产,并将其转换为训练所需的潜在表示。此外,还需要具有相应仓库权限的 HF_TOKEN,以及受限访问的 DINOv3 模型使用授权。
预处理容器使用 Blender,为每个对象从 16 个视角渲染条件图像,并保存编码后的训练用潜在表示。训练时,每个样本使用随机选择的渲染图像。参考配置将 179 个鞋类对象用于训练,9 个用于评估。评估对象的任何视角图像都不能包含在训练集中。
通过 Hugging Face Jobs 执行预处理。
export HF_TOKEN=hf_xxx
hf jobs run -d --flavor a100-large --timeout 6h \
--secrets HF_TOKEN \
cr.hf.co/suvadityamuk/trellis2-finetuning-prep:latest \
trellis2-prep \
--meshes your-username/my-meshes \
--push-to your-username/my-meshes-trellis2 \
--private --holdout 0.05 \
--views 16 --workers 8运行两个训练任务#
使用 ss 和 shape 预设,分别训练结构和形状适配器。两者都使用准备好的数据集,但各自选择不同的模型和配置。使用不同的上传路径可以区分检查点。
以下命令将每次运行设为执行 3,000 步优化器更新,每 500 步保存一次。这些是实验配置,并非已证实适用于所有数据集的最优值。Trackio 会记录指标,便于查看训练进度。
hf jobs run -d --flavor a100-large --timeout 12h \
--secrets HF_TOKEN \
cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
trellis2-train --config ss \
--latents your-username/my-meshes-trellis2 \
--push-to your-username/my-trellis2-lora \
--run-name ss_lora --push-path ss_lora \
--trackio-space your-username/trellis2-trackio \
--set max_steps=3000 i_save=500
hf jobs run -d --flavor a100-large --timeout 12h \
--secrets HF_TOKEN \
cr.hf.co/suvadityamuk/trellis2-finetuning-train:latest \
trellis2-train --config shape \
--latents your-username/my-meshes-trellis2 \
--push-to your-username/my-trellis2-lora \
--run-name shape_lora --push-path shape_lora \
--trackio-space your-username/trellis2-trackio \
--set max_steps=3000 i_save=500了解资源成本#
据报告,预处理使用配备 80 GB 显存的 a100-large 任务,处理 188 个对象耗时约 1 小时。预处理的 6 小时和训练的 12 小时限制是任务超时时间,并非实测完成时间。提供的资料未说明最低 GPU 要求或训练总成本。
LoRA 减少了可训练参数及其优化器状态,但骨干网络仍会占用显存。此实现使用梯度检查点,以 fp32 保存可训练适配器的权重,并在前向计算时应用 bf16 自动类型转换。示例的批大小为 4,梯度累积步数为 4,有效批大小为 16。
在本地,可通过启用 GPU 访问的 Docker 运行相同的容器命令。请向每个需要访问 Hub 的容器传入 HF_TOKEN,并挂载持久化的 Hugging Face 缓存,以避免重复下载。
检查结果与局限#
不要使用不合适的训练数据训练纹理模型。这里使用的 GSO 资产包含烘焙了光照的漫反射贴图,而非此工作流所需的独立材质贴图。使用这些数据训练,可能会让模型学会将光照作为表面属性重现。
使用相同的评估条件图像和生成配置,将保存的检查点与未经修改的基础模型进行比较评估。检查鞋底的厚度和轮廓,并从其他角度检查导出的网格。仅看渲染效果可能会掩盖形状错误。
提供的资料说明了实验目的和训练配置,但没有展示改善效果的量化结果。9 个评估对象可用于初步检查,但不足以证明广泛的泛化能力。此外,latest 镜像标签可能变化,因此还应记录每次运行使用的容器摘要和配置。
下一步#
在预处理自己的网格之前,请查看 suvadityamuk/gso-footwear-trellis2-latents ↗ 的预处理数据集,了解预期的训练数据结构。
来源:https://huggingface.co/blog/3d-lora-finetuning
目录
