目录
Noetra 报告称,其从随机初始化开始训练的图像编码器,在英语基准测试中与 SigLIP2 大致相当,在日语和中文评估中则表现更佳。多模态 LLM 实验中的文档理解能力也有所改善,但并非所有任务的性能都得到提升。
要点#
- Noetra 使用了 24.4 亿组经过筛选的图像文本对进行训练。日语约占 9.0%,中文约占 3.4%。
- 训练使用了 256 块 NVIDIA B200 GPU 和对比学习目标函数,在 5 天内处理了 400 亿个样本。
- 在 XM3600 日语文本到图像检索中,recall@5 达到 97.28%,SigLIP2 则为 71.92%。
- 编码器本身的得分较高,并不一定能提升多模态 LLM 的性能,因此必须在下游任务中进行评估。
结果说明了什么#
Noetra 使用了与 ViT-SO400M-14-SigLIP2 相同的架构,并随机初始化了图像和文本两个编码器。因此,这项比较没有引入新的编码器架构,而是验证了不同的数据和训练流程。
英语评估结果具有竞争力,但并非全面领先。ImageNet-1K 的准确率略有下降,而 ObjectNet 和多项检索得分有所提升。报告中最大的提升出现在日语评估中。
| 基准测试 | SigLIP2 | Noetra | |---|---:|---:| | ImageNet-1K 准确率 | 83.18 | 82.65 | | ObjectNet 准确率 | 75.23 | 79.81 | | XM3600-ja 文本→图像 R@5 | 71.92 | 97.28 | | WAON-Bench 准确率 | 79.26 | 98.20 | | XM3600-zh 文本→图像 R@5 | 71.17 | 86.78 |
首先构建数据处理流程#
训练数据整合了 DataComp、ReLAION、WAON、OBELICS、OmniCorpus 等 10 个来源。报告中各来源的数据量合计约为 24.4 亿对。对于包含多张图像和多段文字的文档,需要进行提取处理:将文本拆分成句子,用 SigLIP2 为每张图像与文档中每个句子的匹配程度评分,再选择得分最高的句子作为图注。
随后,按以下 4 个阶段进行筛选。
- 移除缺少图像或文本的数据对,并剔除宽高比超出 1:3 容许范围或尺寸低于 50 像素阈值的图像。
- 移除不超过 5 个字符的文本,仅保留英语、日语和中文。
- 英语和中文使用 SigLIP2,日语使用
clip-japanese-base-v2,根据图像与文本的相似度进行筛选。 - 使用 SemDeDup 去除语义重复的图像,保留图像与文本相似度得分较高的数据对。
按语言选择筛选模型很有意义。Noetra 确认,在筛选日语数据对时,日语模型的准确率更高。不应假定同一个评分模型在所有语言中都同样有效。
有选择地补充图注#
Noetra 还使用了报告中标为 gemma-4-31B-it 的模型,为 7 亿张图像生成详细描述。按照 CLIPS 的方法,训练时不使用完整图注,而是从每段生成的描述中抽取一句。
小规模实验清楚地体现了这一取舍。ImageNet-1K 的准确率从 76.18% 降至 75.96%,而 MSCOCO 图像到文本检索的 recall@5 从 86.24% 升至 88.84%。合成描述有助于检索,但分类准确率略有下降。
团队认为,生成的描述虽然抓住了图像的大致内容,却丢失了网络图注中的部分专有名词和细节。这一解释有一定道理,但报告中的实验并未区分具体原因。应将重新生成图注视为一种可选方案,并在目标任务中验证其效果。
在固定预算内训练#
最终训练使用了 224 × 224 的图像、128K 的全局批量大小、0.0005 的最大学习率和 2,000 个预热步。在余弦学习率调度下,共训练了 400 亿个样本,相当于遍历图像集约 16 次。
训练在 32 个节点、256 块 NVIDIA B200 GPU 上运行了 5 天。即使采用简单的对比学习目标函数,所需的计算资源仍然庞大。在这一规模下,随机缩放、颜色抖动和灰度化等数据增强仍然有效。
Noetra 还尝试了 Warmup-Stable-Decay 调度。它在小规模实验中表现不错,但在大规模训练中出现了长时间的训练停滞。最终,余弦调度取得了更好的结果,说明小规模实验中得到的优化经验需要在目标规模上验证。
确认下游任务中的局限#
在 Noetra 正在开发的 LLM 中,替换 SigLIP2 后,8 项视觉基准测试的平均得分从 0.6050 升至 0.6350。DocVQA 从 0.8706 升至 0.9138,InfoVQA 从 0.5866 升至 0.6732。不过,MMMU 和 JMMMU 的得分下降了。其中 3 项基准测试使用 LLM 作为评判者,因此这一平均值混合了不同的评估方法。
高分辨率继续训练也揭示了需要注意的问题。使用 448 × 448 的图像训练后,ImageNet 准确率从 82.65% 提升至 83.89%,但下游多模态 LLM 的表现没有改善。因此,Noetra 继续采用 224 × 224 的编码器。
“从零开始”指的是权重初始化,并不意味着不依赖现有模型。图注选择和筛选使用了 SigLIP2,描述生成则使用了预训练 VLM。这些结果均由开发方报告;要对可复现性和实际应用适用性作出广泛结论,仍需第三方复现,并继续核查数据与基准测试的重叠情况及数据来源的许可证。
下一步#
在目标多模态 LLM 中,固定语言模型、训练数据和评估流程,开展替换编码器的对照实验,验证报告中的文档理解提升能否在自己的工作负载中复现。
来源: https://zenn.dev/noetra_techblog/articles/0cea39ce67d2c2
目录
