目录

NVIDIA为帮助AI检索和利用企业内部文档等资料的模型系列“Nemotron Retriever”新增了5款模型。这些模型可用于嵌入、检索候选结果重排序和PDF整理,可根据用途与规模选择。

要点#

  • 新模型包括3款嵌入模型、1款重排序模型和1款PDF整理模型。
  • 8B嵌入模型支持包括日语在内的34种语言,可处理图像和文本。
  • NVIDIA的对比结果显示,嵌入模型和PDF整理模型在精度、速度方面优于竞品。
  • 5款模型均作为开放模型发布,采用OpenMDW-1.1许可证。

5款模型的作用#

RAG会将资料转换为便于检索的数据,找到与问题匹配的候选结果,再交给生成式AI。此次发布的模型涵盖从检索准备到候选结果重排序的环节。

嵌入模型“Nemotron-3.5-Embed-8B-BF16”可将文本和图像转换为可用于检索的表示,支持包括日语在内的34种语言。此外,还提供了小规模版本“Nemotron-3.5-Embed-1B-BF16”及其NVFP4量化版“Nemotron-3.5-Embed-1B-NVFP4”。

“Nemotron-3.5-Rerank-8B-BF16”评估问题与图像、文本的相关性,并对检索候选结果排序。“Nemotron-3.5-Parse”则将PDF内容整理为便于AI处理的数据。这套方案将检索数据的制作与候选结果的筛选交由不同模型负责。

基准测试看点#

NVIDIA公布的对比结果显示,8B嵌入模型的得分超过了Qwen3-VL-Embedding-8B和EmbeddingGemma-2。据称,1B的BF16版也展现出接近Qwen3-VL-Embedding-8B的性能。在处理速度与精度的对比图中,8B版、1B版和1B的NVFP4版均处于比竞品模型更有利的位置。

该公司还表示,将嵌入模型与Rerank结合使用,可以在降低每次查询成本的同时提高精度。对于Parse,NVIDIA也公布了每秒处理页数与精度的对比图,强调其处理速度高于竞品模型。

这些均为NVIDIA提供的评测结果。仅凭公开信息,无法确定在自家文档和问题上能否获得相同的精度、速度与成本。决定采用前,需要用实际数据进行测试。

试用时的检查要点#

首先,确认要处理的资料类型和语言。如果以PDF为主,可将Parse纳入方案;如果检索对象也包括图像,可考虑支持图像输入的Embed模型。计算资源有限时,可以先试用1B模型,再根据需要与8B模型比较。量化版也是一个选项,但其对速度和精度的影响需要在实际环境中确认。

评测时,可准备几十份有代表性的PDF,以及10个左右实际可能使用的问题。除了检索结果是否正确,还应记录文档导入速度、错误候选结果出现在前列的频率,以及每次查询的成本,这有助于判断实际运行中的差异。

公开发布并不意味着所有使用方式都适用相同条件。请在发布页面结合具体用途和再分发方式,确认OpenMDW-1.1的使用条款。

下一步#

选择几十份有代表性的PDF,用Embed-1B和Parse构建一个小型检索集,检查10个企业内部常见问题的检索结果。

参考资料#

来源: https://news.livedoor.com/article/detail/32628832/

目录