目录

NVIDIA 与 AI4Bharat 发布了涵盖印度 22 种语言、约 2.8 万亿 token 的 Nemotron-pretraining-Indic-v1，以及开放的数据生成流水线。实际用途包括验证各语言的训练数据配比和复用生成流程。仅凭语料库规模，无法证明质量或模型性能有所提升。

要点#

  • 语料库包含使用 Gemma-4 分词器统计的 2.601 万亿个各语言本族文字 token，以及 2246 亿个罗马字转写 token。
  • 全部 22 种语言均有本族文字数据，其中 12 种语言还提供由通过评估的译文衍生的罗马字转写文本。
  • 流水线结合文档翻译、自动评估和分语言处理，并对其中 12 种语言进行基于反馈的修订。
  • 已报告的基准测试提升来自同时使用合成数据和自然撰写的印度诸语言文本进行训练，尚未单独量化该语料库的贡献。

语料库的内容#

该语料库由精选英语资料翻译而成，这些资料来自 Nemotron-CC-v2 的 15 个子集，涵盖网页文档、问答内容、数学和代码等。“本族文字”描述的是书写形式，并不表示文本来源。这些记录仍然是从英语翻译而来的。

孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语和乌尔都语同时提供本族文字和罗马字转写数据。阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语和信德语仅提供本族文字数据。罗马字转写是用拉丁字母书写印度语言，并非英语。

总量包括由同一原始文档生成的译文、不同文字体系的版本，以及修订后通过评估的数据。它既不是英语原始文档的去重数量，也不是建议使用的训练 token 数。NVIDIA 在 2026 年 10 月 16 日的公告中称，该语料库“即将发布”，因此在规划训练前，需要确认发布状态和许可证。

生成机制#

对于其中 12 种语言，NeMo Data Designer 使用 Gemma-4-31B-it 进行文档级翻译。提示词会区分需要翻译的文本与应保留的代码、公式、URL 和格式。随后，同一模型按照涵盖语义、流畅度、术语、文体和格式的评分标准，将每份译文与英语原文对照评估。

输出必须在满分 100 分的评估中达到 75 分。这是基于评分标准设定的阈值，并不意味着正确率为 75%。低分译文会根据反馈进行修订并重新评估。修订使 4384 亿个 token 达到收录要求，这一数量已计入语料库总量。随后，部分通过评估的译文会转换为罗马字转写，并与本族文字输入进行核对。

其余 10 种语言使用 Bodhan AI 的 Indic Translate，随后由 Gemma-4-31B-it 按相同阈值进行评估，但不根据反馈改写。较长的桑塔利语文档会按部分重叠的片段拆分处理，曼尼普尔语则先译为孟加拉文字，再转换为梅泰文字。整个处理过程均保留原文标识符。

结果说明了什么#

Nemotron 3.5 Super VL 进行了训练 token 数设为 1000 亿的持续预训练。其中 100 亿个 token 使用了覆盖 12 种语言的合成数据与自然撰写的印度诸语言文本的混合数据。其余 90% 保持此前训练数据配比的相对比例。

经过这一训练阶段，已报告的 5 项印度诸语言知识与推理基准测试（MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8K）得分提升了 4.98 至 9.82 个百分点。这一结果支持该组合训练方法的有效性，但并未说明仅靠合成数据带来了多少提升。

受控条件下的语料库验证范围也小于宣布的发布范围，仅考察了 12 种语言中首次评估即通过的数据。修订后收录的数据及其余 10 种语言的评估仍有待开展。应将这些结果视为开展实验的依据，而非对所有模型效果的预测。

如何开展有价值的试验#

首先，选择应用所需的语言和文字体系。配置名称包含语言、文字体系和地区，hi-Deva-IN 表示使用天城文的印地语，hi-Latn-IN 表示罗马字转写的印地语。

按以下顺序进行。

1. 确认仓库已公开，查看数据集卡和许可证，并固定所用版本。 2. 使用 Hugging Face Datasets 流式获取样本，检查语义、文字体系的一致性及技术内容的保留情况。 3. 固定 token 总数，比较训练数据配比，并记录自然数据与合成数据、本族文字与罗马字转写各自的比例。 4. 确保同一原始文档不跨越训练集和评估集，同时测量各语言的性能、英语能力保持情况及语言质量。

要生成特定领域的资料，可使用面向 NeMo Data Designer 的 Nemotron Bharat 翻译插件。从少量文档样本开始，在扩大规模前请母语审阅者评估。插件生成的是候选文本和分数，哪些内容用于训练由采纳策略决定。

需要核查的质量问题#

自动评分是有用的筛选工具，但在 12 种语言的工作流中，翻译与评估由同一模型负责。虽然通过人工审阅抽样文本来补充评分，但覆盖范围因语言而异。10 种语言的工作流仍需更广泛的母语者验证。

翻译也会继承原始资料的局限，无法完全补足以印度诸语言自然撰写的文本所包含的地域知识、文化背景和语言表达。需要结合来源适当的自然数据，并根据用途评估配比。

最后，原文 ID 匹配能去除的是处理过程中产生的重复，而非语义相似的文本。尤其当同一原文以多种语言或文字体系出现时，需要另行检查内容重复。

下一步#

选择一种目标语言及其文字体系，准备包含 100 份文档的审阅集。然后，请母语审阅者检查语义、漏译和技术格式，再确定训练数据配比。

来源：https://huggingface.co/blog/nvidia/scaling-indic-pretraining

目录