目次
NVIDIAとAI4Bharatは、インドの22言語で約2.8兆トークンを収録したNemotron-pretraining-Indic-v1と、オープンなデータ生成パイプラインを発表した。実用上の活用先は、言語ごとの学習データ配合の検証と生成プロセスの再利用だ。コーパスの規模だけで、品質やモデル性能の向上が裏付けられるわけではない。
要点#
- コーパスには、Gemma-4トークナイザーで計測した各言語の文字体系による2兆6,010億トークンと、ローマ字表記の2,246億トークンが含まれる。
- 全22言語に固有の文字体系によるデータがあり、うち12言語には合格した翻訳から派生したローマ字表記のテキストもある。
- パイプラインは文書翻訳、自動評価、言語別処理を組み合わせ、12言語のグループではフィードバックに基づく修正も行う。
- 報告されたベンチマークの改善は、合成データと自然に書かれたインド諸語のテキストを併用した学習によるもので、このコーパス単独の寄与は切り分けられていない。
コーパスの内容#
このコーパスは、ウェブ文書、質問応答コンテンツ、数学、コードなど、Nemotron-CC-v2の15のサブセットから厳選した英語資料を翻訳したものだ。「固有の文字体系」という表現は表記に関するもので、テキストの由来を指すわけではない。これらのレコードは、あくまで英語からの翻訳である。
ベンガル語、グジャラート語、ヒンディー語、カンナダ語、マラヤーラム語、マラーティー語、ネパール語、オディア語、パンジャーブ語、タミル語、テルグ語、ウルドゥー語には、固有の文字体系とローマ字表記の両方のデータがある。アッサム語、ボド語、ドーグリー語、カシミール語、コンカニ語、マイティリー語、マニプリ語、サンスクリット語、サンタル語、シンド語には、固有の文字体系のデータのみがある。ローマ字表記とは、インドの言語をラテン文字で記したものであり、英語ではない。
総数には、共通の原文書から作られた翻訳や文字体系の異なる版に加え、修正後に合格したデータも含まれる。英語の原文書のユニーク数でも、推奨される学習トークン数でもない。NVIDIAの2026年10月16日の発表では、コーパスは「近日公開」とされているため、学習を計画する前に公開状況とライセンスを確認する必要がある。
生成の仕組み#
12言語のグループでは、NeMo Data DesignerがGemma-4-31B-itを使って文書単位の翻訳を行う。プロンプトでは、翻訳が必要な文章と、保持すべきコード、数式、URL、書式を区別する。その後、同じモデルが意味、流暢さ、用語、文体、書式を網羅する評価基準に従い、各翻訳を英語の原文と照合して評価する。
出力には100点満点で75点以上が求められる。これは評価基準に基づくしきい値であり、正解率75%という意味ではない。点数が低い翻訳にはフィードバックに基づく修正と再評価を行う。修正によって4,384億トークンが採用可能となり、この数はコーパス総数に含まれている。その後、合格した翻訳の一部をローマ字化し、固有の文字体系で書かれた入力と照合する。
残る10言語ではBodhan AIのIndic Translateを使い、その後Gemma-4-31B-itが同じしきい値で評価するが、フィードバックに基づく書き直しは行わない。長いサンタル語文書は範囲を重ねながら分割して処理し、マニプリ語はベンガル文字に翻訳してからメイテイ文字に変換する。処理の全過程で原文の識別子が保持される。
結果から分かること#
Nemotron 3.5 Super VLは、学習トークン数を1,000億に設定した継続事前学習を行った。そのうち100億トークンには、12言語を対象とする合成データと自然に書かれたインド諸語テキストの混合を使用した。残る90%は、それまでの学習データ配合の相対比率を維持した。
この学習段階を通じ、報告されたインド諸語の知識・推論ベンチマーク5種（MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8K）で、スコアが4.98〜9.82パーセントポイント上昇した。この結果は、組み合わせた学習手法の有効性を裏付ける。ただし、合成データだけでどれだけ改善したかは示していない。
条件を統制したコーパスの検証も、発表された公開範囲より対象が狭く、12言語のグループで初回評価に合格したデータを調べている。修正後に採用されたデータと、残る10言語の評価は今後の課題だ。結果は実験を行う根拠として捉え、すべてのモデルでの効果を予測するものとは考えないこと。
有用な試行の進め方#
まず、用途に必要な言語と文字体系を選ぶ。設定名には言語、文字体系、地域が含まれ、hi-Deva-INはデーヴァナーガリー文字のヒンディー語、hi-Latn-INはローマ字表記のヒンディー語を示す。
次の順序で進める。
1. リポジトリが公開されていることを確認し、データセットカードとライセンスを確認して、使用するリビジョンを固定する。 2. Hugging Face Datasetsでサンプルをストリーミング取得し、意味、文字体系の一貫性、技術的内容の保持を確認する。 3. トークン総数を固定して学習データの配合を比較し、自然データと合成データ、固有文字とローマ字表記それぞれの割合を記録する。 4. 共通の原文書が学習用と評価用の分割をまたがないようにしながら、言語別の性能、英語能力の維持、言語品質を測定する。
特定分野の資料を生成するには、NeMo Data Designer向けのNemotron Bharat翻訳プラグインを使う。少数の文書サンプルから始め、規模を拡大する前に母語話者のレビュアーに評価してもらう。プラグインが生成するのは候補とスコアであり、何を学習に使うかは採用方針で決まる。
品質の確認が必要な点#
自動スコアは有用なフィルターだが、12言語のワークフローでは同じモデルが翻訳と評価を担っている。抽出サンプルの人手レビューでスコアを補完しているものの、その範囲は言語によって異なる。10言語のワークフローには、母語話者によるより幅広い検証が必要だ。
翻訳には原資料の限界も引き継がれる。インド諸語で自然に書かれたテキストに含まれる地域固有の知識、文化的背景、言語表現をすべて補うことはできない。適切な出所の自然データと組み合わせ、その配合を用途に即して評価する必要がある。
最後に、原文IDの照合で除去できるのは処理上の重複であり、意味の似た文章ではない。同じ原文が複数の言語や文字体系で現れる場合は特に、内容の重複を別途確認する必要がある。
次のステップ#
対象とする言語と文字体系を1つ選び、100文書のレビュー用セットを用意する。そのうえで、母語話者のレビュアーに意味、訳抜け、技術的な書式を確認してもらい、学習データの配合を決める。
出典: https://huggingface.co/blog/nvidia/scaling-indic-pretraining
目次