NVIDIAとインド工科大学マドラス校のAI4Bharatは、インドの憲法に定められた22言語を対象とした事前学習コーパス「Nemotron-pretraining-Indic-v1」を発表しました。コーパスは約2.8兆トークンで、ネイティブ文字とローマ字の両方を含みます。あわせて、このコーパスの生成に使ったオープンなGPUアクセラレーテッドなデータ生成パイプラインも発表しました。両者はまもなく公開される予定です。
コーパスの構成と規模
このコーパスは、インド憲法に列挙された22言語を対象としています。うち12言語（ベンガル語、グジャラート語、ヒンディー語、カンナダ語、マラヤーラム語、マラーティー語、ネパール語、オディア語、パンジャブ語、タミル語、テルグ語、ウルドゥー語）では、ネイティブ文字とローマ字の両方のデータを提供します。残り10言語（アッサム語、ボド語、ドグリ語、カシミール語、コンカニ語、マイティリー語、マニプリ語、サンスクリット語、サンタリ語、シンド語）ではネイティブ文字のみです。合計34の言語・文字設定となります。
トークン数は、ネイティブ文字で2,601.0 billion（約2兆6,010億）トークン、ローマ字で224.6 billion（約2,246億）トークンで、合わせて約2.8兆トークンです。カウントはGemma-4トークナイザーを使用しています。
コーパスは、英語のソース文書を翻訳して作られた合成データで、数学、コード、質疑応答など多様な分野を含みます。各レコードには元の文書の識別子が残されており、出力から元の文書をたどれます。
データ生成パイプライン
NVIDIAのブログによると、元になるのは、NVIDIAのデータセットNemotron-CC-v2の15のサブセット（ウェブ文書、質疑応答、数学、コードなど）の英語文書です。12言語では、NVIDIAのオープンソースの合成データ生成フレームワークNeMo Data DesignerとGemma-4-31B-itを使い、文書を丸ごと翻訳したうえで、同じモデルが英語原文と照らして品質を採点します。採点基準は翻訳誤りの分類枠組みMQMを参考にしたもので、100点満点中75点以上の出力だけを残し、それ未満は採点時の指摘をもとに修正して同じ基準で再評価します。この修正で回収できたのは4,384億トークンで、上記の合計に含まれています。ローマ字データは、採用済みのネイティブ文字訳の一部をラテン文字に変換して作ります。NVIDIAによると、初期の人手比較では、英語から直接ローマ字で生成するより、原文にない内容の付け足しや英語の消し残しが少なかったとしています。
残り10言語では、長文の品質や文字の安定性の問題に対応するため、IIT Madrasで育成された非営利団体Bodhan AIの文書単位の翻訳モデルIndic Translateで翻訳し、Gemma-4-31B-itで採点して75点以上を残します。こちらは指摘をもとにした書き直しを行いません。サンタリ語では重複ウィンドウで翻訳し、マニプリ語ではベンガル文字を経由してメイテイ・マエクに変換するなどの工夫があります。
性能評価（NVIDIAの主張）
NVIDIAは、このコーパスの12言語分と自然なインド言語テキストを使って同社のモデル「Nemotron 3.5 Super VL」に継続事前学習（CPT）を行い、その前後を比べたところ、5つのインド言語ベンチマーク（MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8K）でスコアが4.98〜9.82ポイント上昇したと報告しています。このCPTの段階では、計1,000億トークンの学習のうち10%（100億トークン）を合成と自然のインド言語テキストの混合に充てており、NVIDIAも合成コーパス単独の寄与を切り分けたものではないと断っています。また、公開版のNemotron 3.5 Super VLを前世代のNemotron 3 Superと比べると、6つのタスクベンチマークのうち5つでスコアが上がり、指示追従を測るIFEval 1.5は2.04ポイント下がったとしています。
これらの結果は同社の測定によるもので、第三者による独立した評価はまだありません。
どう見るか
今回はコーパスと生成パイプラインの両方を公開するとしていますが、記事の時点ではコーパスは“releasing soon”（まもなく公開）とされています。NVIDIA自身がブログの「Scope and limitations」の節で限界として、翻訳は元からインド言語で書かれた文章の代わりにはならず、自然なテキストと組み合わせることを勧めています。品質評価は主に自動で、12言語のワークフローでは翻訳したモデル自身が採点役も兼ねています。人手による確認は抜き取りで、言語によって範囲が違い、10言語のほうは母語話者による検証をさらに広げる必要があるとしています。重複の除去も元文書の識別子によるもので、似た内容をまとめる処理ではありません。
