NVIDIA 联合 IIT Madras 的 AI4Bharat 发布 Nemotron-pretraining-Indic-v1 预训练数据集,覆盖 22 种印度语言、约 2.8 万亿 token,其中原生文字 token 约 2601 亿、罗马化 token 约 224.6 亿。
NVIDIA 称,用于生成该语料的 GPU 加速数据生成流程将开源发布,配套的 Nemotron Bharat 翻译插件面向 NeMo Data Designer,提供翻译与评估提示、可选的基于反馈重写、文档窗口化和文字系统重映射功能。数据集与流程均标注为“即将发布”,NVIDIA 建议发布后固定数据集版本以保证实验可复现。
AI 根据报道生成 · 1 小时前更新