Nvidia e IIT Madras lanzan 2,8 billones de tokens en 22 lenguas de la India
El corpus Nemotron-pretraining-Indic-v1 incluye traducciones técnicas en escritura nativa y romanizada, junto con el sistema completo para generar más datos de entrenamiento en idiomas indios.
Nvidia y el IIT Madras liberaron 2,8 billones de tokens (unidades de texto para entrenar IA) en 22 lenguas de la India, con traducciones técnicas en escritura nativa y romanizada. El proyecto incluye el sistema completo de generación —instrucciones, controles de calidad— para que otros equipos puedan crear más datos de entrenamiento en idiomas indios.
Nvidia y el laboratorio AI4Bharat del Instituto Indio de Tecnología de Madrás han presentado Nemotron-pretraining-Indic-v1, un corpus de aproximadamente 2,8 billones de tokens (unidades mínimas de texto que procesan los modelos de IA) en 22 lenguas de la India. Según informó Hugging Face, el corpus incluye tanto textos en escritura nativa como versiones romanizadas para doce de esos idiomas, cubriendo 34 configuraciones distintas de lengua y escritura. Más allá de los datos, el proyecto libera el sistema completo de generación, con instrucciones (prompts), flujos de trabajo basados en LLMs (modelos de lenguaje de gran tamaño, las IA que generan texto de forma autónoma) y controles de calidad, para que otros equipos puedan adaptarlo a sus propias necesidades.
El proyecto responde a una carencia fundamental: Mitesh Khapra, director de AI4Bharat e incluido en la lista TIME100 AI de 2025, ha señalado que la tecnología en lenguas indias va muy por detrás del inglés porque "no tenemos suficientes datos". El corpus traduce material curado en inglés —matemáticas, código, preguntas y respuestas— a idiomas que hablan el 97% de los ciudadanos de la India, cerca de 1.200 millones de personas. Cada registro conserva el identificador del documento original en inglés, lo que permite rastrear cualquier salida hasta su fuente y facilita auditorías independientes.
La generación emplea NeMo Data Designer (un framework de código abierto de Nvidia para crear datos sintéticos) y el modelo Gemma-4-31B-it. El flujo de trabajo traduce documentos completos para mantener el contexto entre párrafos, tablas y ecuaciones, luego evalúa cada traducción con una rúbrica inspirada en MQM (Multidimensional Quality Metrics, un marco abierto para clasificar errores de traducción). Solo se retienen las salidas que alcanzan al menos 75 puntos sobre 100; las de menor puntuación pasan por un proceso de reparación guiado por el propio análisis del modelo. Este enfoque recuperó 438.400 millones de tokens que de otro modo se habrían descartado.
Para doce lenguas, el corpus incluye también versiones romanizadas, es decir, texto en lenguas indias escrito con alfabeto latino en lugar de la escritura original. Estas versiones se generan mediante conversión de escritura desde las traducciones ya aprobadas en escritura nativa, no directamente desde el inglés. Según muestreos humanos, este método de dos pasos produce menos alucinaciones (invenciones del modelo) y menos residuos de inglés que la generación directa. Para las otras diez lenguas, el equipo utiliza Indic Translate (un modelo de traducción de código abierto desarrollado por Bodhan AI, un centro sin ánimo de lucro incubado en el propio IIT Madras) y ajusta el flujo según las características de cada idioma.
Nvidia ya ha usado 10.000 millones de tokens de este corpus, tomados de un subconjunto de doce lenguas y combinados con texto natural en idiomas indios, para continuar el entrenamiento de Nemotron 3.5 Super VL (un modelo multimodal, capaz de procesar texto e imágenes). La compañía ha anunciado que planea incorporar más datos de este corpus en futuros modelos Nemotron. Al publicar tanto los datos como el proceso completo de generación, el objetivo es que otros equipos no solo reproduzcan el corpus sino que lo amplíen con sus propios materiales, haciendo accesible la generación de datos de entrenamiento a gran escala en lenguas indias.
