Nvidia e IIT Madras criam banco de dados com 2,8 trilhões de palavras em 22 línguas da Índia
A gigante de chips e uma universidade indiana abrem o código do sistema que traduziu material técnico para idiomas falados por 1,2 bilhão de pessoas, permitindo que qualquer desenvolvedor treine modelos de inteligência artificial nessas línguas.
A Nvidia e o IIT Madras criaram um banco de dados com 2,8 trilhões de tokens (unidades que modelos de IA processam) em 22 línguas oficiais da Índia, traduzindo conteúdo técnico em inglês para idiomas falados por 1,2 bilhão de pessoas. A dupla também liberou o código completo do sistema de tradução e verificação, permitindo que qualquer desenvolvedor gere mais dados para treinar modelos nessas línguas.
A Nvidia anunciou junto com o IIT Madras (uma das principais universidades de engenharia da Índia) a criação de um banco de dados com aproximadamente 2,8 trilhões de palavras (tokens, as unidades que modelos de IA processam) em 22 línguas oficiais da Índia, segundo informou a empresa em seu blog. O material, chamado Nemotron-pretraining-Indic-v1, traduz conteúdo técnico em inglês — matemática, código de programação, perguntas e respostas — para idiomas que são a primeira língua de 97% da população indiana, cerca de 1,2 bilhão de pessoas. A novidade está tanto no volume quanto no método: a Nvidia e o AI4Bharat (o laboratório de idiomas indianos do IIT Madras, liderado por Mitesh Khapra, que entrou na lista TIME100 AI de 2025) também liberam o código completo do sistema usado para gerar os dados, rodando em GPUs (chips gráficos, o tipo de processador que acelera tarefas de inteligência artificial).
O banco inclui texto em duas formas para doze das línguas: na escrita nativa de cada idioma (como devanágari para hindi, bengali para bengali) e em caracteres latinos (romanização, quando se escreve hindi ou tamil com o alfabeto usado em português, por exemplo). Para as outras dez línguas, há apenas a escrita nativa. Cada registro pode ser rastreado até o documento original em inglês, e todas as traduções passaram por verificação automática de qualidade — o sistema comparava a tradução com o original e dava uma nota; só textos com pelo menos 75 pontos em 100 foram aceitos. Traduções que falharam receberam correções guiadas pelo próprio modelo de IA (a equipe usou o Gemma-4-31B-it, um LLM ou large language model, um tipo de modelo de linguagem grande treinado para seguir instruções) e foram reavaliadas.
A escolha de traduzir documentos inteiros, em vez de frases soltas, ajudou a preservar tabelas, equações e trechos de código — elementos que costumam se perder quando um modelo traduz parágrafo por parágrafo. O material de partida veio de 15 conjuntos de dados do Nemotron-CC-v2 (uma coleção de textos em inglês curados pela Nvidia), cobrindo conteúdo da web, matemática, código e material especializado. O fluxo de trabalho foi montado no NeMo Data Designer, uma ferramenta de código aberto da Nvidia para gerar dados sintéticos (dados criados por IA, não escritos diretamente por pessoas). A Nvidia já usou 10 bilhões de tokens deste banco, extraídos de doze línguas, para continuar treinando o Nemotron 3.5 Super VL, um de seus modelos de visão e linguagem.
Mitesh Khapra, que lidera o AI4Bharat, resumiu o problema central: a tecnologia de idiomas indianos fica atrás do inglês porque "não temos dados suficientes para línguas indianas". O laboratório já havia lançado o Sangraha, um corpus aberto (uma grande coleção de textos) para pré-treinamento em 22 idiomas da Índia, que serviu de base para pesquisas abertas na área. A nova liberação expande substancialmente o volume de dados sintéticos disponíveis e, mais importante, entrega o código do processo completo — prompts (as instruções dadas ao modelo de IA), fluxos de verificação, regras de qualidade — para que desenvolvedores adaptem o sistema a seus próprios documentos e gerem mais material conforme precisem. A ideia é tornar a criação de grandes volumes de dados em idiomas indianos acessível a mais equipes, permitindo que mais gente contribua para modelos mais fortes nessas línguas.
