Há alternativas melhores que o LoRA para treinar modelos de IA?

O LoRA (Low-Rank Adaptation, uma técnica que permite treinar modelos de inteligência artificial usando menos memória e poder computacional) se tornou o padrão da indústria quando alguém quer adaptar um modelo de linguagem grande para uma tarefa específica. Mas será que é realmente a melhor opção? Segundo a equipe da Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados), a resposta é: depende.

Em um novo estudo publicado no blog oficial da plataforma, pesquisadores compararam cinco técnicas diferentes de PEFT (Parameter-Efficient Fine-Tuning, ou ajuste fino eficiente de parâmetros — métodos que permitem treinar modelos sem modificar todos os seus bilhões de parâmetros). Além do LoRA, testaram OFT, BOFT, VeRA e LoHa em tarefas que vão desde classificação de sentimentos até geração de código.

Os resultados surpreenderam: o LoRA perdeu em várias categorias. O VeRA (Versatile Efficient Rank Adaptation, uma variante que usa ainda menos parâmetros treináveis) alcançou desempenho superior em tarefas de raciocínio matemático com o modelo Llama 3.2 (um LLM de pesos abertos desenvolvido pela Meta). Já o BOFT (Butterfly Orthogonal Fine-Tuning, que organiza as mudanças no modelo em blocos menores e mais estruturados) se saiu melhor em datasets (conjuntos de dados usados para treinar ou avaliar um modelo) de biologia.

A equipe da Hugging Face destaca que a escolha da técnica deve levar em conta o tipo de tarefa, o modelo usado e os recursos disponíveis. O LoRA continua sendo uma excelente escolha geral — rápido, bem documentado e compatível com quase todas as ferramentas — mas não é mais possível ignorar as alternativas. Para quem trabalha com ajuste fino de modelos, vale a pena testar antes de assumir que o método mais popular é sempre o melhor.