Alternativas a LoRA: nuevas técnicas para entrenar modelos de IA gastando menos memoria
Hugging Face presenta métodos que pueden ser más eficientes que LoRA, la técnica más popular para adaptar modelos grandes sin necesidad de hardware costoso.
LoRA (Low-Rank Adaptation, una técnica que permite ajustar modelos de inteligencia artificial grandes modificando solo una pequeña parte de sus parámetros internos) se ha convertido en el estándar de facto para quien quiere personalizar un modelo de lenguaje sin gastarse miles de euros en tarjetas gráficas. Pero según un nuevo análisis publicado por Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados), existen alternativas menos conocidas que en ciertos casos pueden ser incluso más eficientes.
El artículo compara LoRA con otras técnicas de PEFT (Parameter-Efficient Fine-Tuning, métodos que permiten entrenar modelos modificando solo un fragmento de sus pesos en lugar de reentrenar todo desde cero). Entre las alternativas destacan LoHa y LoKr, dos variantes que usan descomposiciones matemáticas distintas para comprimir la información que se añade al modelo durante el entrenamiento. Según los experimentos de Hugging Face, LoKr puede alcanzar un rendimiento similar a LoRA usando menos parámetros entrenables, lo que se traduce en archivos más pequeños y menos consumo de memoria durante el proceso.
Otra técnica mencionada es OFT (Orthogonal Fine-Tuning, un método que ajusta el modelo aplicando transformaciones geométricas que preservan ciertas propiedades matemáticas del modelo original), que resulta especialmente útil en modelos de difusión para generación de imágenes. A diferencia de LoRA, OFT mantiene mejor la estructura interna del modelo base, lo que puede ser importante cuando se quiere añadir un estilo visual sin degradar la calidad general de las imágenes generadas.
El problema es que estas alternativas no están tan integradas en las herramientas populares como LoRA. La mayoría de las interfaces de entrenamiento, bibliotecas de código y tutoriales asumen que vas a usar LoRA, así que probar otras técnicas requiere más trabajo manual. Hugging Face está intentando cambiar esto: la librería PEFT, mantenida por la empresa, ya soporta más de una decena de métodos alternativos, y el artículo incluye ejemplos de código para facilitarle la vida a quien quiera experimentar.
¿Significa esto que LoRA va a desaparecer? Probablemente no. Su popularidad viene de un equilibrio sólido entre eficiencia, resultados y facilidad de uso. Pero según Hugging Face, vale la pena conocer las alternativas, sobre todo si trabajas con modelos muy grandes, tienes restricciones severas de memoria o necesitas ajustar modelos de imagen en lugar de texto. La conclusión es clara: LoRA es el punto de partida, pero ya no es necesariamente la única opción sensata.
