Cómo entrenar un modelo de IA que convierta texto en imágenes sin arruinarse en el intento
Photoroom y Hugging Face comparten qué funciona y qué no al entrenar modelos de generación de imágenes, desde el tamaño de los datos hasta el número de pasos necesarios.
Entrenar un modelo de inteligencia artificial que genere imágenes a partir de descripciones de texto —lo que se conoce como text-to-image— es caro y lento. Pero no todas las decisiones de diseño tienen el mismo impacto en el resultado final. Photoroom (una empresa que desarrolla herramientas de edición de imagen con IA) y Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) acaban de publicar una serie de experimentos que revelan qué aspectos del entrenamiento importan de verdad y cuáles son puro teatro.
El equipo entrenó múltiples versiones de un modelo basado en Stable Diffusion 3 (un sistema de código abierto que genera imágenes realistas a partir de texto) cambiando un solo factor cada vez: el número de imágenes de entrenamiento, la cantidad de pasos de optimización (iteraciones en las que el modelo ajusta sus parámetros internos para mejorar), el tamaño del batch (cuántas imágenes procesa a la vez) y el uso de técnicas avanzadas como el reescalado de ruido o el ajuste de la tasa de aprendizaje. La conclusión es clara: más datos y más pasos siempre ayudan, pero hay un punto de rendimientos decrecientes donde seguir invirtiendo tiempo y dinero no mejora mucho la calidad.
Uno de los hallazgos más útiles es que entrenar con 10 millones de imágenes durante 20.000 pasos produce resultados similares a usar 30 millones de imágenes durante menos tiempo. Es decir, si tienes un presupuesto limitado de cómputo (medido en horas de GPU, las tarjetas gráficas especializadas que aceleran el entrenamiento), es mejor reutilizar un dataset más pequeño varias veces que recopilar cantidades masivas de imágenes nuevas. También descubrieron que aumentar el tamaño del batch más allá de cierto punto no aporta ventajas significativas, algo importante porque batches grandes consumen más memoria de GPU.
Otro experimento interesante tiene que ver con el zero terminal SNR (una técnica que ajusta cómo el modelo añade ruido a las imágenes durante el entrenamiento para que aprenda mejor a eliminarlo después). Activarlo mejoró ligeramente la calidad visual, pero el efecto fue menor de lo esperado. En cambio, ajustar bien la learning rate schedule (el ritmo al que el modelo actualiza sus parámetros internos) sí marcó diferencia: empezar con pasos pequeños y luego estabilizarse funcionó mejor que mantener un ritmo constante.
Según informó Hugging Face en su blog, estos experimentos forman parte de un esfuerzo mayor por documentar qué funciona al entrenar modelos abiertos de generación de imágenes. La idea es que otros equipos puedan replicar o mejorar estos resultados sin tener que gastar fortunas en prueba y error. Todos los modelos entrenados, junto con los datos de evaluación y el código usado, están disponibles públicamente en la plataforma de Hugging Face.
El mensaje de fondo es práctico: si estás entrenando un modelo de text-to-image, no asumas que más siempre es mejor. Mide, compara y optimiza en función de tu presupuesto. Y si no tienes recursos para experimentos a gran escala, ahora tienes una guía de referencia hecha por quienes sí los tienen.
