Cómo entrenar modelos de IA sin millones de ejemplos etiquetados

Entrenar un modelo de inteligencia artificial para que haga exactamente lo que queremos suele ser complicado y caro. Tradicionalmente, los equipos de desarrollo necesitan miles o millones de ejemplos etiquetados a mano: imágenes clasificadas, textos corregidos o respuestas valoradas por humanos. Pero existe una técnica más eficiente llamada DPO (Direct Preference Optimization, u optimización directa por preferencias), que está ganando terreno fuera de su aplicación original en chatbots, según explica Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) en una entrada reciente de su blog.

La idea detrás de DPO es sencilla: en lugar de enseñarle al modelo qué respuesta es correcta mediante ejemplos etiquetados uno por uno, se le muestran pares de opciones y se le dice cuál prefieren los humanos. Por ejemplo, si estás entrenando un modelo para generar imágenes, no necesitas describir con detalle qué hace buena a una imagen; basta con mostrarle dos versiones y señalar cuál te gusta más. El modelo aprende a ajustar sus parámetros internos (los "pesos" que determinan cómo funciona) para reproducir esas preferencias.

Originalmente, DPO se popularizó para afinar LLMs (large language models, o modelos de lenguaje grande, como los que alimentan ChatGPT o Claude) y conseguir que sus respuestas fueran más útiles, seguras o alineadas con valores humanos. Pero la técnica no se limita al texto. Equipos de investigación ya la están probando en modelos de generación de imágenes, sistemas de recomendación, robótica e incluso en aplicaciones científicas como el diseño de moléculas. En todos estos casos, definir qué resultado es "bueno" es difícil de formalizar con reglas, pero fácil de reconocer cuando ves dos opciones lado a lado.

La ventaja principal de DPO frente a otros métodos de afinado, como RLHF (reinforcement learning from human feedback, o aprendizaje por refuerzo con retroalimentación humana), es que es más simple de implementar y requiere menos recursos computacionales. RLHF necesita entrenar un modelo adicional que actúe como "juez" de las respuestas, lo que añade pasos extra y aumenta el coste. DPO elimina ese paso intermedio y va directo al grano: ajusta el modelo comparando directamente las preferencias.

Según Hugging Face, la comunidad de código abierto ya ha publicado decenas de modelos afinados con DPO en áreas tan diversas como síntesis de voz, generación de código o videojuegos. La técnica también está empezando a aparecer en productos comerciales, aunque la mayoría de empresas no revelan públicamente qué métodos usan para entrenar sus modelos. Lo que sí está claro es que DPO representa un cambio de paradigma: en lugar de necesitar ejércitos de anotadores etiquetando datos durante meses, ahora basta con que unos cuantos expertos comparen opciones durante unas semanas.

Para desarrolladores que quieran experimentar con DPO, Hugging Face ofrece bibliotecas de código abierto como TRL (Transformer Reinforcement Learning) que simplifican el proceso. La técnica no es una solución mágica —sigue necesitando datos de calidad y tiempo de cómputo—, pero democratiza el acceso a métodos de entrenamiento que antes solo estaban al alcance de grandes laboratorios con presupuestos millonarios.