Hugging Face consigue que Claude escriba código de alto rendimiento y entrene modelos abiertos
La empresa ha logrado que el asistente de IA de Anthropic genere kernels CUDA optimizados y mejore modelos de lenguaje mediante técnicas de destilación.
Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) ha conseguido que Claude, el asistente de inteligencia artificial de Anthropic, escriba kernels CUDA (fragmentos de código altamente especializados que permiten ejecutar cálculos en tarjetas gráficas NVIDIA a máxima velocidad). Según informó la compañía en su blog oficial, el objetivo era automatizar la creación de código de bajo nivel que normalmente requiere ingenieros muy especializados, y luego usar ese conocimiento para mejorar modelos de IA de código abierto.
El experimento se enmarca dentro de lo que Hugging Face llama "upskilling" de modelos abiertos: usar las capacidades avanzadas de un modelo comercial propietario (en este caso, Claude 3.5 Sonnet de Anthropic) para generar datos de entrenamiento de alta calidad que luego sirvan para entrenar modelos más pequeños y accesibles. La idea es democratizar capacidades que hoy solo tienen los sistemas más grandes y costosos, trasladándolas a alternativas que cualquiera pueda ejecutar en su propio hardware.
En la práctica, Hugging Face pidió a Claude que generara miles de ejemplos de código CUDA optimizado para operaciones comunes en redes neuronales (multiplicaciones de matrices, convoluciones, normalizaciones). Ese código fue revisado, compilado y probado automáticamente, y los ejemplos válidos se usaron como datos de entrenamiento para modelos abiertos tipo Llama (una familia de modelos de lenguaje de Meta que se pueden descargar y modificar libremente) o Qwen (modelos desarrollados por Alibaba Cloud, también de pesos abiertos). El resultado: modelos que aprendieron a escribir kernels CUDA funcionales sin haber sido entrenados desde cero para ello.
La técnica de entrenar un modelo pequeño con datos generados por uno más grande se llama destilación de conocimiento, y es una de las formas más eficaces de reducir costes y consumo energético en IA sin perder demasiada calidad. Hugging Face lleva meses experimentando con esta estrategia para cerrar la brecha entre los modelos propietarios de OpenAI, Anthropic o Google y las alternativas de código abierto, que suelen ir un paso por detrás en tareas complejas como programación o razonamiento matemático.
El experimento con kernels CUDA es especialmente relevante porque ese tipo de código es notoriamente difícil de escribir: requiere conocimientos profundos de arquitectura de GPU (unidad de procesamiento gráfico, el chip que hace los cálculos en paralelo), gestión de memoria y optimización de rendimiento. Si un modelo de IA puede generar ese código de forma fiable, ahorra semanas de trabajo a equipos de ingeniería y abre la puerta a que desarrolladores sin experiencia en programación de bajo nivel puedan optimizar sus propios modelos. Hugging Face no ha publicado aún los modelos resultantes, pero ha adelantado que compartirá los datos y el código en las próximas semanas.
