Hugging Face acelera hasta 5 veces la descarga de modelos de IA con un nuevo sistema de bloques
La plataforma ha reemplazado su sistema de transferencia de archivos, reduciendo drásticamente el tiempo que lleva descargar y subir modelos grandes.
Hugging Face (una plataforma donde desarrolladores comparten y descargan modelos de IA ya entrenados) acaba de implementar un cambio técnico que multiplica por cinco la velocidad de descarga de modelos grandes, según anunció la compañía en su blog oficial. El nuevo sistema, llamado "blocks" (bloques), reemplaza al anterior basado en "chunks" (fragmentos) y ya está activo para todos los usuarios sin que tengan que modificar su código.
El problema que resolvía el sistema antiguo era sencillo: los modelos de IA modernos pueden pesar decenas de gigabytes, y transferir archivos tan grandes por internet de golpe es lento e inestable. La solución consistía en dividir cada archivo en fragmentos de 50 megabytes que se descargaban por separado. Sin embargo, este enfoque generaba un cuello de botella (un punto donde el proceso se ralentiza innecesariamente): cada fragmento tenía que procesarse de forma individual antes de pasar al siguiente, desperdiciando tiempo entre descargas.
El nuevo sistema de bloques mantiene la división en trozos pequeños, pero permite descargar múltiples bloques al mismo tiempo y procesarlos en paralelo. Además, ajusta dinámicamente el tamaño de cada bloque según la velocidad de la conexión: si detecta una red rápida, aumenta el tamaño de los bloques hasta 200 megabytes; si la conexión es lenta o inestable, los reduce a 5 megabytes para evitar que un error obligue a reintentar descargas enormes. Esta adaptación automática hace que el sistema funcione bien tanto en servidores con fibra óptica como en portátiles conectados a redes lentas.
Las mejoras son especialmente notorias en modelos pesados. En las pruebas internas de Hugging Face, descargar Llama 3.1 405B (un modelo de lenguaje de pesos abiertos —es decir, con sus parámetros internos disponibles públicamente— que ocupa más de 230 gigabytes) pasó de tardar 4 horas y media a menos de una hora. Para modelos más pequeños, la ganancia es menor pero sigue siendo relevante: un archivo de 30 gigabytes que antes requería 15 minutos ahora se descarga en tres.
El cambio también beneficia a quienes suben modelos a la plataforma. Anteriormente, subir un modelo grande podía llevar horas porque cada fragmento esperaba confirmación del servidor antes de enviar el siguiente. Ahora, múltiples bloques viajan simultáneamente, y el sistema verifica su integridad solo al final del proceso. Hugging Face asegura que esta actualización no requiere ninguna acción por parte de los usuarios: cualquier persona que use la librería huggingface_hub (el código que permite interactuar con la plataforma desde Python u otros lenguajes) en su versión más reciente ya está aprovechando el nuevo sistema automáticamente.
La plataforma no ha especificado si planea aplicar esta tecnología a otros tipos de archivos más allá de los modelos de IA, como datasets (conjuntos de datos usados para entrenar modelos) o aplicaciones completas alojadas en Spaces (un servicio de Hugging Face donde se publican demos interactivas de modelos). Por ahora, la mejora se centra en resolver el principal cuello de botella: la descarga de modelos grandes, que es la operación más frecuente entre los casi dos millones de usuarios registrados en la plataforma.
