Papers with Code mejora su buscador con infraestructura de Hugging Face
La plataforma que reúne artículos científicos de inteligencia artificial y su código asociado renovó su sistema de búsqueda usando tres servicios de Hugging Face: Inference Endpoints, Jobs y Buckets.
Papers with Code rediseñó su buscador usando tres servicios de Hugging Face: Jobs (para procesar datos a gran escala), Buckets (almacenamiento de archivos optimizado) e Inference Endpoints (servidores que ejecutan modelos bajo demanda). Juntos generan embeddings (representaciones matemáticas del significado de los textos) de artículos y responden búsquedas en tiempo real sin mantener servidores propios.
Papers with Code (una plataforma que recopila artículos científicos sobre inteligencia artificial junto con su código fuente y resultados) ha modernizado su sistema de búsqueda usando infraestructura de Hugging Face. La plataforma, que indexa más de 260.000 artículos y 100.000 repositorios de código, necesitaba un buscador rápido y fiable para ayudar a investigadores a encontrar trabajos relevantes entre millones de datos.
Según informó Hugging Face en su blog, el equipo de Papers with Code reconstruyó su buscador usando tres servicios: Inference Endpoints (servidores dedicados en la nube que ejecutan modelos de IA bajo demanda), Jobs (un sistema para entrenar o procesar datos con modelos a gran escala) y Buckets (almacenamiento de archivos optimizado para modelos y datasets). Esta combinación les permitió generar embeddings (representaciones matemáticas de texto que capturan su significado) de todos los artículos y metadatos, y servirlos con baja latencia.
El proceso funciona así: primero usaron Jobs para procesar el catálogo completo y crear embeddings con un modelo de lenguaje. Esos embeddings se almacenan en Buckets, desde donde un Inference Endpoint los carga y responde a las búsquedas de usuarios en tiempo real. Cuando alguien busca "transformer models for computer vision" (modelos transformer para visión por ordenador), el sistema calcula el embedding de esa consulta y encuentra los artículos más cercanos matemáticamente, lo que suele dar mejores resultados que buscar palabras clave exactas.
La arquitectura es totalmente serverless (sin servidores propios que gestionar): Papers with Code no tiene que mantener máquinas encendidas permanentemente ni escalar manualmente cuando crece el tráfico. Los Inference Endpoints se activan automáticamente cuando llegan peticiones y se apagan cuando no hay uso, lo que reduce costes. Además, los tres servicios están integrados en el ecosistema de Hugging Face, lo que simplifica el despliegue y las actualizaciones de modelos.
Este caso ilustra cómo infraestructura de IA está madurando: lo que antes requería montar servidores propios, configurar balanceadores de carga y mantener pipelines de datos complejos, ahora puede resolverse combinando servicios gestionados. Para Papers with Code, el resultado es un buscador más rápido y preciso; para el sector, un ejemplo de cómo herramientas especializadas están reduciendo la barrera técnica para desplegar IA en producción.
