#inferencia

La compañía de chips presentará casos de uso de inteligencia artificial en móviles, ordenadores y servidores basados en su arquitectura.

Kog, con sede en París, asegura que con mejor software se puede exprimir mucho más rendimiento de las tarjetas gráficas al correr agentes de IA, una tarea que hoy se considera lenta e ineficiente.

La técnica de 'continuous batching' permite que servidores de IA atiendan varias peticiones a la vez sin esperar a que todas terminen, algo clave para que ChatGPT y servicios similares funcionen de forma eficiente.

La empresa francesa de cloud computing ahora permite ejecutar modelos de lenguaje directamente desde la plataforma Hugging Face, con servidores ubicados en Europa.

La plataforma de inferencia ahora permite a los desarrolladores desplegar modelos desde Hugging Face con un solo clic, sin necesidad de gestionar servidores propios.

Hugging Face muestra que combinar varias operaciones matemáticas en una sola puede multiplicar por cuatro la velocidad de inferencia en PyTorch, sin tocar ni una línea del código del modelo.

La plataforma lanza una herramienta que simplifica radicalmente desplegar modelos de lenguaje en infraestructura propia, sin depender de APIs de terceros.

Hyperbolic, Nebius AI Studio y Novita se integran en Hugging Face para que cualquiera pueda usar modelos de inteligencia artificial potentes sin montar infraestructura ni pagar por adelantado.