Novo pacote do Hugging Face permite combinar texto, imagem e áudio em um único modelo de busca

O Hugging Face (uma plataforma onde desenvolvedores compartilham e baixam modelos de IA já treinados) lançou uma atualização importante do Sentence Transformers, uma biblioteca de código aberto que ajuda a criar sistemas de busca inteligentes. A novidade é que agora ele trabalha com dados multimodais — ou seja, consegue processar e comparar textos, imagens e áudio ao mesmo tempo, tudo dentro de um único modelo.

Na prática, isso significa que você pode fazer uma busca usando uma pergunta em texto e receber como resposta imagens relevantes, ou vice-versa. Também dá para combinar diferentes tipos de entrada: procurar vídeos usando uma descrição falada, por exemplo. A biblioteca gera embeddings (representações numéricas que capturam o significado de uma informação) para cada tipo de dado e permite que eles sejam comparados diretamente, mesmo sendo de formatos diferentes.

A atualização também traz suporte para modelos de reranking multimodal, que ajudam a reorganizar os resultados de uma busca para colocar os mais relevantes no topo. Segundo informou o Hugging Face, esses modelos funcionam bem mesmo em hardware modesto — os testes mostraram que é possível rodar inferência (o processo de usar um modelo já treinado para gerar resultados) em GPUs (chips gráficos especializados em cálculos paralelos) de notebooks comuns, sem precisar de servidores caros.

O post oficial inclui exemplos de código para quem quiser experimentar: desde treinar um modelo do zero até usar modelos prontos como o CLIP (um modelo da OpenAI que entende imagens e textos juntos) ou o Jina CLIP (uma versão otimizada feita pela empresa Jina AI). Tudo pode ser ajustado para tarefas específicas, como busca de produtos em e-commerce ou organização de bibliotecas de mídia. A biblioteca está disponível gratuitamente no GitHub e pode ser instalada via pip, o gerenciador de pacotes do Python.