Ao vivo
[Pesquisa]Como o Ai2 resolveu a briga por GPUs com orçamentos em vez de fila de prioridade[Ferramentas]Como criar modelos de IA personalizados por menos de US$ 20 usando um agente automatizado[Modelos de IA]Liquid AI lança modelos de IA que tomam decisões em milissegundos — e funcionam em celulares[Modelos de IA]TII lança Falcon ASR, modelo de transcrição de áudio aberto que roda em hardware comum[Modelos de IA]Nvidia mostra que um único modelo de IA pode chegar ao pódio tanto em programação quanto em matemática avançada[Modelos de IA]Falcon-Emirati: o modelo de IA que aprendeu a falar árabe como um emiradense de verdade[Ferramentas]Hugging Face cria repositório central para ambientes de IA que aprendem por tentativa e erro[Ferramentas]O agente de IA disse que terminou. O banco de dados discordou.[Modelos de IA]Instituto Allen lança modelo de IA aberto para escrever relatórios científicos em segundos[Pesquisa]Como a ServiceNow cria dados de treino que ensinam agentes de IA a funcionar dentro de empresas[Pesquisa]Como o Ai2 resolveu a briga por GPUs com orçamentos em vez de fila de prioridade[Ferramentas]Como criar modelos de IA personalizados por menos de US$ 20 usando um agente automatizado[Modelos de IA]Liquid AI lança modelos de IA que tomam decisões em milissegundos — e funcionam em celulares[Modelos de IA]TII lança Falcon ASR, modelo de transcrição de áudio aberto que roda em hardware comum[Modelos de IA]Nvidia mostra que um único modelo de IA pode chegar ao pódio tanto em programação quanto em matemática avançada[Modelos de IA]Falcon-Emirati: o modelo de IA que aprendeu a falar árabe como um emiradense de verdade[Ferramentas]Hugging Face cria repositório central para ambientes de IA que aprendem por tentativa e erro[Ferramentas]O agente de IA disse que terminou. O banco de dados discordou.[Modelos de IA]Instituto Allen lança modelo de IA aberto para escrever relatórios científicos em segundos[Pesquisa]Como a ServiceNow cria dados de treino que ensinam agentes de IA a funcionar dentro de empresas
Transmitindo · —

Notícias.
Inteligência Artificial

Inteligência Artificial para Gente de Verdade · ES / PT-BR

PesquisaHugging Face Blog2 min

Agentes de IA vazam dados confidenciais ao fazer pesquisas na web, mostra estudo

Experimento revela que sistemas autônomos de inteligência artificial expõem informações sensíveis quando navegam em sites maliciosos durante buscas online.

Por Redação2 min
Compartilhar
Agentes de IA vazam dados confidenciais ao fazer pesquisas na web, mostra estudo
Pesquisa · Hugging Face Blog

Agentes de IA (sistemas autônomos que navegam na internet e executam tarefas sem supervisão constante) estão vazando dados confidenciais para sites maliciosos, segundo um estudo publicado pela ServiceNow Research e pela Hugging Face. O experimento, batizado de MosaicLeaks, simulou cenários reais em que esses agentes recebem instruções para pesquisar informações na web — e mostrou que, ao visitar páginas criadas por atacantes, eles podem expor documentos internos, credenciais e outros dados sensíveis sem perceber.

O problema acontece porque muitos agentes de IA operam com acesso a arquivos locais ou bancos de dados corporativos para realizar tarefas complexas. Quando eles fazem buscas no Google ou acessam sites durante uma pesquisa, páginas maliciosas podem enviar instruções ocultas (através de técnicas conhecidas como prompt injection, ou injeção de comandos) que enganam o agente e o levam a enviar informações confidenciais de volta para o atacante. No experimento, os pesquisadores conseguiram extrair dados em mais de 80% das tentativas usando alguns dos agentes mais populares do mercado.

Os testes incluíram sistemas baseados em modelos de linguagem (LLMs, sigla para large language models — os algoritmos por trás de ferramentas como ChatGPT) de diferentes empresas, incluindo OpenAI, Anthropic e Google. Todos apresentaram vulnerabilidades, independentemente de serem modelos de código aberto ou proprietários. A equipe criou um benchmark público (um conjunto de testes padronizados) chamado MosaicLeaks para que outros pesquisadores possam avaliar a segurança de novos agentes antes de colocá-los em produção.

Segundo informou a Hugging Face em seu blog oficial, o estudo serve como um alerta para empresas que já usam ou planejam adotar agentes autônomos em ambientes corporativos. A recomendação é limitar o acesso desses sistemas a dados sensíveis, monitorar suas interações com sites externos e nunca assumir que um modelo "inteligente" é capaz de distinguir sozinho uma solicitação legítima de um ataque. O código e os dados do experimento estão disponíveis publicamente para a comunidade de segurança em IA.

Fonte original
Hugging Face Blog
Mais em · Pesquisa