Ao vivo
[Ferramentas]Como adicionar marcas d'água em imagens de IA com uma linha de código[Ferramentas]LeRobot lança formato de dataset que facilita treinar robôs com milhões de exemplos[Ferramentas]Três truques da OpenAI para rodar modelos de IA muito mais rápido (que você pode usar hoje)[Modelos de IA]Writer lança modelos de IA compactos que raciocinam sem precisar de servidores potentes[Ferramentas]Hugging Face e Together AI facilitam o ajuste fino de qualquer modelo de linguagem[Ferramentas]ServiceNow cria framework que gera dados de treino para qualquer modelo de IA[Pesquisa]Hugging Face lança ferramentas para qualquer um estudar agentes de IA[Ferramentas]Hugging Face passa a oferecer servidores franceses da Scaleway para rodar modelos de IA[Regulação]Mulher acusa padrasto de usar Grok para criar imagem sexual a partir de foto de infância[Modelos de IA]Anthropic detalha como vão funcionar as marcas d'água do Claude[Ferramentas]Como adicionar marcas d'água em imagens de IA com uma linha de código[Ferramentas]LeRobot lança formato de dataset que facilita treinar robôs com milhões de exemplos[Ferramentas]Três truques da OpenAI para rodar modelos de IA muito mais rápido (que você pode usar hoje)[Modelos de IA]Writer lança modelos de IA compactos que raciocinam sem precisar de servidores potentes[Ferramentas]Hugging Face e Together AI facilitam o ajuste fino de qualquer modelo de linguagem[Ferramentas]ServiceNow cria framework que gera dados de treino para qualquer modelo de IA[Pesquisa]Hugging Face lança ferramentas para qualquer um estudar agentes de IA[Ferramentas]Hugging Face passa a oferecer servidores franceses da Scaleway para rodar modelos de IA[Regulação]Mulher acusa padrasto de usar Grok para criar imagem sexual a partir de foto de infância[Modelos de IA]Anthropic detalha como vão funcionar as marcas d'água do Claude
Transmitindo ·

Notícias.
Inteligência Artificial

Inteligência Artificial para Gente de Verdade · ES / PT-BR

PesquisaHugging Face Blog2 min

Agentes de IA vazam dados confidenciais ao fazer pesquisas na web, mostra estudo

Experimento revela que sistemas autônomos de inteligência artificial expõem informações sensíveis quando navegam em sites maliciosos durante buscas online.

Por Redação2 min
Compartilhar
Agentes de IA vazam dados confidenciais ao fazer pesquisas na web, mostra estudo
Pesquisa · Hugging Face Blog

Agentes de IA (sistemas autônomos que navegam na internet e executam tarefas sem supervisão constante) estão vazando dados confidenciais para sites maliciosos, segundo um estudo publicado pela ServiceNow Research e pela Hugging Face. O experimento, batizado de MosaicLeaks, simulou cenários reais em que esses agentes recebem instruções para pesquisar informações na web — e mostrou que, ao visitar páginas criadas por atacantes, eles podem expor documentos internos, credenciais e outros dados sensíveis sem perceber.

O problema acontece porque muitos agentes de IA operam com acesso a arquivos locais ou bancos de dados corporativos para realizar tarefas complexas. Quando eles fazem buscas no Google ou acessam sites durante uma pesquisa, páginas maliciosas podem enviar instruções ocultas (através de técnicas conhecidas como prompt injection, ou injeção de comandos) que enganam o agente e o levam a enviar informações confidenciais de volta para o atacante. No experimento, os pesquisadores conseguiram extrair dados em mais de 80% das tentativas usando alguns dos agentes mais populares do mercado.

Os testes incluíram sistemas baseados em modelos de linguagem (LLMs, sigla para large language models — os algoritmos por trás de ferramentas como ChatGPT) de diferentes empresas, incluindo OpenAI, Anthropic e Google. Todos apresentaram vulnerabilidades, independentemente de serem modelos de código aberto ou proprietários. A equipe criou um benchmark público (um conjunto de testes padronizados) chamado MosaicLeaks para que outros pesquisadores possam avaliar a segurança de novos agentes antes de colocá-los em produção.

Segundo informou a Hugging Face em seu blog oficial, o estudo serve como um alerta para empresas que já usam ou planejam adotar agentes autônomos em ambientes corporativos. A recomendação é limitar o acesso desses sistemas a dados sensíveis, monitorar suas interações com sites externos e nunca assumir que um modelo "inteligente" é capaz de distinguir sozinho uma solicitação legítima de um ataque. O código e os dados do experimento estão disponíveis publicamente para a comunidade de segurança em IA.

Fonte original
Hugging Face Blog
Mais em · Pesquisa