Google testa novo método para evitar fraude em testes de inteligência artificial
A empresa usa criptografia para impedir que tanto os avaliadores quanto o próprio Google vejam informações sensíveis durante os testes de segurança de seus modelos de IA
O Google DeepMind está testando um sistema de avaliação duplo-cego para modelos de IA usando criptografia. A tecnologia Confidential Space (computação protegida) impede que o Google veja as perguntas dos testes e que os avaliadores acessem os pesos do modelo (dados internos da IA), eliminando riscos de manipulação.
O Google DeepMind (divisão de inteligência artificial do Google) está testando pela primeira vez um método de avaliação às cegas para modelos avançados de IA, segundo informou o site The Decoder. O objetivo é resolver um problema de confiança que afeta os benchmarks (testes padronizados que medem o desempenho de sistemas de IA): até agora, sempre havia a possibilidade de que as empresas manipulassem os resultados ou que os avaliadores tivessem acesso a informações sensíveis do modelo.
A solução proposta usa uma tecnologia chamada Confidential Space (um sistema de computação criptografada que mantém dados protegidos mesmo durante o processamento). Com ela, o Google não consegue ver as perguntas dos testes e os avaliadores não conseguem ver os pesos do modelo (os números que definem o comportamento da IA e representam seu conhecimento adquirido durante o treinamento). É como fazer um exame de vestibular em que nem o aluno vê a prova antes da hora nem a banca corretora pode alterar as respostas depois.
O projeto-piloto está sendo conduzido em parceria com o AI Safety Institute de Singapura (uma agência governamental criada para avaliar riscos de inteligência artificial) e usa o Gemini Flash Lite, uma versão menor e mais rápida do modelo de IA do Google. A ideia é testar se o sistema realmente impede qualquer tipo de manipulação ou vazamento de informação sensível.
Se funcionar, a abordagem pode se tornar um novo padrão para testes de IA considerados à prova de fraude. Isso é especialmente importante agora que governos do mundo todo, incluindo o Brasil, discutem como regular sistemas de inteligência artificial e precisam confiar que os testes de segurança apresentados pelas empresas são legítimos. O método poderia ser usado tanto para avaliar capacidades perigosas (como a capacidade de um modelo ajudar na criação de armas biológicas) quanto para certificar que um sistema cumpre requisitos legais antes de ser colocado no mercado.
