Um estudo realizado pela AI Forensics revelou que o repositório de modelos de inteligência artificial, Hugging Face, está sendo utilizado para criar imagens íntimas de mulheres e crianças sem consentimento. A falta de mecanismos de segurança adequados na plataforma tem permitido a geração incontrolável de conteúdos sensíveis, uma situação alarmante.
Análise das Criações na Plataforma
A investigação concentrou-se na plataforma Spaces do Hugging Face, onde vários aplicativos usam os modelos disponíveis. O relatório revelou que impressionantes 73% das solicitações analisadas apresentavam conotação sexual, incluindo tentativas de remoção de roupas de pessoas. Além disso, 6,7% dos comandos foram direcionados a menores de idade.
Facilidade na Geração de Conteúdos
Um dos aspectos mais preocupantes mencionados pelos pesquisadores é a simplicidade com que se pode criar deepfakes através de comandos simples. Ao contrário de outras ferramentas de IA que requerem instruções mais elaboradas para contornar sistemas de segurança, a plataforma Hugging Face mostra-se vulnerável a essas práticas abusivas.
Críticas à Falta de Proteção
O relatório enfatiza a ausência de medidas proativas de proteção no Hugging Face. Em entrevista ao site Wired, Paul Bouchaud, um dos membros da AI Forensics, declarou que não existem salvaguardas adicionais na plataforma, colocando a responsabilidade da proteção contra deepfakes nas mãos dos códigos dos modelos de IA.
Diretrizes Ignoradas
A plataforma possui diretrizes que proíbem a criação de conteúdos prejudiciais a indivíduos ou grupos, mas qualquer usuário pode acessar e utilizar as IAs disponíveis. A pesquisa fez notar que aplicativos populares de edição de imagem na plataforma permitem a produção de conteúdo íntimo sem a autorização adequada.
Impacto da Popularização das Ferramentas de Edição
O aumento da popularidade dessas ferramentas de edição de imagens com IA está associado a uma maior produção de nudes falsos. Um levantamento do Institute for Strategic Dialogue (ISD) destacou a existência de um ecossistema digital que promove essa prática, com as redes sociais funcionando como plataformas que dão acesso a ferramentas fora das lojas de aplicativos convencionais.