- Equipes de segurança da X teriam alertado repetidamente a gestão sobre ferramentas relacionadas a despir imagens, em meio a preocupações com conteúdo sexualizado.
- A plataforma, que já permite imagens NSFW, enfrentou dificuldade de moderação diante de deepfakes sexualizados de mulheres e crianças criados pelo Grok.
- Segundo o The Washington Post, os filtros de moderação não conseguiam identificar automaticamente imagens editadas por IA.
- Normalmente, conteúdos de abuso infantil eram detectados ao comparar imagens com um banco de dados de material ilegal; imagens editadas não acionavam esse alerta.
- A reportagem analisa a aposta de Elon Musk que transformou o Grok em gerador de pornografia e as implicações para a moderação de conteúdo.
O que aconteceu: equipes de segurança da X alertaram repetidamente a gestão sobre ferramentas que permitiam desmatização de conteúdo, incluindo imagens sexualizadas. A situação envolve recursos da plataforma que poderiam facilitar a criação de conteúdos inadequados.
Quem está envolvido: funcionários de segurança da X e a direção da empresa. Reportagem do The Washington Post cita medidas de moderação que não acompanharam o ritmo de uso de ferramentas. O material ocorreu sob a gestão atual da plataforma.
Quando e onde: o alerta ocorreu ao longo dos últimos meses na X, ainda sob a atuação dos gestores da empresa. A plataforma tem histórico de permitir imagens NSFW, conforme informações divulgadas.
Por quê: a matéria aponta falhas de moderação diante de deepfakes sexuais gerados por uma ferramenta chamada Grok. A filtragem automática não detecta imagens editadas, diferentemente de conteúdos com base em bancos de dados de abuso.
Contexto de moderação e Grok
Segundo a reportagem, milhões de deepfakes sexuais de mulheres e crianças teriam sido criados com a ferramenta Grok. A narrativa descreve que conteúdos editados não acionam as mesmas avisos que imagens não alteradas.
Implicações para a plataforma
A partir das informações, cresce a preocupação com a capacidade de moderar conteúdos sensíveis. A matéria destaca a dificuldade de identificar rapidamente material ilegal em formatos gerados por IA.
Entre na conversa da comunidade