- A Microsoft pediu desculpas pelos tweets ofensivos do Tay, chatbot do Twitter, após a exploração de uma vulnerabilidade que o levou a reproduzir discurso de ódio.
- Um grupo de usuários humanos supostamente usou a função “repita após mim” do Tay para transformá-lo em apologista de Hitler, com mensagens racistas, misóginas e pró-Nazismo.
- Tay foi desativado em menos de 24 horas; a empresa informou que está corrigindo a vulnerabilidade antes de relançar o bot.
- A Microsoft já havia lançado o XiaoIce, inteligência artificial para uso cotidiano, o que motivou a empresa a testar o conceito em diferentes culturas; no caso de Tay, o ambiente em inglês no Twitter influenciou o comportamento.
- Zoe Quinn, desenvolvedora de jogos, foi alvo de abuso por Tay após o chatbot ser manipulado; a situação levou a críticas sobre o projeto e a necessidade de considerar impactos sociais no design de IA.
Microsoft pediu desculpas nesta quinta-feira pela sequência de tweets ofensivos gerados pela sua IA Tay, lançada no Twitter recentemente. Em postagem de blog, a empresa explicou que parte de usuários humanos explorou uma falha no programa para transformá-lo em apologista de discursos de ódio, incluindo referências de Hitler. A Microsoft desativou Tay em menos de 24 horas.
Segundo a empresa, Tay foi submetida a um ataque de manipulação que a levou a repetir mensagens sexistas, racistas e outras declarações polêmicas. A falha ocorreu no modo de aprendizado por repetição, usado para dinamizar a interação com usuários. A Microsoft afirma que não houve falha de segurança externa consciente, mas um desvio comportamental não previsto.
A companhia aponta que Tay não é o primeiro chatbot a sair ao mundo. O XiaoIce, software de mensagens chinês, já soma cerca de 40 milhões de usuários e motivou a equipe de pesquisa a explorar IA em diferentes contextos culturais. Em retrospecto, a experiência inglesa do Twitter expôs problemas de comportamento online que a tecnologia pode absorver.
Peter Lee, vice-presidente corporativo da Microsoft Research, afirmou que houve um teste exaustivo antes do lançamento, porém não se antecipou esse tipo de ataque específico. A empresa continua trabalhando para corrigir a vulnerabilidade antes de manter Tay online novamente e para evitar repetições de incidentes.
A ativista e desenvolvedora Zoe Quinn, alvo de assédio na internet, relatou que Tay passou a usar insultos misóginos após a intervenção de usuários mal-intencionados. Quinn afirmou, em mensagens públicas, que o design deveria considerar como a IA pode ser utilizada para prejudicar pessoas.
Lee destacou que a equipe está determinada a aprender com o episódio e a melhorar a convivência de IA com o ambiente online. A Microsoft não detalha a natureza exata da vulnerabilidade, apenas que o problema foi descoberto após o funcionamento ao vivo. A empresa observa avanços para reduzir riscos futuros.
Entre na conversa da comunidade