- Ferramentas de IA usadas em comitês de Inglaterra e Escócia têm produzido erros em registros de serviço social, incluindo indicações falsas de ideação suicida e até “gibberish”.
- Um estudo com 39 assistentes sociais mostrou que há situação em que a IA sugeriu ideação suicida mesmo sem a menor menção pelo cliente, e que transcrições podem não refletir corretamente o que foi dito.
- Outros casos incluem referências a ruídos ou palavras sem sentido devido a sotaques regionais, além de falhas em transcrições com expressões que não faziam sentido no contexto.
- Kilat de tempo economizado foi destacado, com muitos profissionais usando as transcrições para facilitar reuniões e documentação; sistemas populares utilizam Magic Notes, custando entre £1,50 e £5 por hora de transcrição.
- A pesquisa aponta que as IA podem melhorar aspectos relacionais e a qualidade das informações, mas alerta para riscos de decisões inadequadas e a necessidade de diretrizes, treinamento e verificação humana.
O uso de ferramentas de IA para transcrição em serviços sociais na Inglaterra e na Escócia gerou erros potencialmente prejudiciais em registros oficiais. Entidades públicas relatam desde alucionações até trechos sem sentido em notas de atendimentos a crianças e adultos.
Uma avaliação independente, feita ao longo de oito meses pela Ada Lovelace Institute, envolveu 17 conselhos locais. O estudo aponta que há representações errôneas de experiências de pessoas que recebem serviços, registradas como oficiais.
Os resultados mostram casos em que a IA indicou ideação suicida sem respaldo no que o paciente disse, além de registros que confundem falas de interesses de crianças com outros temas. A possibilidade de padrões de risco não serem detectados preocupa profissionais.
Resultados da pesquisa
Dois casos destacados envolvem interpretações incorretas de falas com possível impacto em decisões de cuidado ou proteção. Em outra situação, trechos gerados pela IA transcreviam ruídos ou palavras sem nexo.
Doações de tempo e produtividade foram citadas como benefícios, com relatos de redução de carga de trabalho e maior foco nas relações com usuários. No entanto, inconsistências em conversas com pessoas com sotaques regionais também foram observadas.
Profissionais mencionaram que as transcrições geradas por IA podem apresentar gibberish ou frases que não condizem com o que foi dito. Em alguns relatos, a diferença entre avaliação humana e avaliação da IA ficou evidente.
O sistema Magic Notes é amplamente utilizado por conselhos para registrar conversas e resumos. Custa entre £1,50 e £5 por hora de transcrição, segundo documentação de aquisição. A ferramenta é uma das opções mais divulgadas entre as autoridades locais.
Alguns trabalhadores relatam que o AI atua como rascunho inicial, com a versão final exigindo revisão humana. Pesquisas apontam ainda que a IA pode introduzir vieses e erros que exigem verificação criteriosa dos profissionais.
A British Association of Social Workers destaca que já houve ações disciplinares ligadas à falha na checagem dos outputs da IA e cobra orientações claras sobre uso de ferramentas. A Ada Lovelace e autoridades pedem diretrizes regulatórias específicas.
A pesquisa recomenda treinamento adequado para equipes de serviço social e maior avaliação de riscos de IA, para evitar erros que possam prejudicar crianças ou adultos. As autoridades consultadas afirmam que o tema requer monitoramento contínuo.
Entre na conversa da comunidade