- O STJvai verificar tentativas de uso de prompt injection em petições do seu acervo processual, com certificação das ocorrências nos autos para possível sanção.
- Casos foram identificados nas últimas semanas e neutralizados pelos mecanismos de segurança do STJ Logos, sistema de IA generativa do tribunal.
- A Presidência determinou a instauração de inquérito policial e de procedimento administrativo para apurar os fatos, com oitiva de advogados e escritórios envolvidos.
- O presidente Herman Benjamin destacou que a ferramenta já possui mecanismos para impedir esse tipo de manipulação e que as tentativas serão apuradas com aplicação de sanções.
- O STJ detalhou as camadas de proteção do Logos: pré-processamento para separar comandos, limites de contexto e revisão da resposta gerada, visando evitar instruções maliciosas.
O STJ vai apurar tentativas de uso de prompt injection em petições do seu acervo processual. A prática envolve inserir comandos ocultos em documentos para interferir no funcionamento de sistemas de IA. As ocorrências foram identificadas nas últimas semanas e neutralizadas pelas defesas do STJ Logos, o sistema de IA generativa do tribunal.
Segundo a Presidência, as tentativas serão certificadas nos autos para eventual sanção processual. A iniciativa também prevê a instauração de inquérito policial e de procedimento administrativo, com oitiva de advogados e escritórios envolvidos e responsabilização nas esferas criminal e administrativa.
O presidente Herman Benjamin ressaltou que a ferramenta já dispõe de mecanismos para impedir esse tipo de manipulação. A medida busca mapear todas as tentativas para apurar responsabilidades e reforçar a segurança dos documentos no acervo.
Camadas de proteção
O STJ informou que o STJ Logos opera com várias camadas de defesa. A primeira atua no pré-processamento, separando instruções de dados externos. Assim, comandos ocultos são isolados antes de alcançarem o modelo.
Depois, o sistema impõe limites de contexto para evitar que instruções externas virem regras operacionais. Por fim, uma revisão da resposta verifica conformidade com políticas de segurança definidas pelo Tribunal.
O lançamento do STJ Logos ocorreu em fevereiro de 2025, com o objetivo de agilizar análises e reduzir processos pendentes, mantendo a integridade das decisões judiciais.
Certificação nos autos
Além das medidas tecnológicas, a Presidência determinou que as tentativas sejam documentadas nos autos para avaliação de sanções. As autoridades também abriram procedimento administrativo para apurar fatos, com oitiva de envolvidos.
Fontes do STJ destacam que a atuação abrange responsabilização administrativa e criminal conforme o caso, sem prejuízo de demais procedimentos legais aplicáveis.
Informações: STJ.
Entre na conversa da comunidade