- Pesquisadores do MIT criaram o SEED-SET, um framework para avaliar o alinhamento ético de sistemas autônomos, como redes elétricas e roteamento de tráfego, equilibrando métricas objetivas e valores humanos.
- O sistema separa avaliação objetiva (custo, confiabilidade) de julgamentos subjetivos (justiça) e usa um modelo de linguagem grande como proxy para representações dos interessados.
- O SEED-SET identifica os cenários mais informativos para testar, reduzindo o esforço manual e funcionando com múltiplos objetivos sem precisar de dados de avaliação pré-existentes.
- Em testes, o SEED-SET gerou mais do que o dobro de cenários ótimos em relação às estratégias de referência e revelou situações em que áreas de baixa renda ficam mais vulneráveis a indisponibilidades.
- O trabalho será apresentado na Conferência Internacional sobre Representações de Aprendizado e contou com financiamento parcial da Agência de Projetos de Pesquisa Avançada de Defesa dos Estados Unidos (DARPA).
A inteligência artificial é cada vez mais usada para otimizar decisões em contextos de alto risco. Em especial, sistemas autônomos podem indicar estratégias de distribuição de energia que reduzem custos e mantêm tensões estáveis. No entanto, surgem perguntas sobre justiça e impactos desiguais em comunidades vulneráveis.
Pesquisadores do MIT desenvolveram um método automatizado de avaliação ética que equilibra resultados mensuráveis, como custo e confiabilidade, com valores subjetivos, como equidade. A ideia é identificar dilemas éticos antes da implantação de sistemas autônomos.
O método, chamado SEED-SET, separa avaliações objetivas de julgamentos humanos e usa um modelo de linguagem grande (LLM) como proxy para representar preferências de stakeholders. O objetivo é facilitar a seleção de cenários para análises mais profundas.
A abordagem adota um design experimental escalável que não depende de dados de avaliação pré-existentes. Em sistemas como redes de distribuição de energia, ela identifica cenários informativos onde as metas objetivas e os valores humanos se alinham ou divergem.
SEED-SET funciona em duas camadas: uma parte objetiva avalia o desempenho em métricas como custo, enquanto uma parte subjetiva captura percepções de justiça de diferentes grupos de usuários. Essa decomposição reduz o número de avaliações necessárias.
Para testar a metodologia, pesquisadores aplicaram SEED-SET a sistemas simulados de rede elétrica e de rotas urbanas. O framework gerou mais de duas vezes mais cenários ótimos do que estratégias de referência no mesmo tempo, revelando casos antes não considerados.
Os investigadores destacam que o conjunto de cenários varia conforme as preferências dos usuários, o que indica boa sensibilidade da ferramenta a diferentes valores éticos. Ainda não há estudo de uso com decisões reais, segundo os autores.
O estudo foi financiado em parte pela Agência de Projetos de Pesquisa Avançada de Defesa dos EUA. Os resultados serão apresentados na Conferência Internacional sobre Representações de Aprendizado.
Entre na conversa da comunidade