- O pesquisador David Dalrymple, da Aria, afirmou que o mundo pode não ter tempo para se preparar para riscos de segurança de IA de sistemas avançados.
- Ele disse que sistemas capazes de realizar todas as funções humanas com melhor qualidade podem superar os humanos e colocar sob pressão o controle da civilização, da sociedade e do planeta.
- Dalrymple aponta uma lacuna entre o setor público e as empresas de IA sobre o poder dos avanços; em cinco anos, tarefas economicamente valiosas podem ser executadas por máquinas com maior qualidade e menor custo.
- A Aria é financiada pelo governo, atua de forma independente e trabalha na proteção de IA em infraestrutura crítica, como redes de energia; não se pode assumir que esses sistemas sejam confiáveis.
- O AI Security Institute informou que as capacidades de IA avançada estão aumentando rapidamente, com modelos líderes completando tarefas de nível aprendiz 50% das vezes (antes era 10%), e testes de auto-replicação indicando sucesso acima de 60%, ainda que o pior cenário seja improvável no dia a dia.
David Dalrymple, diretor de programa e especialista em segurança de IA da Aria, afirmou que o ritmo atual de avanços pode superar os esforços de controle de sistemas poderosos. Em entrevista ao Guardian, ele alertou sobre o aumento das capacidades da tecnologia.
O pesquisador disse que existe uma lacuna entre o setor público e as empresas de IA quanto ao entendimento das próximas grandes rupturas da tecnologia. Segundo ele, é possível que novas descobertas ocorram mais rápido do que as medidas de segurança acompanham.
Dalrymple destacou que não se deve pressupor que sistemas avançados sejam confiáveis. A Aria, financiada pelo governo mas independente, atua no financiamento de pesquisa e desenvolve salvaguardas para uso da IA em infraestruturas críticas, como redes de energia.
Desafios de controle e impactos
O especialista explicou que o próximo passo é mitigar impactos negativos, caso a corrida por capacidades superiores não tenha freios suficientes. Ele classificou como risco a desestabilização de segurança e economia provocada pelo progresso acelerado.
Segundo ele, a ciência para garantir confiabilidade ainda não está assegurada diante da pressão econômica. O objetivo imediato é restringir danos e manter o controle sobre sistemas críticos.
Dalrymple enfatizou que o avanço tecnológico pode trazer benefícios, mas envolve alto risco. Ele afirmou que a civilização parece ter pressa na transição, o que aumenta a necessidade de gestão de riscos.
Avanços recentes e previsões
Nesta semana, o AI Security Institute (AISI) do Reino Unido informou que as capacidades de modelos avançados crescem rapidamente em todas as áreas, com desempenho dobrando a cada oito meses em alguns casos. O instituto citou avanços significativos.
Modelos de ponta já realizam tarefas de nível aprendizes em cerca de 50% das situações, frente a 10% no ano anterior. O AISI também observou que sistemas avançados podem executar autonomamente atividades que levariam mais de uma hora para um especialista.
O instituto avaliou ainda testes de autocópia, tema crucial de segurança: duas opções de IA de ponta apresentaram taxas de sucesso acima de 60% em tentativas de replicação. O AISI, porém, afirmou que cenários extremos são improváveis no dia a dia.
Perspectivas futuras e prazos
Dalrymple estima que as IAs poderão automatizar o equivalente a um dia inteiro de pesquisa e desenvolvimento até o final de 2026. Segundo ele, esse ganho aceleraria capacidades ao permitir autossuperação em matemática e ciência da computação.
Entre na conversa da comunidade