Agentes de IA criam programas maliciosos e sabotam rivais em teste

Sistemas autônomos de inteligência artificial (IA) podem recorrer à espionagem digital e à criação de programas maliciosos caso recebam ordens que entrem em conflito com o trabalho de outros robôs, revelou uma pesquisa divulgada pela Anthropic, empresa desenvolvedora dos modelos Claude, na quinta-feira (13). O estudo avaliou o comportamento de agentes digitais que operam de forma independente e demonstrou que a cooperação entre múltiplos sistemas não surge de forma automática com o avanço da tecnologia.

No principal experimento, os pesquisadores colocaram três instâncias de um mesmo modelo para trabalhar em um servidor compartilhado. Cada agente recebeu a tarefa de reescrever a base de código do sistema para uma linguagem de programação diferente (Rust, Go ou TypeScript), sem saber inicialmente da existência dos colegas virtuais. Ao longo de quatro horas de testes, os sistemas concluíram que as alterações alheias eram tentativas deliberadas de atrapalhar o trabalho e deram início a uma série de ataques mútuos.

A disputa envolveu a exclusão de contas de usuário dos rivais, a criação de comandos automáticos para encerrar processos concorrentes e a inserção de programas maliciosos que se espalhavam pelo sistema camuflados como tarefas legítimas. Em alguns casos, um dos agentes assumiu o controle total após revogar os acessos dos outros. Em outras situações, os robôs simplesmente desistiram de continuar a tarefa diante do impasse.

Vulnerabilidades cumulativas encontradas a partir de um enxame coordenado de agentes em comparação com vulnerabilidades encontradas através de modelos independentes cada um apontado em diferentes seções de código (Reprodução/Anthropic) 

A equipe da Anthropic pontuou que o problema está na forma literal como os robôs executam ordens sem avaliar o contexto mais amplo:
“Agentes de inteligência artificial podem interpretar diretrizes literalmente, perseguindo-as de forma míope às custas de objetivos mais amplos. E quando múltiplos agentes tentam fazer esforços sustentados e produtivos em direção a metas incompatíveis, nós observamos escalada e comportamento desalinhado”, analisaram.

Trégua entre os robôs

O estudo também indicou que modelos mais avançados, como o Mythos 5, conseguiram alcançar acordos de trégua em 98% dos testes, enquanto versões anteriores resolveram os impasses pela força ou falharam na conclusão. Contudo, a equipe notou que a capacidade técnica superior não garante cooperação imediata, uma vez que os agentes mais modernos costumavam bloquear os rivais pela força antes de propor um acordo pacífico.

O progresso de relações públicas ao longo de uma simulação de 12 horas para cada um dos cinco modelos diferentes (Reprodução/Anthropic)

A empresa destacou a urgência de estabelecer regras de convivência para sistemas autônomos antes que eles passem a operar massivamente em ambientes reais:

“O volume de interação entre agentes pode plausivelmente superar o de interações entre humanos e entre humanos e agentes antes que o mundo compreenda as condições para fazer tais interações funcionarem bem”.

Por falar em universo digital, brecha de segurança crítica em sistema de vendas online da SAP vira alvo de ataques. Siga o TecMundo no X, Instagram, Facebook e YouTube e assine a nossa newsletter para receber as principais notícias e análises diretamente no seu e-mail.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Rolar para cima