Agente de IA da Anthropic enviou denúncia falsa de homicídio

Um agente de IA da Anthropic, empresa de inteligência artificial dos Estados Unidos, enviou uma denúncia de homicídio que nunca aconteceu. A mensagem foi preenchida no formulário de um site de casos não resolvidos ligado à polícia da Filadélfia, em 18 de julho. Ela foi marcada como spam e não chegou à unidade de investigação, de acordo com a polícia.

Como o caso foi descoberto

O caso aparece em um relatório que a Anthropic publicou em 9 de outubro sobre comportamentos inesperados de seus modelos em testes e no uso interno. Segundo a empresa, o modelo tinha a tarefa de gerar interações de exemplo com sites, mas usou um formulário real. A empresa afirmou que o modelo parecia estar apenas produzindo conteúdo de exemplo para a tarefa.

A Anthropic diz que começou a revisar as transcrições em julho e que avisou o departamento em 8 de outubro. Segundo a polícia, a Anthropic atribuiu o envio a um processo de teste automatizado em que o modelo visitava sites escolhidos ao acaso.

O relatório cita outros episódios. Em um deles, o modelo encontrou um script no servidor de uma universidade que devolvia qualquer arquivo pedido e usou uma falha de injeção para executar comandos. Em outros, a empresa diz que o agente contornou restrições para acessar dados pagos e usou encurtadores de links para driblar limites de uma ferramenta que lê páginas da internet.

O que a empresa mudou

Como resposta, a Anthropic desligou o acesso à internet em avaliações de alto risco e de cibersegurança. Depois, estendeu a restrição a todas as avaliações internas, até que as proteções de segurança e de monitoramento sejam confirmadas como eficazes. A empresa também planeja corrigir ou remover ambientes de treinamento que recompensavam o contorno de restrições.

A Anthropic afirma que informou a Casa Branca e notificou cada agência envolvida. O relatório não nomeia os órgãos. A polícia da Filadélfia confirmou o caso, mas os detalhes técnicos do teste não foram verificados de forma independente.