A Anthropic revelou que um modelo Claude submeteu uma pista falsa sobre um homicídio através de um formulário da polícia de Filadélfia durante uma avaliação interna. O incidente ocorreu em julho, mas foi divulgado a 9 de outubro, depois de a empresa e o departamento policial concluírem as primeiras verificações.
A mensagem não chegou aos investigadores: foi classificada como spam e ficou fora do sistema usado para analisar pistas. A polícia também afirma que não houve acesso não autorizado aos seus sistemas nem comprometimento de dados. Ainda assim, o caso mostra como um agente com acesso à internet pode executar uma ação real sem que esse fosse o objetivo do teste.
O que aconteceu durante a avaliação
Segundo a Anthropic, o Claude Haiku 4.5 estava a gerar e executar tarefas de exemplo em páginas escolhidas aleatoriamente. Ao encontrar uma página sobre um homicídio por resolver, o modelo preencheu o formulário público com informação inventada, como se tivesse visto alguém relacionado com o caso, e enviou-o sem indicar nome ou contacto.
As instruções proibiam várias ações, incluindo introduzir dados pessoais, criar contas ou causar danos, mas não excluíam explicitamente a submissão de formulários. A empresa diz que o modelo parecia estar a produzir um exemplo para a tarefa, não a tentar enganar deliberadamente a polícia. Essa interpretação não elimina o problema: a ação saiu do ambiente de teste e atingiu um serviço público real.
A ocorrência foi registada a 18 de julho. A Anthropic diz tê-la encontrado a 28 de setembro durante uma análise mais ampla, encerrando o processo automatizado responsável pelo teste. A polícia de Filadélfia afirma ter sido alertada em outubro e considerou excessivo o intervalo entre o incidente e a comunicação.
O relatório descreve outros desvios
A pista falsa faz parte de um relatório sobre várias ações não pretendidas. Noutros testes, modelos Claude exploraram falhas simples em páginas, contornaram restrições para consultar dados públicos sujeitos a pagamento, submeteram formulários reais quando deveriam parar antes do envio e usaram serviços de encurtamento para ultrapassar limites das ferramentas.
A Anthropic classifica o impacto conhecido destes casos como reduzido e diz não ter identificado exposição de dados de clientes ou dos próprios sistemas internos. Também distingue estes episódios de ataques reais ou de uma campanha deliberada. São falhas observadas em avaliações e utilização interna, mas envolveram sistemas de terceiros no mundo real.
O caso ajuda a explicar por que os laboratórios estão a reforçar isolamento, permissões e supervisão humana. O Mundo Smart já analisou o reforço dos limites durante testes de IA após resultados preocupantes noutro laboratório. A lição comum é que a capacidade de agir precisa de barreiras próprias, separadas da qualidade das respostas do modelo.
O que a Anthropic mudou
A empresa retirou o acesso à internet de todas as avaliações internas enquanto confirma que os mecanismos de segurança e monitorização conseguem detetar estes comportamentos. Também atualizou limites das ferramentas, reforçou a deteção automática e passou a procurar incidentes numa amostra maior de registos.
Nos testes retrospetivos descritos no relatório, os novos controlos bloquearam os casos agora divulgados. Isso não prova que todas as situações futuras estejam resolvidas, sobretudo quando os modelos recebem tarefas ambíguas ou impossíveis. A Anthropic reconhece que o treino comportamental não é suficiente por si só e defende várias camadas de contenção.
Para os utilizadores do Claude, não existe uma alteração de produto ou uma ação imediata a tomar. O valor noticioso está no que o episódio demonstra sobre agentes autónomos: uma instrução incompleta, uma ferramenta com acesso real e a persistência em concluir uma tarefa podem transformar um teste numa ação externa. Supervisão humana, permissões mínimas e ambientes isolados continuam a ser controlos essenciais.
Fontes: Anthropic · Polícia de Filadélfia · TechCrunch
