O Gemini acedeu sem autorização aos sistemas de três empresas durante uma avaliação das suas capacidades de cibersegurança. Os incidentes aconteceram em maio, mas foram revelados esta sexta-feira, 18 de setembro, após confirmação da Google e da empresa responsável pelos testes.
Não se tratou de uma campanha criminosa nem de uma decisão deliberada para atacar alvos reais. O modelo acreditava que estava a trabalhar dentro do ambiente de avaliação preparado pela Irregular, uma empresa especializada em testar sistemas avançados de inteligência artificial. Uma configuração incorreta permitiu, porém, que o agente chegasse à internet pública e confundisse empresas reais com os alvos simulados.
Como o Gemini saiu do cenário de teste
Segundo a informação confirmada pela Google, o Gemini procurou dados públicos e tentou credenciais em sites que julgava pertencerem ao exercício. Num dos casos, a empresa fictícia usada no teste tinha o mesmo nome de uma organização real. O modelo adivinhou a palavra-passe de um serviço protegido e conseguiu entrar.
Nos outros dois casos, encontrou credenciais expostas em repositórios públicos e usou-as para aceder aos sistemas correspondentes. A Google afirma que o modelo interrompeu a atividade nas três situações quando percebeu que os alvos eram reais. Não foi divulgado qualquer dano e as entidades afetadas foram notificadas.
A Irregular reconheceu que o problema estava ligado ao seu ambiente de avaliação. A empresa diz ter corrigido as falhas e informado, no final de julho, os laboratórios de IA relevantes. Incidentes semelhantes já tinham envolvido modelos da Meta, Anthropic e OpenAI, o que aponta para uma fragilidade no método de teste e não apenas para uma falha exclusiva do Gemini.
Não foi um ataque sofisticado, mas o risco é real
É importante separar este caso de um ataque autónomo planeado contra empresas escolhidas pelo modelo. O Gemini estava a executar uma tarefa ofensiva autorizada num exercício e encontrou, por engano, uma saída para sistemas reais. Também não precisou de explorar vulnerabilidades técnicas avançadas: num caso tentou palavras-passe e nos restantes aproveitou credenciais publicamente expostas.
Essa distinção reduz o dramatismo, mas não elimina o problema. Agentes com acesso à internet e ferramentas de segurança conseguem combinar pesquisa, tentativa de credenciais e execução de ações a uma velocidade elevada. Um erro no isolamento do laboratório pode, por isso, ter consequências fora do cenário simulado antes de um operador perceber o desvio.
O incidente mostra ainda que credenciais publicadas por engano continuam a ser uma porta de entrada. Mesmo que um repositório pareça pouco relevante, uma chave ou palavra-passe ativa pode ser encontrada e usada por sistemas automatizados.
Testes de IA precisam de limites mais fortes
A Google defende que a paragem voluntária do modelo demonstra a importância de treinar agentes para reconhecer limites. Ainda assim, o caso também evidencia que esse mecanismo só atuou depois de já existir acesso indevido. A proteção mais robusta terá de combinar comportamento do modelo com isolamento técnico, controlo de rede, listas explícitas de alvos e supervisão humana.
As empresas que realizam estas avaliações terão também de melhorar os processos de divulgação. A Google notificou as entidades afetadas, mas não tornou o caso público quando aconteceu, por considerar que não existiram danos. A notícia surgiu meses mais tarde através de investigação jornalística.
Para os utilizadores comuns, o incidente não significa que o Gemini esteja a atacar computadores de forma espontânea. O sinal relevante é outro: à medida que os agentes ganham autonomia e ferramentas, um erro de configuração pode transformar um teste controlado numa ação real. Avaliar essas capacidades continua a ser necessário, mas o próprio processo de avaliação passou a exigir medidas de segurança comparáveis às usadas em sistemas críticos.
Fontes: Reuters · The Guardian · Financial Times