A Anthropic e a Accenture comprometeram-se a investir pelo menos 2 mil milhões de dólares, ao longo de cinco anos, na avaliação independente de modelos avançados de inteligência artificial. A parceria foi anunciada a 18 de setembro e pretende colocar especialistas externos dentro da empresa responsável pelo Claude.
Cada organização espera aplicar pelo menos mil milhões de dólares na criação desta capacidade. O valor não corresponde à compra de uma empresa ou a um pagamento único. Trata-se de um compromisso para formar equipas, desenvolver métodos de teste e acompanhar modelos durante a sua criação e utilização.
O que a nova equipa vai testar
O trabalho será liderado pela Faculty, empresa especializada em inteligência artificial adquirida pela Accenture. A equipa vai avaliar modelos, realizar testes de ataque controlados, analisar o alinhamento do comportamento e verificar se as proteções funcionam perante situações imprevistas.
Estes testes procuram descobrir falhas antes de os sistemas serem disponibilizados ou integrados em processos empresariais. Podem incluir tentativas de contornar regras, utilização indevida de ferramentas, respostas perigosas e comportamentos que não surgem nas avaliações habituais.
A Anthropic mantém a responsabilidade final pelos seus modelos. A presença da Accenture não transfere decisões sobre segurança nem garante que todos os riscos serão detetados.
Avaliadores com acesso semelhante ao de funcionários
A principal diferença está no conceito de avaliação integrada. Em vez de receber apenas um modelo praticamente concluído, os avaliadores trabalharão dentro da empresa, com acesso comparável ao de um funcionário. Poderão acompanhar etapas de treino, decisões técnicas e a forma como os sistemas são preparados para clientes.
A Anthropic defende que esta proximidade permite verificar compromissos, identificar pontos cegos e relatar incidentes com mais contexto. A parceria não será exclusiva. A empresa está também em conversações com a organização sem fins lucrativos METR e promete anunciar outros avaliadores.
Ainda não existe um padrão definido para esta atividade. Falta estabelecer que informação deve ser partilhada, como são publicados os resultados e quem financia equipas verdadeiramente independentes. A própria Anthropic admite que o modelo terá de evoluir.
A independência continua em discussão
A estrutura levanta uma questão evidente: a Anthropic financiará diretamente o trabalho da Accenture, embora a equipa seja apresentada como independente. Esse vínculo não invalida automaticamente as avaliações, mas exige transparência sobre métodos, resultados e situações em que a consultora discorda da empresa avaliada.
A cobertura independente também assinala que a Accenture não é conhecida sobretudo por investigação académica de segurança em modelos. A Anthropic argumenta que a experiência da consultora na implementação de IA em empresas e organismos públicos acrescenta uma perspetiva prática sobre riscos reais.
O anúncio teve ainda impacto financeiro. As ações da Accenture subiram entre 7% e 9% após o fecho do mercado, um sinal de que os investidores veem a segurança de IA como uma nova área de negócio para consultoras tecnológicas.
O que pode mudar para empresas e utilizadores
A consequência imediata não será uma nova funcionalidade no Claude. O objetivo é alterar o processo usado para testar modelos futuros e os sistemas já integrados em organizações. Se funcionar, a avaliação poderá começar mais cedo e acompanhar decisões que atualmente permanecem apenas dentro dos laboratórios.
Para empresas que usam IA em atendimento, programação, análise de dados ou processos críticos, avaliações mais próximas do desenvolvimento podem revelar riscos antes de chegarem aos clientes. O benefício dependerá, contudo, da liberdade concedida aos avaliadores e da publicação de conclusões verificáveis.
A parceria transforma a segurança de IA num investimento de grande escala, mas ainda não prova que o modelo de supervisão será eficaz. Os próximos indicadores serão a composição da equipa, os padrões adotados, os incidentes divulgados e a forma como a Anthropic reage a conclusões desfavoráveis.
Fontes: Anthropic · Reuters · TechCrunch · Wall Street Journal
