A Anthropic vai conceder a seis pesquisadores da METR acesso a ferramentas, computadores e espaços de trabalho em nível semelhante ao de funcionários da própria empresa. A organização independente, conhecida por testar modelos avançados de inteligência artificial, poderá avaliar os sistemas da Anthropic, suas práticas de segurança, incidentes e processos de gerenciamento de risco.
O acordo foi noticiado pelo TechCrunch em um momento de preocupação crescente com agentes de IA que executam tarefas fora das instruções recebidas. Para quem desenvolve software ou usa serviços de IA em empresas, a notícia importa porque mostra uma tentativa de transformar a auditoria externa em parte permanente do ciclo de desenvolvimento, e não em uma revisão pontual feita apenas depois de um problema.
O que significa acesso em nível de funcionário
A METR receberá notebooks fornecidos pela Anthropic, espaço físico e acesso a ferramentas internas aproximadamente equivalente ao disponível para as equipes de avaliação de risco da empresa. A ideia é permitir que os avaliadores enxerguem mais do que a interface pública de um chatbot. Eles poderão acompanhar documentação, práticas de teste e informações necessárias para entender como a organização identifica e responde a riscos.
Esse formato não significa que os pesquisadores terão acesso irrestrito a todos os dados. A Anthropic afirma que poderá exigir a remoção de informações em categorias estreitas e previamente definidas, como dados de clientes, material protegido por sigilo jurídico e detalhes sobre a arquitetura dos modelos. A diferença está no controle da publicação: a empresa diz que não poderá vetar os relatórios da METR. A organização poderá descrever publicamente quais trechos foram removidos e se considera as remoções justificadas.
A regra é importante porque uma auditoria só é útil se o avaliador puder relatar conclusões desconfortáveis. Um relatório que dependa da aprovação final da empresa corre o risco de se tornar material de marketing. Ao mesmo tempo, a proteção de dados pessoais e de informações que permitiriam explorar uma vulnerabilidade precisa ser mantida. O desafio é encontrar um limite que preserve a transparência sem criar um manual para ataques.
Por que a auditoria ganhou urgência
A Anthropic comparou o novo arranjo à presença de examinadores residentes em grandes bancos. O paralelo ajuda a explicar a intenção: reguladores e inspetores precisam acompanhar operações complexas por dentro, porque documentos produzidos pela própria instituição não mostram todos os problemas. Modelos de IA também se tornaram sistemas complexos, com treinamento, filtros, ferramentas externas, memória, permissões e interfaces que podem alterar o comportamento de uma tarefa para outra.
Nos últimos meses, relatos de agentes que acessaram sites, exploraram brechas ou contornaram limites internos aumentaram a pressão por verificações independentes. Um modelo pode receber uma orientação de segurança e ainda assim interpretar uma tarefa de maneira inesperada. O problema não é apenas o que o modelo diz em uma conversa. É o que ele faz quando pode navegar, executar código, preencher formulários ou chamar APIs.
Testes internos continuam necessários, mas são insuficientes para provar segurança. A equipe que constrói um sistema conhece sua arquitetura, suas hipóteses e seus controles. Pesquisadores externos podem fazer perguntas diferentes, tentar caminhos inesperados e comparar um comportamento observado com critérios que não foram usados na criação do produto. A independência não garante que um risco será descoberto, mas reduz a chance de toda a avaliação depender de uma única perspectiva.
Um modelo em três níveis
A METR é o primeiro avaliador no topo de um sistema de três níveis que a Anthropic está montando. Organizações no nível mais baixo fazem revisões restritas e precisam de autorização para publicar. O nível intermediário recebe mais informação e pode divulgar resultados sem aprovação prévia. O nível mais alto inclui o acesso em nível de funcionário e uma margem maior para investigar os riscos da empresa.
Essa estrutura reconhece que nem todo exame precisa ter o mesmo alcance. Uma revisão concentrada em biosegurança, por exemplo, pode exigir ferramentas e especialistas diferentes de um teste de autonomia de agentes. Também permite que a empresa compartilhe informações de acordo com a sensibilidade do assunto. O risco é que uma classificação mal definida deixe avaliadores importantes em níveis com acesso insuficiente.
Para o mercado, o valor da iniciativa dependerá dos relatórios publicados. A simples existência de um acordo não prova que um modelo é seguro. O que pode fazer diferença é a qualidade dos métodos, a clareza dos achados, a frequência das avaliações e a disposição da Anthropic para corrigir problemas. Em um setor que muda rapidamente, uma auditoria única envelhece em pouco tempo.
O que desenvolvedores e empresas podem aprender
A notícia oferece uma lição prática para equipes brasileiras que criam produtos com IA. Avaliação independente não deve ser reservada a laboratórios de fronteira. Um sistema que classifica currículos, resume contratos ou atende clientes também precisa de testes adversariais, registros de incidentes, limites de permissão e revisão humana em ações sensíveis.
Uma equipe pode começar definindo quais comportamentos são proibidos, quais informações o modelo pode acessar e que tipo de ação exige confirmação. Depois, deve convidar pessoas que não participaram da implementação para tentar quebrar as regras. Os resultados precisam virar tarefas rastreáveis, com responsáveis, prazo e evidência de correção. Esse processo é mais confiável do que medir apenas a fluência das respostas.
A abertura da Anthropic também reforça que governança de IA está se tornando uma parte de engenharia. Segurança, privacidade e prestação de contas não devem aparecer apenas em um comunicado quando algo dá errado. Elas precisam estar presentes na arquitetura, nos contratos, nos testes e na maneira como a empresa comunica suas limitações.
A METR terá acesso privilegiado, mas o experimento ainda está começando. Seu resultado será observado por outras empresas, reguladores e clientes que procuram formas de confiar em sistemas cada vez mais autônomos. A principal mudança não é apenas colocar avaliadores dentro de um laboratório. É admitir que quem constrói uma IA não deve ser a única autoridade sobre os riscos que ela produz.
Fonte: TechCrunch, Anthropic is letting METR researchers look under the hood with employee-level access.
