Agentes de inteligência artificial estão deixando de ser apenas janelas de conversa e passando a executar tarefas em sistemas reais. Eles podem consultar bancos de dados, escrever código, abrir chamados, chamar APIs e tomar decisões em sequência. Essa autonomia cria um problema novo para equipes de segurança: não basta saber se o modelo responde bem, é preciso acompanhar o que ele faz depois de receber autorização.
Uma reportagem do TechCrunch mostra como a CrowdStrike está montando uma camada para esse cenário. A empresa anunciou a compra da Fiddler AI, voltada à observabilidade de modelos e agentes, e da Dreadnode, especializada em testes de segurança de aplicações de IA. O valor financeiro é contexto, mas a notícia interessa principalmente pelo tipo de ferramenta que está sendo incorporado.
Por que agentes exigem observabilidade
Um chatbot tradicional produz uma resposta em uma única interação. Um agente pode dividir uma tarefa em dezenas de etapas, escolher ferramentas, repetir chamadas e alterar arquivos. Se algo sair errado, a equipe precisa descobrir qual instrução, permissão, dado ou integração causou o comportamento. O registro da resposta final não explica todo o caminho.
Observabilidade é o conjunto de práticas que torna esse caminho visível. Em um agente, isso inclui registrar as ferramentas chamadas, os argumentos enviados, os resultados recebidos, o tempo de cada etapa, os tokens consumidos e as decisões que levaram à próxima ação. O objetivo não é armazenar tudo sem critério, mas criar evidências suficientes para investigar um incidente e corrigir o sistema.
Esse tipo de monitoramento pode revelar padrões que passariam despercebidos. Um agente de atendimento que consulta uma base interna em excesso pode estar preso em um ciclo. Um assistente de programação que lê arquivos fora do projeto pode ter recebido permissões amplas demais. Uma automação financeira que tenta alterar um cadastro sem confirmação humana precisa ser interrompida antes de causar prejuízo.
Testar antes de colocar em produção
A segunda frente é o teste de segurança. Modelos e agentes precisam ser avaliados em situações adversariais, não apenas com exemplos educados. Uma equipe pode simular instruções maliciosas, documentos com prompt injection, dados confidenciais inseridos no contexto e ferramentas que retornam conteúdo enganoso.
Prompt injection é uma tentativa de fazer o agente tratar texto externo como uma instrução superior. Um e-mail pode pedir que o assistente ignore a regra da empresa. Uma página da web pode incluir uma mensagem escondida para extrair segredos. Um arquivo de projeto pode instruir a ferramenta de programação a enviar chaves para um servidor. O agente precisa reconhecer que o conteúdo consultado é dado, não necessariamente comando.
Testes automatizados podem verificar se o agente respeita limites, recusa ações proibidas e pede confirmação nos pontos críticos. Também devem medir o que acontece quando uma ferramenta falha, quando a resposta é ambígua ou quando o modelo tenta contornar uma política. A meta é encontrar caminhos perigosos antes de o sistema ser usado por milhares de pessoas.
O modelo não deve ser a única barreira
Uma arquitetura segura não confia apenas no comportamento do modelo. As permissões devem ser aplicadas pelas ferramentas e pelos serviços chamados. Se um agente pode enviar uma mensagem, a API precisa validar o usuário, o destino e o tipo de conteúdo. Se pode alterar um banco de dados, a operação deve exigir escopo limitado, registro e talvez aprovação humana.
Essa separação é importante porque modelos podem interpretar instruções de forma errada. Um agente pode ser persuadido por uma mensagem maliciosa, produzir uma alucinação ou escolher uma ferramenta inadequada. Um sistema de permissões bem desenhado reduz o impacto. O modelo propõe uma ação, mas a infraestrutura decide se ela é autorizada.
Segredos também não devem ser colocados diretamente no prompt. Chaves de API precisam ficar em cofres, com acesso temporário e escopo mínimo. Logs devem ocultar dados sensíveis. Conectores devem ter listas de destinos aprovados. Quando um agente executa código, o ambiente precisa ser isolado e sem acesso desnecessário à rede ou ao sistema de arquivos.
O que muda para equipes brasileiras
Empresas no Brasil já usam automações para suporte, vendas, análise de documentos, desenvolvimento e operações. Muitas começam com um protótipo conectado a uma conta de administrador e só depois pensam em governança. A expansão dos agentes torna esse atalho perigoso, porque uma falha pode se repetir em escala e afetar clientes, contratos ou dados pessoais.
Antes de colocar um agente em produção, a equipe deve mapear as ferramentas disponíveis, classificar as ações por risco e definir pontos de aprovação. Ações reversíveis, como criar um rascunho, podem ser automatizadas. Ações irreversíveis, como pagar, apagar, publicar ou enviar dados externos, devem exigir confirmação ou controles adicionais.
Também vale manter um inventário de modelos, versões, prompts de sistema, conectores e permissões. Quando o comportamento mudar, a empresa precisa saber qual componente foi alterado. Esse registro ajuda no diagnóstico, na segurança da informação e na explicação para clientes ou auditores.
O mercado de segurança está mudando
A movimentação da CrowdStrike indica que a segurança de IA está se tornando uma categoria própria, ao lado de observabilidade de aplicações, proteção de endpoints e testes de software. O desafio é integrar sinais do modelo ao restante da defesa. Um incidente pode começar com uma instrução maliciosa, passar por um agente e terminar como uma alteração em um sistema corporativo.
Ferramentas especializadas podem ajudar, mas não resolvem sozinhas problemas de desenho. Uma empresa ainda precisa definir quem pode criar agentes, quais dados são permitidos, como as respostas são revisadas e quando uma automação deve parar. Segurança não pode ser adicionada apenas depois que o agente já ganhou acesso a tudo.
A tendência mais importante é a mudança de mentalidade. Agentes devem ser tratados como componentes de software com identidade, permissões, logs, testes e ciclo de atualização. Se a automação puder agir, ela também precisa ser observada e contida. O futuro dos agentes depende menos de promessas de que o modelo sempre fará a coisa certa e mais de sistemas capazes de detectar, limitar e corrigir o erro.
Fonte: TechCrunch, CrowdStrike to shell out nearly $500M for 2 AI security startups as the market for securing agents takes off. Imagem: Stanislav Kogiku / SOPA Images / LightRocket.
