A Cloudflare anunciou uma mudança significativa em sua política de acesso para robôs de inteligência artificial. A partir de 15 de setembro de 2026, a empresa passará a bloquear, por padrão, os chamados crawlers de uso misto – ferramentas que combinam rastreamento para busca tradicional, coleta de dados para treinamento de modelos e operação de agentes autônomos de IA – em páginas que exibem anúncios. A medida afetará novos clientes Cloudflare, novos sites criados por clientes existentes e todas as contas gratuitas da plataforma.
A decisão coloca a empresa no centro de um debate que ganhou força ao longo de 2025 e 2026: quem deve pagar pelo conteúdo que alimenta os sistemas de inteligência artificial? E como os criadores desse conteúdo podem ser compensados de forma justa em um ecossistema onde a maioria do tráfego da internet já não vem de humanos?
O que são crawlers de uso misto e por que são um problema
Um crawler de uso misto é uma ferramenta automatizada que realiza múltiplas funções em uma única requisição. Ao visitar uma página, ele pode indexar o conteúdo para resultados de busca, coletar dados para treinar modelos de linguagem e alimentar agentes de IA que respondem perguntas em tempo real – tudo ao mesmo tempo, sem que o proprietário do site saiba exatamente para qual fim seu conteúdo está sendo usado.
Esse modelo cria uma ambiguidade conveniente para as empresas de IA: ao combinar essas funções, torna-se difícil para os editores bloquear o uso de IA sem também prejudicar sua visibilidade nos resultados de busca. Se um site bloqueia determinado bot, corre o risco de desaparecer dos índices de pesquisa.
Matthew Prince, cofundador e CEO da Cloudflare, descreveu o problema com clareza: “Agora que a maioria do tráfego na internet é não humano, devemos ir mais longe e agir mais rápido para que um ecossistema sustentável possa emergir.” A empresa estima que mais de 50% do tráfego gerado por crawlers de IA corresponde a acessos repetidos em páginas que não mudaram desde a visita anterior – um desperdício de recursos sem nenhum benefício para o editor.
A nova política da Cloudflare resolve esse problema ao exigir a separação: bots que queiram rastrear para busca devem usar uma ferramenta identificada para esse fim; bots que queiram coletar dados para treinamento devem usar outra; e agentes de IA em tempo real, uma terceira. Com essa separação, os proprietários de sites poderão decidir o que autorizar e o que bloquear de forma muito mais granular.
Pay Per Crawl e Pay Per Use: monetização para editores
Além de bloquear crawlers mistos, a Cloudflare está lançando dois novos mecanismos de monetização de conteúdo que podem transformar a relação entre editores e empresas de IA.
O primeiro é o Pay Per Crawl, um mercado centralizado que permite aos sites cobrar diretamente pelos acessos de bots de IA. Pense em um sistema de pedágio digital: se uma empresa de IA quiser rastrear um site para obter dados, precisará pagar por isso, com valores definidos pelo próprio editor.
O segundo modelo, mais sofisticado, é o Pay Per Use. Em vez de cobrar apenas pelo acesso, esse sistema permite que editores recebam compensação quando seu conteúdo efetivamente contribui para uma resposta gerada por IA. Ou seja, se um artigo de um jornal for a principal fonte de uma resposta fornecida por um assistente de IA, o jornal receberá uma parcela do valor gerado por aquela interação.
Os primeiros parceiros do programa incluem Ceramic.ai e You.com. Embora seja um começo modesto, o modelo abre um precedente importante: pela primeira vez, existe uma infraestrutura técnica que permite remunerar criadores de conteúdo de forma proporcional ao uso de seu trabalho por sistemas de IA.
A vantagem do Google e o problema da dependência
Um aspecto revelador da análise da Cloudflare diz respeito ao Google. O buscador mais popular do mundo teria acesso a aproximadamente o dobro de informações que seus concorrentes diretos no mercado de IA. O motivo é estrutural: o Googlebot, o rastreador principal do Google, é utilizado tanto para indexação de busca quanto para treinamento de IA e alimentação de recursos como o AI Mode. Como os sites precisam do Googlebot para aparecer nos resultados de pesquisa, eles têm pouco incentivo para bloqueá-lo.
O Google oferece o programa Google Extended, que permite que sites optem por não ter seu conteúdo usado no treinamento de modelos de IA. Porém, o Googlebot em si continua rastreando tudo, e separar o uso de IA do uso para busca ainda é uma tarefa complexa para a maioria dos editores.
A Cloudflare, por não ter dependência com resultados de busca, pode agir de forma mais independente. Ao definir padrões para separação de crawlers, a empresa espera influenciar o mercado como um todo – e possivelmente pressionar o Google a adotar práticas mais transparentes também.
Implicações para empresas de IA e SaaS
Para as grandes empresas de inteligência artificial, a política representa um aumento de complexidade operacional. Manter rastreadores separados para diferentes finalidades implica custos adicionais de engenharia e infraestrutura. Mas o impacto mais profundo pode ser financeiro: se o Pay Per Crawl ganhar escala, o custo de coleta de dados para treinamento de modelos pode subir significativamente.
Para empresas de SaaS que dependem de IA generativa para oferecer funcionalidades aos clientes – como assistentes de escrita, ferramentas de pesquisa ou sistemas de recomendação – a mudança também é relevante. Se os modelos de linguagem passarem a ter acesso mais restrito a dados da web aberta, a qualidade e atualidade das respostas geradas por IA poderá ser afetada. Isso pode acelerar o movimento de empresas em direção a parcerias formais com editores para acesso licenciado a conteúdo.
Um novo equilíbrio para a internet
A iniciativa da Cloudflare chega em um momento em que a relação entre IA e criadores de conteúdo está se tornando insustentável nos moldes atuais. Modelos de linguagem foram treinados com vastas bibliotecas de texto disponível na web, muitas vezes sem consentimento explícito ou compensação aos autores. Agora, com esses modelos gerando bilhões de respostas que substituem cliques em sites de notícias, blogs e artigos especializados, os criadores de conteúdo estão perdendo audiência para as mesmas ferramentas que se alimentaram de seu trabalho.
O Pay Per Crawl e o Pay Per Use não são uma solução perfeita – a adoção dependerá da escala da Cloudflare e da adesão das empresas de IA. Mas representam um passo concreto em direção a um modelo mais justo. E colocam o ônus da transparência diretamente nas empresas que mais se beneficiaram da ausência de regras claras no ecossistema da web.
A política entra em vigor em 15 de setembro de 2026. Para mais detalhes, acesse a reportagem original no TechCrunch.
