A partir de 1º de julho de 2025, a Cloudflare passou a bloquear crawlers de IA por padrão. Em outras palavras, a regra deixou de ser “deixa passar e quem não quiser que bloqueie” para opt-in: só entra quem tiver permissão explícita.
Para quem cria conteúdo e depende de tráfego, isso é grande. E para quem constrói produtos em cima de scraping, mais ainda.
O que exatamente mudou
A Cloudflare agora considera bots de IA uma categoria à parte. O padrão é bloquear. O dono do site escolhe se libera, para quem libera e em quais condições. Entre as novidades, está a opção de cobrar por acesso (pay-per-crawl) e a administração facilitada do robots.txt para treinos de modelo.
Na prática, é o primeiro movimento de infraestrutura mudando o equilíbrio entre acesso a dados e direitos de quem produz.
Por que isso importa para publishers e criadores
Os answer engines já desviam parte da atenção que antes virava clique. Com o bloqueio por padrão, o conteúdo volta a ter preço. Quem publica ganha poder de negociação. Quem quiser treinar modelos com seu material, precisa pedir e, possivelmente, pagar.
Para sites médios e pequenos, há um ganho colateral: menos tráfego de bot não autorizado, menos consumo de recursos e log mais limpo para análise.
Impactos em SEO e distribuição
Tráfego orgânico e visibilidade
Se parte das respostas de IA parar de absorver seu conteúdo sem visitar a página, você tende a preservar impressões e cliques. O efeito não é imediato, mas reduz a erosão silenciosa do orgânico.
Link building e citações
Muitas respostas de IA passaram a citar fontes sem gerar visita. Com o bloqueio por padrão, citação volta a ser moeda. Estratégias de relações com IA (licenciamento, whitelists) entram no playbook de aquisição de menções qualificada.
Sinais de qualidade
Com menos ruído de bot, métricas como tempo na página, bounce e CTR ficam mais fiéis. Isso ajuda a calibrar decisões editoriais, especialmente em mobile.
O que muda para ferramentas e produtos que dependem de scraping
Se seu produto usa crawlers para agregar dados de terceiros, prepare-se para:
- Acordos formais com sites-alvo ou uso de fontes licenciadas.
- Verificação e identificação de bot. Bots “fantasiados” tendem a ser bloqueados por heurísticas e listas gerenciadas.
- Custos variáveis com pay-per-crawl. O unit economics do produto pode mudar.
- Arquitetura híbrida: parte via APIs oficiais/licenciadas, parte via rastreamento autorizado.
Em resumo, hack de curto prazo perde espaço para integrações maduras.
Como se preparar no WordPress + Cloudflare (passo a passo)
Objetivo: alinhar sua política de acesso e proteger receita, sem travar o que faz seu negócio girar.
1) Decida sua política
- Bloquear tudo: ponto de partida seguro para publishers e blogs.
- Permitir com regras: liberar apenas para parceiros licenciados (whitelist).
- Monetizar acesso: aderir ao pay-per-crawl (quando disponível para sua conta) e definir faixas.
2) Habilite no painel da Cloudflare
- Acesse Security → Bots.
- Ative Block AI Scrapers/Crawlers (modo padrão).
- Em AI Access / Robots, deixe a Cloudflare gerenciar o robots.txt e marque a política para não permitir uso em model training, se esse for seu caso.
- Crie Exclusions/Overrides para rotas específicas (ex.:
/press,/docs) se quiser liberar seletivamente. - Se disponível na sua conta, configure Pay-Per-Crawl e a tabela de preços por faixa ou bundle.
3) Ajuste no WordPress
- Garanta que páginas monetizadas por ads (posts, categorias-chave) estejam protegidas por padrão.
- Se usar CDN de imagens ou subdomínios (ex.:
img.seusite.com), replique a política neles. - Revise sitemaps: mantenha-os acessíveis a mecanismos de busca legítimos (Googlebot, Bingbot), mas não a user-agents de IA não autorizados.
- Atualize sua Política de Privacidade e Termos de Uso com a política de acesso de IA (clareza ajuda na negociação e reduz riscos).
4) Observabilidade
- Monitore em Security → Events tentativas de bots de IA.
- Ative logs (Cloudflare Logs/Workers) para registrar user-agents e faixas de IP.
- Use alertas simples: “spikes de 5x em user-agents de IA” ou “acessos por ASN suspeitos”.
Estratégias práticas de curto prazo
- Negocie como categoria, não sozinho: consórcios de mídia e redes de blogs têm mais poder para definir preços e padrões.
- Defina pacotes de acesso: full crawl, amostral (N URLs/mês) e áreas premium com preço diferenciado.
- Crie landing pages para IA: explique como licenciar seu conteúdo, com contato e escopo.
- Teste liberação controlada: libere coleções específicas (ex.: guias evergreen) e meça impacto em citações, backlinks e menções.
- Hardening técnico: além do bloqueio padrão, configure rate limiting, Managed Challenge e ASNs bloqueados notórios.
KPIs para acompanhar
- Proporção bot/humano por rota.
- Menções em respostas de IA e taxa de citação com link.
- CTR orgânico em páginas que antes sofriam canibalização por respostas de IA.
- *Receita por mil URLs (se usar pay-per-crawl).
- Custos de infraestrutura (queda de requisições indesejadas).
Riscos e pontos de atenção
- Bots desonestos continuarão a tentar burlar. Bloqueio não elimina abuso, mas eleva o custo.
- Compliance: mantenha políticas claras, principalmente se você também consome dados de terceiros.
- Dependência de plataformas: negociações diretas com grandes modelos tendem a concentrar poder. Equilibre com acesso aberto e pago onde fizer sentido.
A decisão da Cloudflare coloca o criador no centro
Bloqueio por padrão muda incentivos e abre espaço para novos modelos de receita em cima de dados editoriais. Para quem publica, é hora de definir política, ajustar o stack e medir impacto. Para quem constrói ferramentas, a palavra é profissionalizar: acordos, identificação de bot, pay-per-crawl e arquitetura baseada em acesso legítimo.
Quem agir agora sai na frente quando a poeira baixar.
