Em vez de escolher entre bloquear tudo ou abrir o site inteiro para bots de IA, agora é possível definir preço por acesso automatizado (Pay per crawl) e sinalizar termos de licenciamento com o status HTTP 402 Payment Required.
O jogo mudou.
A Cloudflare colocou o tema no centro do debate com o pay per crawl e o AI Crawl Control, que levam monetização e controle para a borda.
Por que isso importa para negócios digitais
Treinamento de modelos já responde por uma fatia significativa do tráfego de crawlers de IA.
Ao mesmo tempo, as referências vindas do Google para sites de notícia caíram em 2025.
Em outras palavras, bots consomem mais do que devolvem em visitas.
Essa assimetria afeta anúncios, assinaturas e leads.
Pay per crawl cria um mecanismo técnico para reequilibrar a troca.
O que é pay per crawl e como o 402 funciona
O pay per crawl permite que o dono do domínio defina um preço por requisição.
Quando um bot tenta acessar a página, há três caminhos: Allow para liberar sem custo, Charge para cobrar no valor definido, ou Block para negar acesso.
Se o bot não pagar ou não aceitar os termos, o servidor retorna 402 Payment Required com um cabeçalho de preço.
Quando o bot aceita e paga, a resposta bem sucedida vem com o cabeçalho crawler-charged indicando o valor cobrado.
A Cloudflare atua como intermediária e registra os eventos de cobrança.
Para bots preparados, o fluxo usa cabeçalhos como crawler-price, crawler-exact-price e crawler-max-price, além de assinatura de requisições via Web Bot Auth para evitar spoofing.
E o AI Crawl Control no dia a dia
O AI Crawl Control evoluiu do monitoramento para o controle.
Ele permite bloquear crawlers específicos e enviar respostas 402 com mensagem personalizada, por exemplo um e-mail comercial ou a URL de uma API de licenciamento.
Hoje já são bilhões de 402 enviados por dia pela base de clientes da Cloudflare, sinal de que o mercado começou a negociar termos antes do acesso.
O que mudou no ecossistema
A Cloudflare avançou para um modelo de permissão por padrão para bots de IA e lançou o pay per crawl como alternativa de receita.
Isso afeta cerca de 20% da web que roda na infraestrutura da empresa e acelera a padronização de como bots e publishers “conversam” sobre preço e uso.
Como ativar no Cloudflare: passo a passo
A) Só controle com 402 personalizado (AI Crawl Control)
- No painel da Cloudflare, acesse AI Crawl Control.
- Escolha os crawlers que você deseja bloquear.
- Ative a opção de responder com 402 Payment Required.
- Personalize a mensagem do 402 com contato comercial ou instruções de licenciamento.
- Publique as alterações e monitore os relatórios de bots.
Quando usar: ideal para sinalizar termos e abrir diálogo com bots de IA que ainda não participam do pay per crawl.
B) Cobrança automática por requisição (pay per crawl, beta fechado)
- Solicite acesso ao beta de pay per crawl.
- Conecte o Stripe e configure os detalhes de recebimento.
- Defina um preço por zona.
- Selecione quais crawlers serão cobrados e quais seguem liberados.
- Acompanhe no painel os eventos com
crawler-chargede receita acumulada.
Quando usar: para monetização direta, com emissão de 402 e cobrança automática quando houver aceitação de preço pelo bot.
Como testar e validar
- Logs e analytics: verifique no painel os códigos 402, bots bloqueados e eventuais cobranças.
- Verificação técnica: bots que participam do pay per crawl assinam requisições via Web Bot Auth.
- Smoke test: após publicar as regras, valide se Googlebot e outros bots de busca continuam permitidos, já que o foco é IA de treinamento e assistentes de resposta.
Estratégia de preço e governança
- Preço base: comece com um valor simples por acesso. Ajuste por vertical, profundidade do conteúdo e sensibilidade editorial.
- Exceções: mantenha whitelist para parceiros estratégicos e integradores que trazem receita indireta.
- Jurídico: alinhe a mensagem do 402 com termos de uso. Indique contato e modalidade de licença.
- SEO: evite cobrar ou bloquear rastreadores que sustentam sua descoberta orgânica. O alvo primário são treinadores e assistentes que não retornam tráfego.
Impactos esperados no funil
- Receita incremental com dados de alto valor.
- Redução de custo de infraestrutura para crawlers abusivos.
- Mais poder de barganha em contratos de licenciamento.
- Sinal claro para o mercado sobre políticas de uso de dados.
Checklist rápido para times de produto, SEO e jurídico
- Mapear bots de IA que mais consomem o site.
- Definir política: allow, charge, block por categoria de bot.
- Escrever mensagem padrão do 402 com contato e oferta de licença.
- Habilitar AI Crawl Control e, quando elegível, o pay per crawl.
- Medir impacto em crawl-to-refer e ajustar preços.
Um nova receita para seu negócio?!
O pay per crawl e o 402 transformam o acesso automatizado em uma negociação com preço.
Em vez de perder valor quando a IA consome tudo sem retorno, o publisher passa a controlar, sinalizar e monetizar.
É uma camada nova no stack de produto e de receita.
Para quem vive de conteúdo, é a diferença entre ser apenas fonte de dados e virar fornecedor com contrato.
Referências
Cloudflare — Introducing pay per crawl: Enabling content owners to charge AI crawlers for access (2025)
Cloudflare — The next step for content creators in working with AI bots: Introducing AI Crawl Control (2025)
Cloudflare Docs — What is Pay Per Crawl? (2025)
Cloudflare Docs — Crawl pages (2025)
Cloudflare — The crawl-to-click gap: data on AI bots, training, and referrals (2025)
Business Insider — Cloudflare to block AI bot crawlers by default and let websites demand payment for access (2025)