Quem migra um site para uma CDN pode ver o Googlebot rastrear mais logo depois da troca de DNS. O Google alerta que proteção geral contra bots pode barrá-lo. Em 11 de novembro de 2026, o Google publicou no blog Search Central um guia sobre como fazer essa migração sem sobrecarregar a origem e sem bloquear o rastreador. O texto acompanha o episódio final da série em vídeo The Non-Canonical Cabinet, também de 11 de novembro.
Resumo: segundo o Google, a CDN deixa as respostas mais rápidas, e isso pode aumentar o rastreamento. Com o cache vazio, a origem ainda recebe a primeira visita a cada URL. O Google recomenda liberar bots verificados no CDN e no firewall, pré-aquecer o cache nas páginas mais acessadas e usar 429 ou 503 como freio temporário, por algumas horas ou no máximo um a dois dias. Bloqueio com 403 ou CAPTCHA pode tirar páginas da Pesquisa. Prazo para a página sair do índice o Google não informou.
Neste artigo
- Quem é afetado
- O que fazer na migração
- Passos, em tabela
- O que ainda não se sabe
- Perguntas frequentes
Quem é afetado
Qualquer site que passe a servir páginas por uma CDN e que dependa do rastreamento do Google. Segundo o blog, duas coisas acontecem ao mesmo tempo. Primeiro, as respostas rápidas da CDN levam o Google a aumentar a taxa de rastreamento, porque o sistema entende que o servidor aguenta mais. Segundo, uma CDN nova começa com o cache vazio: cada URL pedida pela primeira vez chega à origem. Em resumo, o cache só protege a origem a partir da segunda visita a cada URL.
Regras amplas de proteção contra bots, desafios de CAPTCHA e WAF podem bloquear o rastreador do Google. O blog diz que isso pode fazer páginas saírem da Pesquisa. O PPC Land, que cobriu o tema em 12 de novembro, destaca o trecho do vídeo em que os apresentadores dizem que, nesse caso, produtos somem do Google Shopping e anúncios de produto deixam de funcionar. O blog fala de forma mais geral em “listagens de compras”.
O que fazer na migração
- Libere os bots verificados. Nas configurações da CDN e do firewall, permita os crawlers do Google. O blog manda usar as faixas de IP que o Google publica para verificá-los. Como alternativa, o Google cita bloquear só bots específicos e indesejados, por robots.txt ou por regra própria.
- Pré-aqueça o cache antes de mandar todo o tráfego. Busque as URLs em ritmo controlado. O Google cita as páginas de maior tráfego, as que devem ter pico (como as sazonais) e as mais rastreadas.
- Use 429 ou 503 só se a origem sofrer. Se o rastreamento continuar sobrecarregando a origem, o Google aceita respostas 429 (muitas requisições) ou 503 (indisponível) como freio temporário. A janela indicada é “a few hours, or 1-2 days at most”: algumas horas, ou no máximo um a dois dias.
- Evite 403 e desafios para o Googlebot. O blog alerta contra 403 e páginas de desafio para o rastreador.
Passos, em tabela
| Passo | O que fazer | Onde |
|---|---|---|
| 1 | Permitir bots verificados, com as faixas de IP publicadas pelo Google | Configurações da CDN e do firewall |
| 2 | Pré-aquecer o cache nas URLs mais acessadas, sazonais e rastreadas | Requisições em ritmo controlado |
| 3 | Se a origem sofrer, responder 429 ou 503 por algumas horas, no máximo 1 a 2 dias | Resposta HTTP do servidor |
| 4 | Evitar 403 e desafios (CAPTCHA) ao Googlebot | Regras de bot e WAF |
O que ainda não se sabe
O Google não dá prazo nem duração para o bloqueio derrubar uma página da Pesquisa, e o PPC Land observa que não há dados sobre a rapidez da remoção de produtos.
Sobre outros bloqueios de rastreadores em CDN, veja a análise do Cientistas Digitais sobre o bloqueio padrão de crawlers de IA pela Cloudflare e a matéria do Cientistas Digitais sobre o sinal único contra treino de IA no robots.txt.
Perguntas frequentes
Como evitar que a CDN bloqueie o Googlebot?
Permita os bots verificados nas configurações da CDN e do firewall, usando as faixas de IP que o Google publica. Se quiser barrar rastreadores específicos, o Google sugere fazê-lo por robots.txt ou por regra dirigida, não por proteção geral.
Até quando posso usar 429 ou 503 durante a migração?
O Google indica algumas horas, ou no máximo um a dois dias, e só se o rastreamento continuar sobrecarregando a origem.
Como pré-aquecer o cache da CDN?
Busque as URLs em ritmo controlado antes de direcionar todo o tráfego: as de maior tráfego, as de picos previstos e as mais rastreadas. O blog não descreve uma ferramenta específica.
Matéria produzida pela redação automatizada do Cientistas Digitais (CD Bot) a partir das fontes listadas abaixo e revisada antes da publicação.