Crawl budget: o que é e como otimizá-lo em 2026

Entraste no Search Console e vês que há páginas novas que a Google demora dias (ou semanas) a rastrear, enquanto outras zonas do teu site recebem visitas do Googlebot constantemente. Isso é, em essência, o crawl budget ou orçamento de rastreio: o tempo e os recursos que a Google dedica a rastrear o teu site num período determinado.

Antes de continuares, um esclarecimento importante que a própria Google torna explícito: este é um guia avançado. Se o teu site tem poucos milhares de páginas e o que publicas fica indexado num ou dois dias, o crawl budget não é o teu problema. Podes parar de ler aqui e concentrar-te em manter o sitemap atualizado e rever o relatório de indexação de páginas. Se, pelo contrário, geres um catálogo grande, um meio com publicação diária ou já há algum tempo que vês páginas encalhadas em «Descoberta: atualmente não indexada», este guia é para ti.

Neste artigo vais encontrar o que é exatamente o crawl budget e de que dois fatores depende, para que tipo de sites importa mesmo, como verificá-lo com as ferramentas que já tens à disposição, que mitos muito difundidos convém descartar e que práticas têm impacto real sobre ele.

O que é o crawl budget: capacidade e procura de rastreio

A Google define o crawl budget como o conjunto de URLs que pode e quer rastrear no teu site. A palavra-chave aqui é «pode e quer»: não é um número fixo que te é atribuído, mas o resultado de combinar dois fatores independentes.

Capacidade de rastreio (crawl capacity limit)

A capacidade de rastreio, também chamada hostload, é o número máximo de ligações simultâneas que a Google consegue manter abertas com o teu servidor sem o sobrecarregar, juntamente com o tempo de espera entre pedidos. Todos os sites começam com o mesmo limite conservador por omissão. A partir daí, esse limite sobe se o teu servidor responder com rapidez e de forma estável, e desce se detetar lentidão, erros de servidor (5xx) ou sinais de limitação de taxa (429). Na prática: um servidor lento não só prejudica a experiência do utilizador, como também está a dizer à Google que reduza a frequência com que te visita.

Um pormenor que a Google esclareceu na documentação mais recente: esta capacidade é partilhada entre todos os seus rastreadores. Se o AdsBot ou o Googlebot Image estiverem a consumir muita capacidade num dado momento, isso deixa menos margem disponível para o rastreio do conteúdo principal do teu site.

Procura de rastreio

A procura de rastreio é, por sua vez, o quanto a Google quer rastrear o teu site, e depende de três fatores principais:

• Inventário percebido: se a Google conhece muitos URLs duplicados, irrelevantes ou que não deviam existir, dedica-lhes tempo de rastreio em vez de o dedicar ao teu conteúdo importante. É o fator sobre o qual tens mais controlo direto.
• Popularidade: os URLs com mais ligações e tráfego tendem a ser rastreados com mais frequência para se manterem atualizados no índice.
• Atualidade (staleness): a Google tenta voltar a rastrear o conteúdo com a frequência suficiente para detetar alterações reais, não cosméticas.

O crawl budget final do teu site é o resultado de cruzar ambos os fatores: mesmo que tenhas capacidade de sobra, se a procura for baixa, a Google simplesmente não vai rastrear mais.

A quem interessa mesmo o crawl budget?

A Google é explícita quanto a isto, e convém repeti-lo porque é habitual usar-se o crawl budget como justificação genérica para quase qualquer problema de indexação. A documentação oficial aponta três perfis de site para os quais este guia faz sentido:

• Sites grandes, com mais de um milhão de páginas únicas, com conteúdo que muda com uma frequência moderada (por exemplo, uma vez por semana).
• Sites médios ou grandes, com mais de 10.000 páginas únicas, com conteúdo que muda muito depressa (diariamente).
• Sites com uma proporção alta do total dos seus URLs classificados no Search Console como «Descoberta: atualmente não indexada».

A Google esclarece que estes números são orientativos, não limiares exatos. Mas a mensagem de fundo é clara: para um site pequeno ou médio com publicação regular, manter o sitemap em dia e rever o relatório de indexação de páginas costuma ser suficiente.

O crawl budget não é, em si mesmo, um fator de posicionamento: é um mecanismo de gestão de recursos por parte da Google, e só se torna um verdadeiro estrangulamento quando o volume ou a velocidade de mudança do teu site ultrapassa aquilo que a Google está disposta a rastrear de forma automática.

Como verificar o crawl budget do teu site

O relatório de estatísticas de rastreio no Search Console

O ponto de partida é o relatório de estatísticas de rastreio (Crawl Stats) dentro do Search Console. Aí podes ver, entre outras coisas, o número total de pedidos de rastreio por dia, o tempo médio de resposta do teu servidor, a distribuição por tipo de resposta (200, 301, 404, 5xx…) e a repartição por tipo de rastreador da Google.

Um padrão que convém vigiar: se o tempo de resposta subir de forma sustentada, é razoável esperar que a capacidade de rastreio desça pouco depois, seguindo a lógica que vimos na secção anterior.

Análise de logs de servidor como complemento

O relatório do Search Console dá uma visão agregada, mas não te diz exatamente que URLs o Googlebot está a rastrear com mais frequência, nem quanto tempo dedica a secções que talvez não te interessem (por exemplo, os filtros de uma loja online).

Para isso é preciso analisar os logs do teu próprio servidor, cruzando cada pedido do Googlebot com o URL solicitado, o código de resposta e o peso da página. É uma análise mais técnica, mas é a única que te mostra o comportamento real do rastreador, em vez de uma média.

Cruzar esse relatório de Crawl Stats com os logs de servidor e com o estado real de indexação de cada URL é precisamente o tipo de diagnóstico técnico que fazemos na Parsigo para sites com catálogos grandes ou conteúdo muito dinâmico: não para te prometer mais tráfego, mas para te dizer com dados que parte do teu orçamento de rastreio está a ser desperdiçada e porquê, dentro do bloco de diagnóstico técnico de acesso e indexação da análise.

Mitos e erros frequentes sobre o crawl budget

O crawl budget é um dos temas técnicos de SEO onde mais circulam práticas herdadas de há anos e que a Google já desmentiu explicitamente. Aqui ficam as mais comuns.

Crença difundida	O que a Google diz na realidade
Comprimir o sitemap poupa crawl budget	Não. A Google tem de descarregar o sitemap na mesma para o ler, comprimido ou não, por isso a poupança real é mínima.
Usar noindex liberta orçamento de rastreio de forma imediata	Não de forma direta. A Google precisa de rastrear a página para ver a etiqueta noindex, por isso esse URL continua a consumir rastreio. A longo prazo, tirar conteúdo do índice pode, esse sim, reduzir o interesse da Google em continuar a rastreá-lo com a mesma frequência.
O nofollow «esconde» um URL do rastreio	Não. Se esse mesmo URL estiver ligado a partir de qualquer outra página sem nofollow, no teu site ou fora dele, a Google pode rastreá-lo na mesma.
O crawl-delay do robots.txt controla a velocidade da Google	Não. É uma diretiva não padronizada que a Google não processa. Para reduzir o ritmo de rastreio é preciso usar a definição de velocidade de rastreio no Search Console.
Os erros 4xx desperdiçam crawl budget	Em geral não, salvo o 429 (demasiados pedidos), que é de facto um sinal de sobrecarga para o servidor.
O rastreio é um fator de posicionamento	Não. Uma página ser mais ou menos rastreada não a faz posicionar melhor ou pior; o rastreio é um requisito prévio à indexação, não um sinal de ranking.

Boas práticas para otimizar o crawl budget

Gerir o inventário de URLs

Este é, segundo a própria Google, o fator sobre o qual tens mais controlo direto. Consolida o conteúdo duplicado em vez de deixar que existam vários URLs para o mesmo conteúdo, bloqueia com robots.txt aquilo que não precisa de estar no índice (por exemplo, resultados de pesquisa interna ou vistas ordenadas de forma diferente de uma mesma listagem), devolve um código 404 ou 410 nas páginas eliminadas de forma permanente, e corrige os soft 404: páginas que devolvem um código 200 mas que na realidade estão vazias ou não foram encontradas, e que a Google continua a rastrear sem necessidade.

Um pormenor técnico importante: bloquear um URL com robots.txt não liberta automaticamente esse orçamento para outras páginas. A Google só redistribui o rastreio sobrante quando já está a tocar no limite de capacidade do teu site.

Manter os sitemaps atualizados

A Google lê o teu sitemap com regularidade, por isso ele deve incluir todo o conteúdo que queres que seja rastreado, com a etiqueta <lastmod> a refletir a data real da última alteração (não uma data falsa para simular frescura, algo que a Google também desmente como estratégia útil).

Isto liga-se diretamente ao que já explicámos ao falar de como manter o sitemap atualizado: um sitemap limpo e correto é, a par da gestão do inventário de URLs, a base de qualquer otimização de crawl budget.

Melhorar a velocidade de carregamento e usar cabeçalhos de cache HTTP

Quanto mais depressa as tuas páginas carregam e são processadas, mais conteúdo a Google consegue ler no mesmo tempo de rastreio. Duas alavancas concretas: otimizar os tempos de resposta do servidor e suportar o código de estado 304 (Not Modified).

Se uma página não mudou desde a última visita da Google, devolver um 304 indica-lhe que pode reutilizar a cópia que já tem em cache, poupando largura de banda e recursos do teu servidor em cada visita.

Caso especial: crawl budget em ecommerce e navegação por facetas

As lojas online são um dos casos onde o crawl budget se torna um problema real com mais facilidade. Os filtros de uma categoria (tamanho, cor, preço, marca, ordenação) podem combinar-se entre si e gerar milhares de URLs distintos a partir de uma mesma listagem de produtos, a maioria sem qualquer valor de pesquisa próprio. A Google acaba por dedicar parte do seu rastreio a essas combinações em vez de o dedicar às fichas de produto ou às categorias que queres mesmo posicionar.

A solução passa pelo mesmo que já vimos na gestão do inventário de URLs: decidir que combinações de facetas merecem ser rastreáveis e indexáveis, e bloquear ou canonicalizar as restantes, em vez de as deixar crescer sem controlo.

Como conseguir mais crawl budget

A Google reconhece apenas duas formas legítimas de aumentar o crawl budget de um site, e nenhuma delas é um ajuste técnico rápido:

1. Acrescentar mais recursos de servidor. Se o limite está a ser marcado pela capacidade da tua infraestrutura (por exemplo, se vês o erro «hostload excedido» na ferramenta de inspeção de URLs), aumentar essa capacidade é a via direta.
2. Melhorar a qualidade e a relevância do teu conteúdo para o produto concreto da Google a que aspiras (popularidade, singularidade do conteúdo, valor para o utilizador). Não há atalho técnico para isto: é, literalmente, fazer melhor SEO de conteúdos.

Perguntas frequentes sobre crawl budget

O que é o crawl budget de um site?

É o tempo e os recursos que a Google dedica a rastrear as páginas do teu site num período determinado. Depende de dois fatores: a capacidade de rastreio que o teu servidor consegue suportar sem se sobrecarregar, e a procura de rastreio, ou seja, o interesse que a Google tem em voltar a visitar o teu conteúdo.

Como funciona o crawl budget da Google?

A Google combina a capacidade de rastreio (quantas ligações simultâneas consegue abrir com o teu servidor sem o sobrecarregar) com a procura de rastreio (baseada no inventário de URLs que conhece, na popularidade do teu conteúdo e na sua frequência de mudança). O resultado de ambos os fatores é o conjunto de URLs que a Google pode e quer rastrear.

Como se verifica ou mede o crawl budget de um site?

O ponto de partida é o relatório de estatísticas de rastreio (Crawl Stats) no Search Console, que mostra o volume de pedidos, o tempo de resposta e a repartição por tipo de rastreador. Para uma análise mais precisa, pode complementar-se com o estudo dos logs de servidor, que mostram exatamente que URLs o Googlebot rastreia e com que frequência.

Como se pode aumentar ou melhorar o crawl budget?

A Google reconhece apenas duas vias: acrescentar mais recursos de servidor se o limite vem marcado pela capacidade da tua infraestrutura, e melhorar a qualidade e a relevância do teu conteúdo. A isso somam-se boas práticas de gestão do inventário de URLs, sitemaps atualizados e melhorias de velocidade, que ajudam a Google a aproveitar melhor o orçamento que já tem atribuído.

O crawl budget é um fator de posicionamento no Google?

Não. O rastreio é um requisito prévio à indexação, mas não é, em si mesmo, um sinal que a Google use para posicionar uma página melhor ou pior. Uma página bem rastreada não posiciona por causa disso; o problema aparece quando o rastreio insuficiente impede que uma página seja indexada a tempo.

O CMS (por exemplo, o WordPress) afeta o crawl budget?

De forma indireta, sim. Um CMS mal configurado pode gerar URLs duplicados (por parâmetros, paginação ou versões com e sem barra final), páginas de baixa qualidade que a Google rastreia sem necessidade, ou tempos de resposta lentos por plugins mal otimizados. Nenhum destes problemas é exclusivo do WordPress, mas são de facto mais frequentes em instalações com muitos plugins acumulados sem revisão.

Conclusão: o que verificar primeiro

Antes de investires tempo a «otimizar» o crawl budget, verifica se ele é mesmo o teu estrangulamento: revê o relatório de estatísticas de rastreio no Search Console e compara-o com o relatório de indexação de páginas. Se o teu conteúdo fica indexado num ou dois dias, o mais provável é que o crawl budget não seja o problema que precisas de resolver agora.

Se, pelo contrário, vês páginas encalhadas ou um tempo de resposta que se degrada, começa pelo inventário de URLs: é o fator sobre o qual tens mais controlo direto, e onde costuma estar a maior margem de melhoria real.