Googlebot
Google · Alimenta um motor de busca
O Googlebot rastreia para a Pesquisa Google e o Discover, além do Google Imagens, do Google Vídeos e do Google Notícias, e a Google diz que respeita sempre o robots.txt quando rastreia de forma automática. O Googlebot-Image, o Googlebot-Video e o Googlebot-News também obedecem às regras escritas para o Googlebot.
Ficha
- Operador
- Para que serve
- É o rastreador da Pesquisa Google. Os AI Overviews e o Gemini apoiam-se no mesmo índice.
- Assistente que alimenta
- Google: AI Overviews e Gemini
- Conta para a nota do Parsigo
- Sim. Alimenta o índice de um dos assistentes que medimos.
- Documentação oficial
- developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Gamas de IP oficiais
- Lista em JSON
Se o bloqueares
Sais da Pesquisa Google e, com ela, dos AI Overviews e do Gemini, que se apoiam no mesmo índice.
Deixar entrar ou bloquear
Um grupo próprio faz o Googlebot ignorar as regras do «User-agent: *». Se lá tens Disallow que queres manter para ele, repete-os dentro do grupo dele. Para o deixar entrar, normalmente basta não escrever nada.
Deixar entrar
User-agent: Googlebot Allow: /
Bloquear
User-agent: Googlebot Disallow: /
Testa-o no teu site
Fazemos o diagnóstico do teu site e mostramos-te se o Googlebot pode entrar, com a linha do robots.txt que o decide. Grátis, sem registo.
A ter em conta
Os AI Overviews e o modo IA da Google apoiam-se no índice do Googlebot: bloqueá-lo deixa-te de fora.