Googlebot
Google · Alimenta un buscador
Googlebot rastrea para la Búsqueda de Google y Discover, además de Google Imágenes, Vídeos y Noticias, y Google dice que respeta siempre el robots.txt cuando rastrea de forma automática. Googlebot-Image, Googlebot-Video y Googlebot-News también obedecen las reglas escritas para Googlebot.
Ficha
- Operador
- Para qué sirve
- Es el rastreador de la Búsqueda de Google. AI Overviews y Gemini se apoyan en el mismo índice.
- Asistente al que alimenta
- Google: AI Overviews y Gemini
- Cuenta en la nota de Parsigo
- Sí. Alimenta el índice de uno de los asistentes que medimos.
- Documentación oficial
- developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Rangos de IP oficiales
- Lista en JSON
Si lo bloqueas
Sales de la Búsqueda de Google y, con ella, de AI Overviews y Gemini, que se apoyan en el mismo índice.
Dejar entrar o bloquear
Un grupo propio hace que Googlebot ignore las reglas de «User-agent: *». Si ahí tienes Disallow que quieres mantener para él, repítelos dentro de su grupo. Para dejarlo entrar, normalmente basta con no escribir nada.
Dejar entrar
User-agent: Googlebot Allow: /
Bloquear
User-agent: Googlebot Disallow: /
Pruébalo en tu web
Hacemos el diagnóstico de tu web y te enseñamos si Googlebot puede entrar, con la línea del robots.txt que lo decide. Gratis, sin registro.
A tener en cuenta
Los AI Overviews y el modo IA de Google se apoyan en el índice de Googlebot: bloquearlo te deja fuera.