Crawl budget: qué es y cómo optimizarlo en 2026

Has entrado en Search Console y ves que hay páginas nuevas que Google tarda días (o semanas) en rastrear, mientras otras zonas de tu web reciben visitas de Googlebot constantemente. Eso es, en esencia, el crawl budget o presupuesto de rastreo: el tiempo y los recursos que Google dedica a rastrear tu sitio en un periodo determinado.

Antes de seguir, una aclaración importante que la propia Google hace explícita: esta es una guía avanzada. Si tu web tiene pocos miles de páginas y lo que publicas se indexa en uno o dos días, el crawl budget no es tu problema. Puedes dejar de leer aquí y centrarte en mantener el sitemap actualizado y revisar el informe de indexación de páginas. Si en cambio gestionas un catálogo grande, un medio con publicación diaria o llevas tiempo viendo páginas atascadas en «Descubierta: actualmente sin indexar», esta guía es para ti.

En este artículo vas a encontrar qué es exactamente el crawl budget y de qué dos factores depende, para qué tipo de sitios importa de verdad, cómo comprobarlo con las herramientas que ya tienes disponibles, qué mitos muy extendidos conviene descartar, y qué prácticas tienen impacto real sobre él.

Qué es el crawl budget: capacidad y demanda de rastreo

Google define el crawl budget como el conjunto de URLs que puede y quiere rastrear en tu sitio. La palabra clave aquí es «puede y quiere»: no es un número fijo que se te asigna, sino el resultado de combinar dos factores independientes.

Capacidad de rastreo (crawl capacity limit)

La capacidad de rastreo, también llamada hostload, es el número máximo de conexiones simultáneas que Google puede mantener abiertas con tu servidor sin sobrecargarlo, junto con el tiempo de espera entre peticiones. Todos los sitios empiezan con el mismo límite conservador por defecto. A partir de ahí, ese límite sube si tu servidor responde con rapidez y de forma estable, y baja si detecta lentitud, errores de servidor (5xx) o señales de limitación de tasa (429). En la práctica: un servidor lento no solo perjudica la experiencia de usuario, también le está diciendo a Google que reduzca la frecuencia con la que te visita.

Un matiz que Google ha aclarado en su documentación más reciente: esta capacidad se comparte entre todos sus rastreadores. Si AdsBot o Googlebot Image están consumiendo mucha capacidad en un momento dado, eso deja menos margen disponible para el rastreo del contenido principal de tu web.

Demanda de rastreo

La demanda de rastreo es, en cambio, cuánto quiere Google rastrear tu sitio, y depende de tres factores principales:

• Inventario percibido: si Google conoce muchas URLs duplicadas, irrelevantes o que no deberían existir, dedica tiempo de rastreo a ellas en lugar de a tu contenido importante. Es el factor sobre el que tienes más control directo.
• Popularidad: las URLs con más enlaces y tráfico tienden a rastrearse con más frecuencia para mantenerlas actualizadas en el índice.
• Frescura (staleness): Google intenta volver a rastrear el contenido con la frecuencia suficiente para detectar cambios reales, no cosméticos.

El crawl budget final de tu sitio es el resultado de cruzar ambos factores: aunque tengas capacidad de sobra, si la demanda es baja, Google simplemente no va a rastrear más.

¿A quién le importa realmente el crawl budget?

Google es explícito sobre esto, y conviene repetirlo porque es habitual que se use el crawl budget como justificación genérica para casi cualquier problema de indexación. La documentación oficial señala tres perfiles de sitio para los que esta guía tiene sentido:

• Sitios grandes, de más de un millón de páginas únicas, con contenido que cambia con una frecuencia moderada (por ejemplo, una vez por semana).
• Sitios medianos o grandes, de más de 10.000 páginas únicas, con contenido que cambia muy rápido (a diario).
• Sitios con una proporción alta de sus URLs totales clasificadas en Search Console como «Descubierta: actualmente sin indexar».

Google aclara que estas cifras son orientativas, no umbrales exactos. Pero el mensaje de fondo es claro: para una web pequeña o mediana con publicación regular, mantener el sitemap al día y revisar el informe de indexación de páginas suele ser suficiente.

El crawl budget no es, en sí mismo, un factor de posicionamiento: es un mecanismo de gestión de recursos por parte de Google, y solo se convierte en un cuello de botella real cuando el volumen o la velocidad de cambio de tu sitio supera lo que Google está dispuesto a rastrear de forma automática.

Cómo comprobar el crawl budget de tu web

El informe de estadísticas de rastreo en Search Console

El punto de partida es el informe de estadísticas de rastreo (Crawl Stats) dentro de Search Console. Ahí puedes ver, entre otras cosas, el número total de peticiones de rastreo por día, el tiempo medio de respuesta de tu servidor, la distribución por tipo de respuesta (200, 301, 404, 5xx…) y el desglose por tipo de rastreador de Google.

Un patrón que conviene vigilar: si el tiempo de respuesta sube de forma sostenida, es razonable esperar que la capacidad de rastreo baje poco después, siguiendo la lógica que hemos visto en la sección anterior.

Análisis de logs de servidor como complemento

El informe de Search Console da una visión agregada, pero no te dice exactamente qué URLs está rastreando Googlebot con más frecuencia, ni cuánto tiempo dedica a secciones que quizá no te interesan (por ejemplo, filtros de una tienda online).

Para eso hace falta analizar los logs de tu propio servidor, cruzando cada petición de Googlebot con la URL solicitada, el código de respuesta y el peso de la página. Es un análisis más técnico, pero es el único que te muestra el comportamiento real del rastreador, en lugar de una media.

Cruzar ese informe de Crawl Stats con los logs de servidor y con el estado real de indexación de cada URL es precisamente el tipo de diagnóstico técnico que hacemos en Parsigo para webs con catálogos grandes o contenido muy dinámico: no para prometerte más tráfico, sino para decirte con datos qué parte de tu presupuesto de rastreo se está desperdiciando y por qué, dentro del bloque de diagnóstico técnico de acceso e indexación del análisis.

Mitos y errores frecuentes sobre el crawl budget

El crawl budget es uno de los temas técnicos de SEO donde más circulan prácticas heredadas de hace años que Google ya ha desmentido explícitamente. Aquí van las más comunes.

Creencia extendida	Qué dice realmente Google
Comprimir el sitemap ahorra crawl budget	No. Google tiene que descargar el sitemap igualmente para leerlo, comprimido o no, así que el ahorro real es mínimo.
Usar noindex libera presupuesto de rastreo de forma inmediata	No de forma directa. Google necesita rastrear la página para ver la etiqueta noindex, así que esa URL sigue consumiendo rastreo. A largo plazo, sacar contenido del índice sí puede reducir el interés de Google por seguir rastreándolo con la misma frecuencia.
El nofollow «esconde» una URL del rastreo	No. Si esa misma URL está enlazada desde cualquier otra página sin nofollow, en tu sitio o fuera de él, Google puede rastrearla igualmente.
El crawl-delay de robots.txt controla la velocidad de Google	No. Es una directiva no estándar que Google no procesa. Para reducir el ritmo de rastreo hay que usar el ajuste de velocidad de rastreo en Search Console.
Los errores 4xx desperdician crawl budget	En general no, salvo el 429 (demasiadas peticiones), que sí es una señal de sobrecarga para el servidor.
El rastreo es un factor de posicionamiento	No. Que una página se rastree más o menos no la hace posicionar mejor o peor; el rastreo es un requisito previo a la indexación, no una señal de ranking.

Buenas prácticas para optimizar el crawl budget

Gestionar el inventario de URLs

Este es, según la propia Google, el factor sobre el que tienes más control directo. Consolida el contenido duplicado en lugar de dejar que existan varias URLs para el mismo contenido, bloquea con robots.txt aquello que no necesita estar en el índice (por ejemplo, resultados de búsqueda interna o vistas ordenadas de forma distinta de un mismo listado), devuelve un código 404 o 410 en páginas eliminadas de forma permanente, y corrige los soft 404: páginas que devuelven un código 200 pero que en realidad están vacías o no encontradas, y que Google sigue rastreando sin necesidad.

Un matiz técnico importante: bloquear una URL con robots.txt no libera automáticamente ese presupuesto para otras páginas. Google solo redistribuye el rastreo sobrante cuando ya está tocando el límite de capacidad de tu sitio.

Mantener los sitemaps actualizados

Google lee tu sitemap con regularidad, así que debe incluir todo el contenido que quieres que se rastree, con la etiqueta <lastmod> reflejando la fecha real del último cambio (no una fecha falsa para simular frescura, algo que Google también desmiente como estrategia útil).

Esto conecta directamente con lo que ya explicamos al hablar de cómo mantener el sitemap actualizado: un sitemap limpio y correcto es, junto con la gestión del inventario de URLs, la base de cualquier optimización de crawl budget.

Mejorar la velocidad de carga y usar cabeceras de caché HTTP

Cuanto más rápido cargan y se procesan tus páginas, más contenido puede leer Google en el mismo tiempo de rastreo. Dos palancas concretas: optimizar los tiempos de respuesta del servidor, y soportar el código de estado 304 (Not Modified).

Si una página no ha cambiado desde la última visita de Google, devolver un 304 le indica que puede reutilizar la copia que ya tiene en caché, ahorrando ancho de banda y recursos de tu servidor en cada visita.

Caso especial: crawl budget en ecommerce y navegación por facetas

Las tiendas online son uno de los casos donde el crawl budget se vuelve un problema real con más facilidad. Los filtros de una categoría (talla, color, precio, marca, orden) pueden combinarse entre sí y generar miles de URLs distintas a partir de un mismo listado de productos, la mayoría sin ningún valor de búsqueda propio. Google acaba dedicando parte de su rastreo a esas combinaciones en lugar de a las fichas de producto o las categorías que sí quieres posicionar.

La solución pasa por lo mismo que ya hemos visto en la gestión del inventario de URLs: decidir qué combinaciones de facetas merecen ser rastreables e indexables, y bloquear o canonicalizar el resto, en lugar de dejar que crezcan sin control.

Cómo conseguir más crawl budget

Google reconoce solo dos formas legítimas de aumentar el crawl budget de un sitio, y ninguna de las dos es un ajuste técnico rápido:

1. Añadir más recursos de servidor. Si el límite lo está marcando la capacidad de tu infraestructura (por ejemplo, si ves el error «hostload excedido» en la herramienta de inspección de URLs), ampliar esa capacidad es la vía directa.
2. Mejorar la calidad y relevancia de tu contenido para el producto de Google concreto al que aspiras (popularidad, singularidad del contenido, valor para el usuario). No hay un atajo técnico para esto: es, literalmente, hacer mejor SEO de contenidos.

Preguntas frecuentes sobre crawl budget

¿Qué es el crawl budget de una web?

Es el tiempo y los recursos que Google dedica a rastrear las páginas de tu sitio en un periodo determinado. Depende de dos factores: la capacidad de rastreo que tu servidor puede soportar sin sobrecargarse, y la demanda de rastreo, es decir, cuánto interés tiene Google en volver a visitar tu contenido.

¿Cómo funciona el crawl budget de Google?

Google combina la capacidad de rastreo (cuántas conexiones simultáneas puede abrir con tu servidor sin sobrecargarlo) con la demanda de rastreo (basada en el inventario de URLs que conoce, la popularidad de tu contenido y su frecuencia de cambio). El resultado de ambos factores es el conjunto de URLs que Google puede y quiere rastrear.

¿Cómo se comprueba o mide el crawl budget de un sitio?

El punto de partida es el informe de estadísticas de rastreo (Crawl Stats) en Search Console, que muestra el volumen de peticiones, el tiempo de respuesta y el desglose por tipo de rastreador. Para un análisis más preciso, se puede complementar con el estudio de los logs de servidor, que muestran exactamente qué URLs rastrea Googlebot y con qué frecuencia.

¿Cómo se puede aumentar o mejorar el crawl budget?

Google reconoce solo dos vías: añadir más recursos de servidor si el límite viene marcado por la capacidad de tu infraestructura, y mejorar la calidad y relevancia de tu contenido. A eso se suman buenas prácticas de gestión de inventario de URLs, sitemaps actualizados y mejoras de velocidad, que ayudan a que Google aproveche mejor el presupuesto que ya tiene asignado.

¿El crawl budget es un factor de posicionamiento en Google?

No. El rastreo es un requisito previo a la indexación, pero no es en sí mismo una señal que Google use para posicionar una página mejor o peor. Una página bien rastreada no posiciona por eso; el problema aparece cuando el rastreo insuficiente impide que una página se indexe a tiempo.

¿Afecta el CMS (por ejemplo WordPress) al crawl budget?

De forma indirecta, sí. Un CMS mal configurado puede generar URLs duplicadas (por parámetros, paginación o versiones con y sin barra final), páginas de baja calidad que Google rastrea sin necesidad, o tiempos de respuesta lentos por plugins mal optimizados. Ninguno de estos problemas es exclusivo de WordPress, pero sí son más frecuentes en instalaciones con muchos plugins acumulados sin revisión.

Conclusión: qué comprobar primero

Antes de invertir tiempo «optimizando» el crawl budget, comprueba si de verdad es tu cuello de botella: revisa el informe de estadísticas de rastreo en Search Console y compáralo con el informe de indexación de páginas. Si tu contenido se indexa en uno o dos días, lo más probable es que el crawl budget no sea el problema que necesitas resolver ahora.

Si en cambio ves páginas atascadas o un tiempo de respuesta que se degrada, empieza por el inventario de URLs: es el factor sobre el que tienes más control directo, y donde suele estar el mayor margen de mejora real.