SemrushBot
Semrush · Herramienta SEO
SemrushBot construye el índice de enlaces de Backlink Analytics, de Semrush. Respeta el Crawl-delay hasta 10 segundos y lee el robots.txt de cada subdominio: uno sin archivo propio se considera abierto al rastreo.
Ficha
- Operador
- Semrush
- Para qué sirve
- Rastrea para una herramienta de SEO que usan agencias y competidores para auditar webs.
- Asistente al que alimenta
- No alimenta las respuestas de ningún asistente
- Cuenta en la nota de Parsigo
- No. Es una herramienta de SEO, no de IA.
- Documentación oficial
- www.semrush.com/bot
Si lo bloqueas
Le pides a la herramienta que deje de analizar tu web. Es decisión tuya, y tu nota no cambia.
Dejar entrar o bloquear
Un grupo propio hace que SemrushBot ignore las reglas de «User-agent: *». Si ahí tienes Disallow que quieres mantener para él, repítelos dentro de su grupo. Para dejarlo entrar, normalmente basta con no escribir nada.
Dejar entrar
User-agent: SemrushBot Allow: /
Bloquear
User-agent: SemrushBot Disallow: /
Pruébalo en tu web
Hacemos el diagnóstico de tu web y te enseñamos si SemrushBot puede entrar, con la línea del robots.txt que lo decide. Gratis, sin registro.
A tener en cuenta
Solo cubre el índice de enlaces. La auditoría de Semrush usa otro token, SiteAuditBot, que se bloquea aparte.