Claude-SearchBot
Anthropic · Alimenta un buscador
Claude-SearchBot indexa páginas para mejorar la relevancia y la precisión de las respuestas de búsqueda de Claude. Anthropic dice que sus bots no intentan saltarse los CAPTCHA de las webs que rastrean.
Ficha
- Operador
- Anthropic
- Para qué sirve
- Rastrea la web para construir el índice del que el asistente saca sus respuestas.
- Asistente al que alimenta
- Claude
- Cuenta en la nota de Parsigo
- Sí. Alimenta el índice de uno de los asistentes que medimos.
- Documentación oficial
- support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Rangos de IP oficiales
- Lista en JSON
Si lo bloqueas
Pides que tus páginas queden fuera del índice del que el asistente (Claude) saca sus respuestas.
Dejar entrar o bloquear
Un grupo propio hace que Claude-SearchBot ignore las reglas de «User-agent: *». Si ahí tienes Disallow que quieres mantener para él, repítelos dentro de su grupo. Para dejarlo entrar, normalmente basta con no escribir nada.
Dejar entrar
User-agent: Claude-SearchBot Allow: /
Bloquear
User-agent: Claude-SearchBot Disallow: /
Pruébalo en tu web
Hacemos el diagnóstico de tu web y te enseñamos si Claude-SearchBot puede entrar, con la línea del robots.txt que lo decide. Gratis, sin registro.