Diffbot
Diffbot · Otro buscador o asistente
Diffbot rastrea para construir un buscador general para su Knowledge Graph y su búsqueda web, y dice que este rastreo no se usa para entrenar IA. Por defecto respeta el robots.txt y el Crawl-delay, pero puede saltárselos si un cliente de Diffbot tiene un acuerdo con la web.
Ficha
- Operador
- Diffbot
- Para qué sirve
- Rastrea para un buscador o asistente que la nota no mide.
- Asistente al que alimenta
- Ninguno de los asistentes que medimos
- Cuenta en la nota de Parsigo
- No. Rastrea para buscar o responder, pero no para ninguno de los asistentes que medimos.
- Documentación oficial
- www.diffbot.com/docs/crawl/faq/robots-txt
Si lo bloqueas
Pides que tus páginas queden fuera del servicio para el que rastrea. Tu nota no cambia: no es de ninguno de los asistentes que medimos.
Dejar entrar o bloquear
Un grupo propio hace que Diffbot ignore las reglas de «User-agent: *». Si ahí tienes Disallow que quieres mantener para él, repítelos dentro de su grupo. Para dejarlo entrar, normalmente basta con no escribir nada.
Dejar entrar
User-agent: Diffbot Allow: /
Bloquear
User-agent: Diffbot Disallow: /
Pruébalo en tu web
Hacemos el diagnóstico de tu web y te enseñamos si Diffbot puede entrar, con la línea del robots.txt que lo decide. Gratis, sin registro.