Diffbot-User
Diffbot · Otro buscador o asistente
Diffbot-User hace peticiones en nombre de una persona que navega por una URL con software de Diffbot, en respuesta a lo que pide. Diffbot lo separa del rastreador Diffbot y dice que Diffbot no rastrea páginas para entrenar modelos fundacionales de IA generativa.
Ficha
- Operador
- Diffbot
- Para qué sirve
- Va a buscar una página cuando alguien se lo pide, para un asistente que la nota no mide.
- Asistente al que alimenta
- Ninguno de los asistentes que medimos
- Cuenta en la nota de Parsigo
- No. Rastrea para buscar o responder, pero no para ninguno de los asistentes que medimos.
- Documentación oficial
- www.diffbot.com/docs/crawl/faq/robots-txt
Si lo bloqueas
Pides que no vaya a buscar tus páginas cuando alguien se lo pide. Tu nota no cambia: no es de ninguno de los asistentes que medimos.
Dejar entrar o bloquear
Un grupo propio hace que Diffbot-User ignore las reglas de «User-agent: *». Si ahí tienes Disallow que quieres mantener para él, repítelos dentro de su grupo. Para dejarlo entrar, normalmente basta con no escribir nada.
Dejar entrar
User-agent: Diffbot-User Allow: /
Bloquear
User-agent: Diffbot-User Disallow: /
Pruébalo en tu web
Hacemos el diagnóstico de tu web y te enseñamos si Diffbot-User puede entrar, con la línea del robots.txt que lo decide. Gratis, sin registro.