Diffbot-User
Diffbot · Outro motor de busca ou assistente
O Diffbot-User faz pedidos em nome de uma pessoa que navega num URL com software da Diffbot, em resposta ao que ela pede. A Diffbot separa-o do rastreador Diffbot e diz que a Diffbot não rastreia páginas para treinar modelos fundacionais de IA generativa.
Ficha
- Operador
- Diffbot
- Para que serve
- Vai buscar uma página quando alguém lho pede, para um assistente que a nota não mede.
- Assistente que alimenta
- Nenhum dos assistentes que medimos
- Conta para a nota do Parsigo
- Não. Rastreia para pesquisar ou responder, mas não para nenhum dos assistentes que medimos.
- Documentação oficial
- www.diffbot.com/docs/crawl/faq/robots-txt
Se o bloqueares
Pedes que não vá buscar as tuas páginas quando alguém lho pede. A tua nota não muda: não é de nenhum dos assistentes que medimos.
Deixar entrar ou bloquear
Um grupo próprio faz o Diffbot-User ignorar as regras do «User-agent: *». Se lá tens Disallow que queres manter para ele, repete-os dentro do grupo dele. Para o deixar entrar, normalmente basta não escrever nada.
Deixar entrar
User-agent: Diffbot-User Allow: /
Bloquear
User-agent: Diffbot-User Disallow: /
Testa-o no teu site
Fazemos o diagnóstico do teu site e mostramos-te se o Diffbot-User pode entrar, com a linha do robots.txt que o decide. Grátis, sem registo.