CCBot
Common Crawl · Recolhe para treinar
O CCBot constrói o repositório aberto de dados de rastreio do Common Crawl, que qualquer pessoa pode consultar e analisar. O Common Crawl avisa que há rastreadores a fazerem-se passar pelo CCBot; em IPv4, o DNS inverso do verdadeiro termina em crawl.commoncrawl.org.
Ficha
- Operador
- Common Crawl
- Para que serve
- Recolhe textos que servem para treinar modelos de IA.
- Assistente que alimenta
- Não alimenta as respostas de nenhum assistente
- Conta para a nota do Parsigo
- Não. Os textos que recolhe servem para treinar modelos, e o treino não decide se te citam.
- Documentação oficial
- commoncrawl.org/ccbot
- Gamas de IP oficiais
- Lista em JSON
Se o bloqueares
Pedes que deixe de recolher o teu conteúdo. Não muda que te citem nem a tua nota.
Deixar entrar ou bloquear
Um grupo próprio faz o CCBot ignorar as regras do «User-agent: *». Se lá tens Disallow que queres manter para ele, repete-os dentro do grupo dele. Para o deixar entrar, normalmente basta não escrever nada.
Deixar entrar
User-agent: CCBot Allow: /
Bloquear
User-agent: CCBot Disallow: /
Testa-o no teu site
Fazemos o diagnóstico do teu site e mostramos-te se o CCBot pode entrar, com a linha do robots.txt que o decide. Grátis, sem registo.
A ter em conta
O Common Crawl alimenta boa parte dos corpora de treino do setor.