CCBot
Common Crawl · Recoge para entrenar
CCBot construye el repositorio abierto de datos de rastreo de Common Crawl, que cualquiera puede consultar y analizar. Common Crawl avisa de que hay rastreadores que se hacen pasar por CCBot; en IPv4, el DNS inverso del auténtico termina en crawl.commoncrawl.org.
Ficha
- Operador
- Common Crawl
- Para qué sirve
- Recoge textos que sirven para entrenar modelos de IA.
- Asistente al que alimenta
- No alimenta las respuestas de ningún asistente
- Cuenta en la nota de Parsigo
- No. Lo que recoge sirve para entrenar modelos, y el entrenamiento no decide si te citan.
- Documentación oficial
- commoncrawl.org/ccbot
- Rangos de IP oficiales
- Lista en JSON
Si lo bloqueas
Pides que deje de recoger tu contenido. No cambia que te citen ni tu nota.
Dejar entrar o bloquear
Un grupo propio hace que CCBot ignore las reglas de «User-agent: *». Si ahí tienes Disallow que quieres mantener para él, repítelos dentro de su grupo. Para dejarlo entrar, normalmente basta con no escribir nada.
Dejar entrar
User-agent: CCBot Allow: /
Bloquear
User-agent: CCBot Disallow: /
Pruébalo en tu web
Hacemos el diagnóstico de tu web y te enseñamos si CCBot puede entrar, con la línea del robots.txt que lo decide. Gratis, sin registro.
A tener en cuenta
Common Crawl alimenta buena parte de los corpus de entrenamiento del sector.