AI2Bot
Allen Institute for AI · Recoge para entrenar
El Allen Institute for AI usa lo que encuentra AI2Bot para entrenar modelos de lenguaje abiertos. Su página no menciona el robots.txt; dice que puedes usar el user agent del bot para filtrar o rechazar su tráfico.
Ficha
- Operador
- Allen Institute for AI
- Para qué sirve
- Recoge textos que sirven para entrenar modelos de IA.
- Asistente al que alimenta
- No alimenta las respuestas de ningún asistente
- Cuenta en la nota de Parsigo
- No. Lo que recoge sirve para entrenar modelos, y el entrenamiento no decide si te citan.
- Documentación oficial
- allenai.org/crawler
Si lo bloqueas
Pides que deje de recoger tu contenido. No cambia que te citen ni tu nota.
Dejar entrar o bloquear
Un grupo propio hace que AI2Bot ignore las reglas de «User-agent: *». Si ahí tienes Disallow que quieres mantener para él, repítelos dentro de su grupo. Para dejarlo entrar, normalmente basta con no escribir nada.
Dejar entrar
User-agent: AI2Bot Allow: /
Bloquear
User-agent: AI2Bot Disallow: /
Pruébalo en tu web
Hacemos el diagnóstico de tu web y te enseñamos si AI2Bot puede entrar, con la línea del robots.txt que lo decide. Gratis, sin registro.