AI2Bot
Allen Institute for AI · Recolhe para treinar
O Allen Institute for AI usa o que o AI2Bot encontra para treinar modelos de linguagem abertos. A página dele não menciona o robots.txt; diz que podes usar o user agent do bot para filtrar ou rejeitar o tráfego.
Ficha
- Operador
- Allen Institute for AI
- Para que serve
- Recolhe textos que servem para treinar modelos de IA.
- Assistente que alimenta
- Não alimenta as respostas de nenhum assistente
- Conta para a nota do Parsigo
- Não. Os textos que recolhe servem para treinar modelos, e o treino não decide se te citam.
- Documentação oficial
- allenai.org/crawler
Se o bloqueares
Pedes que deixe de recolher o teu conteúdo. Não muda que te citem nem a tua nota.
Deixar entrar ou bloquear
Um grupo próprio faz o AI2Bot ignorar as regras do «User-agent: *». Se lá tens Disallow que queres manter para ele, repete-os dentro do grupo dele. Para o deixar entrar, normalmente basta não escrever nada.
Deixar entrar
User-agent: AI2Bot Allow: /
Bloquear
User-agent: AI2Bot Disallow: /
Testa-o no teu site
Fazemos o diagnóstico do teu site e mostramos-te se o AI2Bot pode entrar, com a linha do robots.txt que o decide. Grátis, sem registo.