GPTBot: o que é e como configurá-lo no robots.txt

Q: O que acontece se o robots.txt não mencionar o GPTBot?

O GPTBot segue as regras do grupo User-agent: *. Se não houver nenhuma regra aplicável, o acesso é considerado permitido, incluindo para treino.

Em resumo

O GPTBot é o rastreador que a OpenAI usa para recolher conteúdo público destinado ao treino dos seus modelos de IA generativa.
Bloquear o GPTBot no robots.txt só afeta o treino futuro: não retira o teu site da pesquisa do ChatGPT, que depende de outro rastreador, o OAI-SearchBot.
A OpenAI usa quatro user-agents diferentes (GPTBot, OAI-SearchBot, ChatGPT-User e OAI-AdsBot), e cada um é controlado de forma independente.
Se criares um grupo User-agent: GPTBot, o GPTBot passa a ignorar as regras do grupo User-agent: *. É o erro de configuração mais comum.
Uma permissão no robots.txt não garante o acesso: o firewall pode continuar a bloquear o rastreador com um 403 ou um 429.

Abriste o robots.txt do teu site e encontraste uma linha User-agent: GPTBot seguida de Disallow: /, sem saber quem a acrescentou nem o que está a bloquear? É uma situação frequente: muitos templates, plugins de SEO e CDN passaram a incluir esta regra por defeito.

Neste guia explicamos o que é o GPTBot, em que se distingue dos outros rastreadores da OpenAI, como configurá-lo no robots.txt com exemplos prontos a usar e como confirmar que a configuração está a funcionar.

O que é o GPTBot?

O GPTBot é o rastreador web da OpenAI que recolhe conteúdo publicamente acessível que pode ser usado no treino dos seus modelos de IA generativa. Segundo a documentação oficial da OpenAI, bloqueá-lo indica que o conteúdo do site não deve ser usado nesse treino.

Identifica-se com o seguinte user-agent:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Há dois pontos a reter:

O bloqueio não é retroativo. Afeta apenas a recolha futura. O conteúdo já usado em modelos treinados não é removido.
A versão muda sem aviso. O número a seguir a GPTBot/ é atualizado pela OpenAI. No robots.txt e nas regras de firewall, usa apenas o token GPTBot, e nunca a string completa com a versão.

Os quatro rastreadores da OpenAI e o que controla cada um

A OpenAI não tem um único bot, tem quatro. Cada um tem uma função diferente e é configurado em separado no robots.txt:

User-agent	Função	Treina modelos?	Respeita o robots.txt?	Efeito de o bloquear
GPTBot	Recolhe conteúdo para treino de modelos futuros	Sim	Sim	O conteúdo deixa de ser usado em treinos futuros
OAI-SearchBot	Indexa conteúdo para a pesquisa do ChatGPT	Não	Sim	O site deixa de aparecer nas respostas com pesquisa do ChatGPT
ChatGPT-User	Visita uma página quando um utilizador ou um Custom GPT o pede	Não	Não necessariamente, porque a ação é iniciada pelo utilizador	Incerto: só o firewall garante o bloqueio
OAI-AdsBot	Valida a segurança de páginas submetidas como anúncios no ChatGPT	Não	Só visita páginas submetidas como anúncio	Relevante apenas para quem anuncia no ChatGPT

Bloquear o GPTBot não te tira do ChatGPT

É a confusão mais comum. O GPTBot controla o treino; a visibilidade nas respostas com pesquisa do ChatGPT depende do OAI-SearchBot. A própria OpenAI indica que as definições são independentes: um site pode permitir o OAI-SearchBot para aparecer na pesquisa e bloquear o GPTBot para ficar fora do treino.

O erro inverso também acontece: bloquear tudo o que tenha «GPT» ou «OpenAI» no nome, incluindo o OAI-SearchBot, e perder a presença na pesquisa do ChatGPT sem perceber porquê.

Como configurar o GPTBot no robots.txt: exemplos

O robots.txt fica sempre na raiz do domínio (teusite.com/robots.txt). Estes são os quatro cenários mais comuns.

Bloquear o GPTBot em todo o site

User-agent: GPTBot
Disallow: /

Permitir o GPTBot em todo o site

User-agent: GPTBot
Allow: /

Bloquear apenas alguns diretórios

Útil para manter fora do treino áreas de clientes, conteúdo pago ou páginas de conta, deixando o resto acessível:

User-agent: GPTBot
Disallow: /area-cliente/
Disallow: /premium/
Allow: /

Ficar fora do treino, mas visível na pesquisa do ChatGPT

É a configuração que muitos sites procuram e raramente aplicam bem:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Sitemap: https://teusite.com/sitemap.xml

O erro que anula as tuas regras gerais

Segundo a norma do robots.txt (RFC 9309), um rastreador segue apenas o grupo de regras mais específico para o seu user-agent. Se existir um grupo User-agent: GPTBot, o GPTBot ignora por completo o grupo User-agent: *.

Na prática, isto significa que, se bloqueaste /wp-admin/ ou /carrinho/ para todos os bots e depois criaste um grupo só para o GPTBot com Allow: /, essas áreas ficam abertas para o GPTBot. Qualquer regra geral que queiras manter tem de ser repetida dentro do grupo específico.

Se o robots.txt não mencionar o GPTBot, aplicam-se as regras de User-agent: *. Se não houver regras nenhumas, o acesso é considerado permitido.

E os outros rastreadores de IA?

A mesma lógica aplica-se aos rastreadores de outras empresas, cada um com o seu token: ClaudeBot e Claude-SearchBot (Anthropic), PerplexityBot (Perplexity) e Google-Extended (treino e fundamentação do Gemini, sem efeito no posicionamento na Pesquisa Google). Decidir o que bloquear exige separar, em cada empresa, o rastreador de treino do rastreador de pesquisa.

Como verificar se um pedido vem mesmo do GPTBot

O user-agent pode ser falsificado por qualquer scraper. Para confirmar que um pedido vem mesmo da OpenAI:

Filtra nos logs do servidor os pedidos com o token GPTBot no user-agent.
Compara o IP de origem com a lista oficial publicada pela OpenAI em openai.com/gptbot.json.
Faz o mesmo para os outros agentes: searchbot.json para o OAI-SearchBot e chatgpt-user.json para o ChatGPT-User.
Trata como suspeito qualquer pedido que use o user-agent da OpenAI a partir de um IP fora destas listas.

Quanto tempo demora uma alteração no robots.txt a ter efeito?

Para o OAI-SearchBot, a OpenAI indica que os seus sistemas podem demorar cerca de 24 horas a ajustar-se depois de uma alteração no robots.txt. Para o GPTBot não há um prazo publicado. Depois de alterares a configuração, acompanha os logs durante vários dias para confirmar que o comportamento mudou.

Quando o robots.txt diz que sim e o firewall diz que não

Permitir o GPTBot no robots.txt não garante que ele consiga entrar. Firewalls e WAF como os da Cloudflare, Akamai ou AWS podem devolver um 403 ou um 429, ou apresentar um desafio de CAPTCHA que o rastreador não consegue resolver. O robots.txt é uma instrução; o firewall é quem decide se a porta abre.

Por isso, o robots.txt e as regras de firewall têm de ser revistos em conjunto. Explicamos como detetar estes bloqueios no artigo sobre o firewall que bloqueia rastreadores de IA.

Como testar o robots.txt para o GPTBot

O antigo testador de robots.txt da Google foi descontinuado e substituído pelo relatório de robots.txt do Search Console, que só mostra o comportamento dos rastreadores da Google. Para testar os rastreadores da OpenAI, há três verificações complementares:

Ler o ficheiro tal como é servido: abre teusite.com/robots.txt e confirma que o grupo GPTBot existe e não está anulado por outro grupo.
Simular o user-agent: um pedido com o user-agent do GPTBot (por exemplo, curl -A "GPTBot" https://teusite.com/) mostra se o servidor ou o firewall respondem com 200, 403 ou 429. Atenção: só testa regras baseadas no user-agent, não regras por IP.
Confirmar nos logs: é a única prova de que o GPTBot real está a aceder, ou a ser bloqueado, depois da alteração.

O acesso é apenas a primeira condição. Mesmo com a porta aberta, um rastreador de IA pode receber uma página praticamente vazia se o conteúdo depender de JavaScript, como explicamos no artigo sobre legibilidade para rastreadores de IA. Para uma revisão completa, vê o que deve incluir uma auditoria SEO técnica.

Checklist antes de publicar o teu robots.txt

A decisão sobre o GPTBot é intencional, e não uma regra herdada de um template ou de um plugin.
O OAI-SearchBot e o ChatGPT-User foram revistos em separado do GPTBot.
As regras gerais de User-agent: * que queres manter estão repetidas dentro do grupo GPTBot.
As regras usam apenas o token GPTBot, sem número de versão.
O firewall não contradiz o que o robots.txt autoriza.
O ficheiro inclui a linha Sitemap: com o URL do sitemap.
Os logs foram verificados alguns dias depois da alteração.

Perguntas frequentes sobre o GPTBot e o robots.txt

Bloquear o GPTBot afeta o posicionamento na Google?

Não. O GPTBot é um rastreador da OpenAI e não tem qualquer relação com os sistemas de pesquisa da Google. Para controlar o uso do teu conteúdo no treino do Gemini, o token é o Google-Extended, que também não afeta o posicionamento na Pesquisa Google.

Bloquear o GPTBot tira o meu site das respostas do ChatGPT?

Não. A presença nas respostas com pesquisa do ChatGPT depende do OAI-SearchBot. Bloquear o GPTBot só impede que o conteúdo seja usado em treinos futuros.

O GPTBot e o ChatGPT-User são o mesmo rastreador?

Não. O GPTBot recolhe conteúdo de forma automática para treino. O ChatGPT-User visita uma página apenas quando um utilizador ou um Custom GPT o pede durante uma conversa, e a OpenAI indica que, nesse caso, as regras do robots.txt podem não se aplicar.

O que acontece se o robots.txt não mencionar o GPTBot?

O GPTBot segue as regras do grupo User-agent: *. Se não houver nenhuma regra aplicável, o acesso é considerado permitido, incluindo para treino.

Como sei se um pedido vem mesmo do GPTBot?

Compara o IP de origem do pedido com a lista oficial publicada pela OpenAI em openai.com/gptbot.json. O user-agent pode ser falsificado; o IP é a verificação fiável.

Bloquear o GPTBot remove o meu conteúdo dos modelos já treinados?

Não. O bloqueio só afeta a recolha futura. O conteúdo usado em treinos anteriores não é retirado dos modelos existentes.

Devo bloquear o GPTBot?

Depende do teu objetivo. Se o conteúdo é o teu produto (conteúdo pago, investigação própria, bases de dados), faz sentido bloqueá-lo. Se o objetivo é visibilidade e reconhecimento de marca, mantê-lo aberto é coerente com essa estratégia. Em qualquer caso, a decisão deve ser tomada em separado da do OAI-SearchBot.

GPTBot: o que é e como configurá-lo no teu robots.txt