Directorio

Rastreadores de IA: quiénes son y cómo gestionarlos

Una ficha por cada nombre que puedes usar en el robots.txt, de los rastreadores de IA a los de redes sociales y SEO: quién lo opera, para qué sirve, si cuenta en la nota del diagnóstico y qué pasa si lo bloqueas.

Cada ficha enlaza la documentación oficial del operador, y dice cuándo no la hemos encontrado. Los bloques de robots.txt para copiar los comprueba el mismo lector de robots.txt que usa el diagnóstico.

Para escribir el robots.txt con estos nombres, usa el generador de robots.txt: eliges quién entra, grupo a grupo, y te llevas el archivo listo.

Para saber cuáles de estos bots te visitan de verdad, usa el lector de registros: lee el log de acceso de tu web en tu navegador y confirma la IP de cada visita.

Responden al momento

Van a buscar una página cuando alguien hace una pregunta a un asistente. Cuentan en la nota.

Alimentan un buscador

Construyen el índice del que un asistente saca sus respuestas. Cuentan en la nota.

Otros buscadores y asistentes

Rastrean para buscar o responder, pero para servicios que la nota no mide.

Recogen para entrenar

Recogen textos que sirven para entrenar modelos. Bloquearlos no te saca de las respuestas.

Señales de exclusión

No son rastreadores: son nombres en el robots.txt que limitan el uso de tu contenido por la IA.

Publicidad

Sus operadores los documentan para la publicidad. No cuentan para la nota.

Redes sociales

Leen tu página cuando alguien comparte un enlace, para mostrar el título y la imagen.

Herramientas SEO

Rastrean para herramientas de SEO que usan agencias y competidores para auditar webs.

Nombres retirados

Nombres que el operador ya no incluye en la documentación de sus rastreadores.