Comprueba qué rastreadores deja entrar tu robots.txt
Introduce un sitio web. sus.bot descarga su robots.txt y muestra qué páginas puede visitar cada buscador y cada rastreador de IA. También enumera las rutas que el archivo revela a quien lo lea. La comprobación se hace en tu navegador y es gratuita.
O pega un robots.txt
Veredicto
Recibe un mensaje cuando cambie un robots.txt
La vigilancia revisa tus sitios y los de tu competencia cada seis horas. Cuando un archivo cambia, recibes un mensaje en Slack, Discord o Teams con las líneas modificadas y los rastreadores afectados.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Estado del scraping por IA
Acceso de rastreadores
Resuelto por rastreador según RFC 9309: gana el grupo más específico, luego la regla más larga, y en empate Allow.
Probar una ruta
Comprueba cualquier ruta o URL con cualquier user-agent.
Acceso real por user-agent
Vuelve a pedir el archivo a través del proxy con la cadena user-agent real de cada rastreador. Un estado o cuerpo distinto significa que el servidor trata a ese rastreador de forma diferente (bloqueo de bots, reglas WAF, cloaking).
Problemas
Notas de seguridad
Reglas Disallow que apuntan a los lugares donde los atacantes miran primero. Esto comprueba lo que el archivo revela, no si las rutas existen o están protegidas.
Reconocimiento
Lo que un desconocido aprende de este sitio solo con el archivo: la plataforma que usa, buckets en la nube, otros nombres de host, puntos de entrada de API, feeds de datos, tipos de archivo y notas dejadas en comentarios. Nada de esto se descarga ni se sondea; se lee directamente del texto.
Sitemaps
Contenido del archivo
Línea de comandos y GitHub Action
Ejecuta las mismas comprobaciones en tu terminal o en CI. El build puede fallar cuando cambia una regla.
susbot audit https://example.com --fail-on warning
Archivos robots.txt de sitios grandes
Descargamos cada día el robots.txt de 200 sitios grandes y guardamos cada versión.
Extensión del navegador
Muestra si la página en la que estás se puede rastrear. Aún no está publicada.