Vérifiez quels robots votre robots.txt laisse entrer
Saisissez un site. sus.bot récupère son robots.txt et montre quelles pages chaque moteur de recherche et chaque robot d'IA peut visiter. Il liste aussi les chemins que le fichier révèle à quiconque le lit. La vérification se fait dans votre navigateur et elle est gratuite.
Coller un robots.txt à la place
Verdict
Recevez un message quand un robots.txt change
La surveillance vérifie vos sites et ceux de vos concurrents toutes les six heures. Quand un fichier change, vous recevez un message dans Slack, Discord ou Teams avec les lignes modifiées et les robots concernés.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Statut du scraping par l'IA
Accès des robots
Calculé par robot selon la RFC 9309 : le groupe le plus spécifique l'emporte, puis la règle la plus longue, et Allow en cas d'égalité.
Tester un chemin
Testez n'importe quel chemin ou URL avec n'importe quel user-agent.
Accès réel par user-agent
Redemande le fichier via le proxy avec la vraie chaîne user-agent de chaque robot. Un statut ou un contenu différent signifie que le serveur traite ce robot différemment (blocage de bots, règles WAF, cloaking).
Problèmes
Notes de sécurité
Règles Disallow qui pointent vers les endroits que les attaquants regardent en premier. Ceci vérifie ce que le fichier révèle, pas si les chemins existent ou sont protégés.
Reconnaissance
Ce qu'un inconnu apprend sur ce site à partir du seul fichier : la plateforme utilisée, les buckets cloud, d'autres noms d'hôte, les points d'entrée d'API, les flux de données, les types de fichiers et les notes laissées dans les commentaires. Rien n'est récupéré ni sondé ; tout est lu directement dans le texte.
Sitemaps
Contenu du fichier
Ligne de commande et GitHub Action
Lancez les mêmes contrôles dans votre terminal ou en CI. Le build peut échouer quand une règle change.
susbot audit https://example.com --fail-on warning
Fichiers robots.txt de grands sites
Nous récupérons chaque jour le robots.txt de 200 grands sites et gardons chaque version.
Extension de navigateur
Indique si la page que vous consultez peut être explorée. Pas encore publiée.