Δείτε ποιους crawlers αφήνει να μπουν το robots.txt σας
Εισαγάγετε έναν ιστότοπο. Το sus.bot φέρνει το robots.txt του και δείχνει ποιες σελίδες μπορεί να επισκεφθεί κάθε μηχανή αναζήτησης και κάθε AI crawler. Δείχνει επίσης τις διαδρομές που αποκαλύπτει το αρχείο σε όποιον το διαβάσει. Ο έλεγχος γίνεται στο πρόγραμμα περιήγησής σας και είναι δωρεάν.
Ή επικολλήστε ένα robots.txt
Ετυμηγορία
Λάβετε μήνυμα όταν αλλάζει ένα robots.txt
Η παρακολούθηση ελέγχει τους ιστότοπούς σας και των ανταγωνιστών σας κάθε έξι ώρες. Όταν αλλάζει ένα αρχείο, λαμβάνετε μήνυμα σε Slack, Discord ή Teams με τις γραμμές που άλλαξαν και τους crawlers που επηρεάζονται.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Κατάσταση AI scraping
Πρόσβαση crawlers
Υπολογίζεται ανά crawler κατά RFC 9309: κερδίζει η πιο συγκεκριμένη ομάδα, μετά ο μακρύτερος κανόνας και στην ισοπαλία το Allow.
Δοκιμή διαδρομής
Ελέγξτε οποιαδήποτε διαδρομή ή URL για οποιονδήποτε user-agent.
Πραγματική πρόσβαση ανά user-agent
Ζητά ξανά το αρχείο μέσω του proxy με την πραγματική συμβολοσειρά user-agent κάθε crawler. Διαφορετική κατάσταση ή σώμα σημαίνει ότι ο διακομιστής αντιμετωπίζει αυτόν τον crawler διαφορετικά (αποκλεισμός bots, κανόνες WAF, cloaking).
Ζητήματα
Σημειώσεις ασφαλείας
Κανόνες Disallow που δείχνουν σε σημεία όπου κοιτούν πρώτα οι επιτιθέμενοι. Ελέγχεται τι αποκαλύπτει το αρχείο, όχι αν οι διαδρομές υπάρχουν ή προστατεύονται.
Αναγνώριση
Τι μαθαίνει ένας άγνωστος για αυτόν τον ιστότοπο μόνο από το αρχείο: την πλατφόρμα, cloud buckets, άλλα hostnames, σημεία εισόδου API, ροές δεδομένων, τύπους αρχείων και σημειώσεις σε σχόλια. Τίποτα εδώ δεν ανακτάται ή ανιχνεύεται· διαβάζεται κατευθείαν από το κείμενο.
Sitemaps
Περιεχόμενο αρχείου
Γραμμή εντολών και GitHub Action
Εκτελέστε τους ίδιους ελέγχους στο τερματικό ή στο CI. Το build μπορεί να αποτύχει όταν αλλάζει ένας κανόνας.
susbot audit https://example.com --fail-on warning
Αρχεία robots.txt μεγάλων ιστότοπων
Κάθε μέρα φέρνουμε το robots.txt 200 μεγάλων ιστότοπων και κρατάμε κάθε έκδοση.
Επέκταση προγράμματος περιήγησης
Δείχνει αν η σελίδα στην οποία βρίσκεστε επιτρέπεται να ανιχνευθεί. Δεν έχει κυκλοφορήσει ακόμη.