Preverite, katere pajke vaš robots.txt spusti noter
Vnesite spletno mesto. sus.bot prenese njegov robots.txt in pokaže, katere strani sme obiskati vsak iskalnik in vsak pajek UI. Navede tudi poti, ki jih datoteka razkrije vsakomur, ki jo prebere. Preverjanje poteka v vašem brskalniku in je brezplačno.
Ali prilepite robots.txt
Razsodba
Prejmite sporočilo, ko se robots.txt spremeni
Spremljanje vsakih šest ur preveri vaša in konkurenčna spletna mesta. Ko se datoteka spremeni, prejmete sporočilo v Slack, Discord ali Teams s spremenjenimi vrsticami in prizadetimi pajki.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Stanje zbiranja podatkov za UI
Dostop pajkov
Določeno za vsakega pajka po RFC 9309: zmaga najbolj specifična skupina, nato najdaljše pravilo, pri izenačenju pa Allow.
Preizkusi pot
Preverite katero koli pot ali URL za kateri koli user-agent.
Dejanski dostop po user-agentu
Datoteko ponovno zahteva prek posrednika s pravim nizom user-agent vsakega pajka. Drugačen status ali vsebina pomeni, da strežnik tega pajka obravnava drugače (blokiranje botov, pravila WAF, cloaking).
Težave
Varnostne opombe
Pravila Disallow, ki kažejo na mesta, kamor napadalci pogledajo najprej. Preverja se, kaj datoteka razkriva, ne ali poti obstajajo ali so zaščitene.
Izvidovanje
Kaj neznanec izve o tem spletnem mestu zgolj iz datoteke: platformo, oblačne vsebnike, druga imena gostiteljev, vstopne točke API, podatkovne vire, vrste datotek in zapiske v komentarjih. Tu se nič ne pridobiva ali preizkuša; vse se bere neposredno iz besedila.
Kazala spletnega mesta
Vsebina datoteke
Ukazna vrstica in GitHub Action
Zaženite iste preglede v terminalu ali v CI. Gradnja lahko spodleti, ko se pravilo spremeni.
susbot audit https://example.com --fail-on warning
Datoteke robots.txt velikih spletnih mest
Vsak dan prenesemo robots.txt 200 velikih spletnih mest in hranimo vsako različico.
Razširitev brskalnika
Pokaže, ali smejo pajki obiskati stran, na kateri ste. Še ni izdano.