Provjerite koje crawlere vaš robots.txt pušta unutra
Unesite web-stranicu. sus.bot dohvaća njezin robots.txt i pokazuje koje stranice smije posjetiti svaka tražilica i svaki AI crawler. Navodi i putanje koje datoteka otkriva svakome tko je pročita. Provjera se izvodi u vašem pregledniku i besplatna je.
Ili zalijepite robots.txt
Presuda
Primite poruku kada se robots.txt promijeni
Praćenje provjerava vaše i konkurentske stranice svakih šest sati. Kada se datoteka promijeni, dobivate poruku u Slacku, Discordu ili Teamsu s promijenjenim redcima i crawlerima na koje to utječe.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Status AI prikupljanja
Pristup alata za indeksiranje
Određeno po crawleru prema RFC 9309: pobjeđuje najspecifičnija grupa, zatim najdulje pravilo, a pri izjednačenju Allow.
Testiraj putanju
Provjerite bilo koju putanju ili URL za bilo koji user-agent.
Stvarni pristup po user-agentu
Ponovno zatraži datoteku putem proxyja sa stvarnim user-agent nizom svakog alata. Drugačiji status ili sadržaj znači da poslužitelj taj alat tretira drugačije (blokiranje botova, WAF pravila, cloaking).
Problemi
Sigurnosne napomene
Disallow pravila koja upućuju na mjesta koja napadači prvo provjeravaju. Provjerava se što datoteka otkriva, a ne postoje li putanje ili jesu li zaštićene.
Izviđanje
Što stranac saznaje o ovoj stranici samo iz datoteke: platformu, cloud buckete, druga imena hostova, ulazne točke API-ja, podatkovne feedove, vrste datoteka i bilješke u komentarima. Ništa se ovdje ne dohvaća niti ispituje; čita se izravno iz teksta.
Sitemape
Sadržaj datoteke
Naredbeni redak i GitHub Action
Pokrenite iste provjere u terminalu ili u CI-ju. Build može pasti kada se pravilo promijeni.
susbot audit https://example.com --fail-on warning
Datoteke robots.txt velikih stranica
Svaki dan dohvaćamo robots.txt 200 velikih stranica i čuvamo svaku verziju.
Proširenje za preglednik
Pokazuje smije li se stranica na kojoj ste pretraživati. Još nije objavljeno.