Verificați ce crawleri lasă să intre fișierul robots.txt
Introduceți un site. sus.bot descarcă fișierul robots.txt și arată ce pagini poate vizita fiecare motor de căutare și fiecare crawler AI. Enumeră și căile pe care fișierul le dezvăluie oricui îl citește. Verificarea rulează în browser și este gratuită.
Sau lipește un robots.txt
Verdict
Primiți un mesaj când se schimbă un robots.txt
Monitorizarea verifică site-urile dvs. și ale concurenților la fiecare șase ore. Când un fișier se schimbă, primiți un mesaj în Slack, Discord sau Teams cu liniile modificate și crawlerii afectați.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Starea scrapingului AI
Accesul crawlerelor
Rezolvat pe crawler conform RFC 9309: câștigă grupul cel mai specific, apoi regula cea mai lungă, iar la egalitate Allow.
Testează o cale
Verificați orice cale sau URL pentru orice user-agent.
Acces real pe user-agent
Cere fișierul din nou prin proxy cu șirul user-agent real al fiecărui crawler. Un status sau un conținut diferit înseamnă că serverul tratează acel crawler diferit (blocare de boți, reguli WAF, cloaking).
Probleme
Note de securitate
Reguli Disallow care indică locurile în care atacatorii se uită mai întâi. Se verifică ce dezvăluie fișierul, nu dacă respectivele căi există sau sunt protejate.
Recunoaștere
Ce află un străin despre acest site doar din fișier: platforma, bucket-urile cloud, alte nume de gazdă, puncte de intrare API, fluxuri de date, tipuri de fișiere și notițe lăsate în comentarii. Nimic de aici nu este preluat sau sondat; totul este citit direct din text.
Sitemap-uri
Conținutul fișierului
Linie de comandă și GitHub Action
Rulați aceleași verificări în terminal sau în CI. Build-ul poate eșua când se schimbă o regulă.
susbot audit https://example.com --fail-on warning
Fișiere robots.txt ale site-urilor mari
Preluăm zilnic robots.txt pentru 200 site-uri mari și păstrăm fiecare versiune.
Extensie de browser
Arată dacă pagina pe care vă aflați poate fi accesată de crawleri. Încă nu a fost lansată.