Patikrinkite, kuriuos robotus įleidžia jūsų robots.txt
Įveskite svetainę. sus.bot atsisiunčia jos robots.txt ir parodo, kuriuos puslapius gali lankyti kiekviena paieškos sistema ir kiekvienas DI robotas. Taip pat išvardija kelius, kuriuos failas atskleidžia bet kuriam skaitytojui. Patikra vyksta jūsų naršyklėje ir yra nemokama.
Arba įklijuokite robots.txt
Verdiktas
Gaukite pranešimą, kai pasikeičia robots.txt
Stebėsena kas šešias valandas tikrina jūsų ir konkurentų svetaines. Kai failas pasikeičia, gaunate pranešimą „Slack“, „Discord“ arba „Teams“ su pakeistomis eilutėmis ir paveiktais robotais.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
DI duomenų rinkimo būsena
Robotų prieiga
Nustatoma kiekvienam robotui pagal RFC 9309: laimi konkrečiausia grupė, tada ilgiausia taisyklė, o lygiųjų atveju – Allow.
Patikrinti kelią
Patikrinkite bet kurį kelią ar URL su bet kuriuo user-agent.
Tikroji prieiga pagal user-agent
Dar kartą užklausia failo per tarpinį serverį su tikra kiekvieno roboto user-agent eilute. Kitokia būsena ar turinys reiškia, kad serveris tą robotą traktuoja kitaip (botų blokavimas, WAF taisyklės, cloaking).
Problemos
Saugumo pastabos
Disallow taisyklės, rodančios į vietas, kurias užpuolikai tikrina pirmiausia. Tikrinama, ką failas atskleidžia, o ne ar keliai egzistuoja ar yra apsaugoti.
Žvalgyba
Ką svetimas sužino apie šią svetainę vien iš failo: platformą, debesų saugyklas, kitus serverių vardus, API įėjimo taškus, duomenų srautus, failų tipus ir komentaruose paliktas pastabas. Nieko čia neatsisiunčiama ir netikrinama; viskas skaitoma tiesiai iš teksto.
Svetainės žemėlapiai
Failo turinys
Komandinė eilutė ir GitHub Action
Paleiskite tuos pačius patikrinimus terminale arba CI. Kūrimas gali nepavykti, kai pasikeičia taisyklė.
susbot audit https://example.com --fail-on warning
Didelių svetainių robots.txt failai
Kasdien parsisiunčiame 200 didelių svetainių robots.txt ir saugome kiekvieną versiją.
Naršyklės plėtinys
Rodo, ar puslapį, kuriame esate, galima indeksuoti. Dar neišleistas.