Nézze meg, mely robotokat enged be a robots.txt
Adjon meg egy weboldalt. A sus.bot letölti a robots.txt fájlját, és megmutatja, mely oldalakat látogathatja az egyes keresők és AI-robotok. Felsorolja azokat az útvonalakat is, amelyeket a fájl bárkinek elárul. Az ellenőrzés a böngészőjében fut, és ingyenes.
Vagy illessz be egy robots.txt fájlt
Ítélet
Kapjon üzenetet, ha egy robots.txt megváltozik
A figyelés hatóránként ellenőrzi az Ön és a versenytársai oldalait. Ha egy fájl megváltozik, üzenetet kap Slacken, Discordon vagy Teamsen a módosult sorokkal és az érintett robotokkal.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
MI-adatgyűjtés állapota
Robotok hozzáférése
Robotonként RFC 9309 szerint: a legspecifikusabb csoport nyer, majd a leghosszabb szabály, döntetlennél az Allow.
Útvonal tesztelése
Bármely útvonal vagy URL ellenőrzése bármely user-agenttel.
Valós hozzáférés user-agentenként
Újra lekéri a fájlt a proxyn keresztül minden robot valódi user-agent karakterláncával. Az eltérő állapot vagy tartalom azt jelenti, hogy a szerver másképp kezeli az adott robotot (botblokkolás, WAF-szabályok, cloaking).
Problémák
Biztonsági megjegyzések
Olyan Disallow szabályok, amelyek a támadók által először vizsgált helyekre mutatnak. Ez azt ellenőrzi, mit árul el a fájl, nem azt, hogy az útvonalak léteznek-e vagy védettek-e.
Felderítés
Mit tud meg egy idegen erről a webhelyről pusztán a fájlból: a platformot, felhőtárolókat, más hostneveket, API-belépési pontokat, adatfolyamokat, fájltípusokat és a megjegyzésekben hagyott jegyzeteket. Itt semmit sem töltünk le vagy próbálunk ki; minden közvetlenül a szövegből származik.
Webhelytérképek
A fájl tartalma
Parancssor és GitHub Action
Futtassa ugyanezeket az ellenőrzéseket terminálban vagy CI-ban. A build elbukhat, ha egy szabály változik.
susbot audit https://example.com --fail-on warning
Nagy oldalak robots.txt-fájljai
Naponta letöltjük 200 nagy oldal robots.txt-fájlját, és minden változatot megőrzünk.
Böngészőbővítmény
Megmutatja, feltérképezhető-e az oldal, amelyen éppen van. Még nem jelent meg.