Sprawdź, które crawlery wpuszcza Twój robots.txt
Wpisz witrynę. sus.bot pobiera jej robots.txt i pokazuje, które strony może odwiedzać każda wyszukiwarka i każdy crawler AI. Wypisuje też ścieżki, które plik zdradza każdemu, kto go przeczyta. Sprawdzanie działa w przeglądarce i jest bezpłatne.
Albo wklej robots.txt
Werdykt
Otrzymuj wiadomość, gdy robots.txt się zmieni
Monitoring sprawdza Twoje witryny i witryny konkurencji co sześć godzin. Gdy plik się zmieni, dostajesz wiadomość w Slacku, Discordzie lub Teams ze zmienionymi wierszami i crawlerami, których to dotyczy.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Status scrapingu przez AI
Dostęp robotów
Rozstrzygane dla każdego crawlera według RFC 9309: wygrywa najbardziej szczegółowa grupa, potem najdłuższa reguła, a przy remisie Allow.
Przetestuj ścieżkę
Sprawdź dowolną ścieżkę lub URL dla dowolnego user-agenta.
Rzeczywisty dostęp według user-agenta
Ponownie pobiera plik przez proxy z prawdziwym ciągiem user-agent każdego robota. Inny status lub treść oznacza, że serwer traktuje tego robota inaczej (blokowanie botów, reguły WAF, cloaking).
Problemy
Uwagi dotyczące bezpieczeństwa
Reguły Disallow wskazujące miejsca, które atakujący sprawdzają w pierwszej kolejności. Sprawdzane jest to, co plik ujawnia, a nie to, czy ścieżki istnieją lub są chronione.
Rekonesans
Czego obcy dowiaduje się o tej witrynie z samego pliku: platforma, zasobniki w chmurze, inne nazwy hostów, punkty wejścia API, kanały danych, typy plików i notatki pozostawione w komentarzach. Nic tu nie jest pobierane ani sondowane; wszystko jest odczytywane wprost z tekstu.
Mapy witryny
Zawartość pliku
Wiersz poleceń i GitHub Action
Uruchom te same testy w terminalu lub w CI. Build może się nie powieść, gdy zmieni się reguła.
susbot audit https://example.com --fail-on warning
Pliki robots.txt dużych witryn
Codziennie pobieramy robots.txt 200 dużych witryn i zachowujemy każdą wersję.
Rozszerzenie przeglądarki
Pokazuje, czy strona, na której jesteś, może być indeksowana. Jeszcze nie wydane.