Pārbaudiet, kurus rāpuļus jūsu robots.txt ielaiž
Ievadiet vietni. sus.bot ielādē tās robots.txt un parāda, kuras lapas drīkst apmeklēt katra meklētājprogramma un katrs MI rāpulis. Tas uzskaita arī ceļus, ko fails atklāj ikvienam lasītājam. Pārbaude notiek jūsu pārlūkā un ir bez maksas.
Vai ielīmējiet robots.txt
Spriedums
Saņemiet ziņu, kad robots.txt mainās
Uzraudzība ik pēc sešām stundām pārbauda jūsu un konkurentu vietnes. Kad fails mainās, jūs saņemat ziņu Slack, Discord vai Teams ar mainītajām rindām un skartajiem rāpuļiem.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
MI datu vākšanas statuss
Rāpuļprogrammu piekļuve
Noteikts katram rāpulim pēc RFC 9309: uzvar specifiskākā grupa, tad garākais noteikums, bet neizšķirta gadījumā Allow.
Pārbaudīt ceļu
Pārbaudiet jebkuru ceļu vai URL ar jebkuru user-agent.
Reālā piekļuve pēc user-agent
Pieprasa failu vēlreiz caur starpniekserveri ar katras rāpuļprogrammas īsto user-agent virkni. Atšķirīgs statuss vai saturs nozīmē, ka serveris pret šo rāpuļprogrammu izturas citādi (botu bloķēšana, WAF noteikumi, cloaking).
Problēmas
Drošības piezīmes
Disallow noteikumi, kas norāda uz vietām, kuras uzbrucēji pārbauda vispirms. Tiek pārbaudīts, ko fails atklāj, nevis vai ceļi pastāv vai ir aizsargāti.
Izlūkošana
Ko svešinieks uzzina par šo vietni tikai no faila: platformu, mākoņkrātuves, citus resursdatoru nosaukumus, API ieejas punktus, datu plūsmas, failu tipus un komentāros atstātās piezīmes. Nekas šeit netiek ielādēts vai pārbaudīts; viss tiek nolasīts tieši no teksta.
Vietnes kartes
Faila saturs
Komandrinda un GitHub Action
Palaidiet tās pašas pārbaudes terminālī vai CI. Būvējums var neizdoties, kad mainās noteikums.
susbot audit https://example.com --fail-on warning
Lielu vietņu robots.txt faili
Katru dienu ielādējam 200 lielu vietņu robots.txt un saglabājam katru versiju.
Pārlūka paplašinājums
Parāda, vai lapu, kurā atrodaties, drīkst pārmeklēt. Vēl nav izlaists.