Kontrolli, milliseid roomajaid su robots.txt sisse laseb
Sisesta veebisait. sus.bot laadib selle robots.txt faili ja näitab, milliseid lehti iga otsingumootor ja tehisintellekti roomaja külastada tohib. Samuti loetleb see teed, mida fail igale lugejale paljastab. Kontroll toimub sinu brauseris ja on tasuta.
Või kleebi robots.txt
Otsus
Saa teade, kui robots.txt muutub
Jälgimine kontrollib sinu ja konkurentide saite iga kuue tunni järel. Kui fail muutub, saad Slackis, Discordis või Teamsis teate muutunud ridade ja mõjutatud roomajatega.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Tehisintellekti kraapimise olek
Roomajate juurdepääs
Lahendatud iga roomaja kohta RFC 9309 järgi: võidab kõige täpsem grupp, siis pikim reegel, viigi korral Allow.
Testi teed
Kontrolli mis tahes teed või URL-i mis tahes user-agendiga.
Tegelik juurdepääs user-agenti kaupa
Küsib faili uuesti proksi kaudu iga roomaja tegeliku user-agent-stringiga. Erinev olek või sisu tähendab, et server kohtleb seda roomajat teisiti (bottide blokeerimine, WAF-reeglid, cloaking).
Probleemid
Turvamärkused
Disallow-reeglid, mis osutavad kohtadele, kuhu ründajad esimesena vaatavad. Kontrollitakse, mida fail paljastab, mitte seda, kas teed on olemas või kaitstud.
Luure
Mida võõras ainuüksi failist selle saidi kohta teada saab: platvorm, pilvekonteinerid, teised hostinimed, API sisenemispunktid, andmevood, failitüübid ja kommentaaridesse jäetud märkmed. Midagi siin ei laadita ega sondeerita; kõik loetakse otse tekstist.
Saidikaardid
Faili sisu
Käsurida ja GitHub Action
Käivita samad kontrollid terminalis või CI-s. Ehitus võib ebaõnnestuda, kui reegel muutub.
susbot audit https://example.com --fail-on warning
Suurte saitide robots.txt failid
Laadime iga päev 200 suure saidi robots.txt faili ja hoiame alles iga versiooni.
Brauserilaiendus
Näitab, kas lehte, millel oled, tohib roomata. Pole veel välja antud.