Tarkista, mitkä indeksoijat robots.txt päästää sisään
Anna sivusto. sus.bot hakee sen robots.txt-tiedoston ja näyttää, mitä sivuja kukin hakukone ja tekoälyindeksoija saa käydä läpi. Se luettelee myös polut, jotka tiedosto paljastaa kaikille lukijoille. Tarkistus tehdään selaimessasi ja on ilmainen.
Tai liitä robots.txt
Tulos
Saat viestin, kun robots.txt muuttuu
Seuranta tarkistaa sinun ja kilpailijoidesi sivustot kuuden tunnin välein. Kun tiedosto muuttuu, saat Slackiin, Discordiin tai Teamsiin viestin, jossa ovat muuttuneet rivit ja asiaan liittyvät indeksoijat.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Tekoälyn tiedonkeruun tila
Indeksoijien pääsy
Ratkaistu indeksoijittain RFC 9309:n mukaan: tarkin ryhmä voittaa, sitten pisin sääntö, ja tasatilanteessa Allow.
Testaa polku
Tarkista mikä tahansa polku tai URL millä tahansa user-agentilla.
Todellinen pääsy user-agentin mukaan
Pyytää tiedoston uudelleen välityspalvelimen kautta jokaisen indeksoijan oikealla user-agent-merkkijonolla. Erilainen tila tai sisältö tarkoittaa, että palvelin kohtelee kyseistä indeksoijaa eri tavalla (bottien esto, WAF-säännöt, cloaking).
Ongelmat
Tietoturvahuomiot
Disallow-säännöt, jotka osoittavat paikkoihin, joita hyökkääjät katsovat ensin. Tämä tarkistaa, mitä tiedosto paljastaa, ei sitä, ovatko polut olemassa tai suojattuja.
Tiedustelu
Mitä ulkopuolinen saa tietää tästä sivustosta pelkän tiedoston perusteella: alustan, pilvisäilöt, muut isäntänimet, API-sisääntulot, datasyötteet, tiedostotyypit ja kommentteihin jätetyt muistiinpanot. Mitään ei haeta tai kokeilla; kaikki luetaan suoraan tekstistä.
Sivustokartat
Tiedoston sisältö
Komentorivi ja GitHub Action
Aja samat tarkistukset päätteessä tai CI:ssä. Build voi epäonnistua, kun sääntö muuttuu.
susbot audit https://example.com --fail-on warning
Suurten sivustojen robots.txt-tiedostot
Haemme 200 suuren sivuston robots.txt-tiedoston päivittäin ja säilytämme jokaisen version.
Selainlaajennus
Näyttää, saako sivua, jolla olet, indeksoida. Ei vielä julkaistu.