Seiceáil cé na crawlers a ligeann do robots.txt isteach
Cuir suíomh gréasáin isteach. Faigheann sus.bot a robots.txt agus taispeánann sé cé na leathanaigh ar féidir le gach inneall cuardaigh agus crawler AI cuairt a thabhairt orthu. Liostaíonn sé freisin na cosáin a nochtann an comhad d'aon duine a léann é. Ritheann an seiceáil i do bhrabhsálaí agus tá sí saor in aisce.
Nó greamaigh robots.txt
Breithiúnas
Faigh teachtaireacht nuair a athraíonn robots.txt
Seiceálann monatóireacht do shuíomhanna agus suíomhanna d'iomaitheoirí gach sé huaire an chloig. Nuair a athraíonn comhad, faigheann tú teachtaireacht in Slack, Discord nó Teams leis na línte a d'athraigh agus na crawlers a mbaineann sé leo.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Stádas scrapála IS
Rochtain crawlers
Réitithe in aghaidh an crawler le meaitseáil RFC 9309: buann an grúpa is sainiúla, ansin an riail is faide, agus buann Allow nuair atá siad cothrom.
Tástáil cosán
Seiceáil aon chosán nó URL in aghaidh aon user-agent.
Fíor-rochtain de réir user-agent
Iarr an comhad arís tríd an seachfhreastalaí le fíortheaghrán user-agent gach crawler. Ciallaíonn stádas nó corp difriúil go gcaitheann an freastalaí leis an crawler sin ar bhealach difriúil (blocáil bots, rialacha WAF, cloaking).
Fadhbanna
Nótaí slándála
Rialacha Disallow a dhíríonn ar áiteanna a bhféachann ionsaitheoirí orthu ar dtús. Seiceálann sé seo cad a nochtann an comhad, ní cé acu atá na cosáin ann nó cosanta.
Taiscéalaíocht
Cad a fhoghlaimíonn strainséir faoin suíomh seo ón gcomhad amháin: an t-ardán, buicéid néil, óstainmneacha eile, pointí iontrála API, fothaí sonraí, cineálacha comhad, agus nótaí a fágadh i dtráchtanna. Ní fhaightear ná ní thástáiltear aon rud anseo; léitear go díreach ón téacs é.
Léarscáileanna suímh
Ábhar an chomhaid
Líne ordaithe agus GitHub Action
Rith na seiceálacha céanna i do theirminéal nó in CI. Is féidir leis an tógáil teip nuair a athraíonn riail.
susbot audit https://example.com --fail-on warning
Comhaid robots.txt suíomhanna móra
Faighimid robots.txt 200 suíomh mór gach lá agus coinnímid gach leagan.
Síneadh brabhsálaí
Taispeánann sé an féidir an leathanach ina bhfuil tú a chrawláil. Níl sé eisithe fós.