Se vilka sökrobotar din robots.txt släpper in
Ange en webbplats. sus.bot hämtar dess robots.txt och visar vilka sidor varje sökmotor och AI-sökrobot får besöka. Den listar också de sökvägar som filen avslöjar för alla som läser den. Kontrollen körs i din webbläsare och är gratis.
Klistra in en robots.txt i stället
Utlåtande
Få ett meddelande när en robots.txt ändras
Bevakningen kontrollerar dina och konkurrenternas webbplatser var sjätte timme. När en fil ändras får du ett meddelande i Slack, Discord eller Teams med de ändrade raderna och de sökrobotar som berörs.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Status för AI-skrapning
Crawleråtkomst
Avgjort per sökrobot enligt RFC 9309: den mest specifika gruppen vinner, sedan den längsta regeln, och vid lika vinner Allow.
Testa en sökväg
Kontrollera valfri sökväg eller URL mot valfri user-agent.
Verklig åtkomst per user-agent
Begär filen igen via proxyn med varje crawlers riktiga user-agent-sträng. En annan status eller ett annat innehåll betyder att servern behandlar den crawlern annorlunda (botblockering, WAF-regler, cloaking).
Problem
Säkerhetsnoteringar
Disallow-regler som pekar på platser angripare tittar på först. Detta kontrollerar vad filen avslöjar, inte om sökvägarna finns eller är skyddade.
Rekognosering
Vad en främling får veta om webbplatsen enbart från filen: plattformen, molnbuckets, andra värdnamn, API-ingångar, dataflöden, filtyper och anteckningar i kommentarer. Inget här hämtas eller testas; det läses direkt ur texten.
Webbplatskartor
Filinnehåll
Kommandorad och GitHub Action
Kör samma kontroller i terminalen eller i CI. Bygget kan fallera när en regel ändras.
susbot audit https://example.com --fail-on warning
robots.txt-filer från stora webbplatser
Vi hämtar robots.txt från 200 stora webbplatser varje dag och sparar varje version.
Webbläsartillägg
Visar om sidan du är på får genomsökas. Den är inte släppt än.