Controlla quali crawler lascia entrare il tuo robots.txt
Inserisci un sito. sus.bot scarica il suo robots.txt e mostra quali pagine può visitare ogni motore di ricerca e ogni crawler di IA. Elenca anche i percorsi che il file rivela a chiunque lo legga. Il controllo avviene nel tuo browser ed è gratuito.
Oppure incolla un robots.txt
Verdetto
Ricevi un messaggio quando un robots.txt cambia
Il monitoraggio controlla i tuoi siti e quelli dei concorrenti ogni sei ore. Quando un file cambia, ricevi un messaggio su Slack, Discord o Teams con le righe modificate e i crawler interessati.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Stato dello scraping IA
Accesso dei crawler
Risolto per crawler secondo la RFC 9309: vince il gruppo più specifico, poi la regola più lunga, e a parità Allow.
Prova un percorso
Verifica qualsiasi percorso o URL con qualsiasi user-agent.
Accesso reale per user-agent
Richiede di nuovo il file tramite il proxy con la vera stringa user-agent di ogni crawler. Uno stato o un contenuto diverso significa che il server tratta quel crawler in modo diverso (blocco dei bot, regole WAF, cloaking).
Problemi
Note di sicurezza
Regole Disallow che puntano ai luoghi in cui gli attaccanti guardano per primi. Viene controllato ciò che il file rivela, non se i percorsi esistono o sono protetti.
Ricognizione
Cosa un estraneo scopre su questo sito dal solo file: la piattaforma usata, i bucket cloud, altri nomi host, punti di ingresso delle API, feed di dati, tipi di file e note lasciate nei commenti. Nulla viene scaricato o sondato; tutto viene letto direttamente dal testo.
Sitemap
Contenuto del file
Riga di comando e GitHub Action
Esegui gli stessi controlli nel terminale o nella CI. La build può fallire quando cambia una regola.
susbot audit https://example.com --fail-on warning
File robots.txt di grandi siti
Ogni giorno scarichiamo il robots.txt di 200 grandi siti e conserviamo ogni versione.
Estensione per browser
Mostra se la pagina in cui ti trovi può essere scansionata. Non è ancora disponibile.