Verifique que rastreadores o seu robots.txt deixa entrar
Introduza um site. O sus.bot obtém o seu robots.txt e mostra que páginas cada motor de pesquisa e cada rastreador de IA pode visitar. Também lista os caminhos que o ficheiro revela a quem o ler. A verificação corre no seu navegador e é gratuita.
Ou cole um robots.txt
Veredicto
Receba uma mensagem quando um robots.txt mudar
A monitorização verifica os seus sites e os dos concorrentes a cada seis horas. Quando um ficheiro muda, recebe uma mensagem no Slack, Discord ou Teams com as linhas alteradas e os rastreadores afetados.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Estado do scraping por IA
Acesso dos rastreadores
Resolvido por rastreador segundo o RFC 9309: ganha o grupo mais específico, depois a regra mais longa, e em empate Allow.
Testar um caminho
Verifique qualquer caminho ou URL com qualquer user-agent.
Acesso real por user-agent
Volta a pedir o ficheiro através do proxy com a verdadeira string user-agent de cada rastreador. Um estado ou corpo diferente significa que o servidor trata esse rastreador de forma diferente (bloqueio de bots, regras WAF, cloaking).
Problemas
Notas de segurança
Regras Disallow que apontam para os locais que os atacantes procuram primeiro. Isto verifica o que o ficheiro revela, não se os caminhos existem ou estão protegidos.
Reconhecimento
O que um estranho fica a saber sobre este site apenas pelo ficheiro: a plataforma, buckets na nuvem, outros nomes de anfitrião, pontos de entrada de API, feeds de dados, tipos de ficheiro e notas deixadas em comentários. Nada aqui é obtido ou sondado; é lido directamente do texto.
Sitemaps
Conteúdo do ficheiro
Linha de comandos e GitHub Action
Execute as mesmas verificações no terminal ou na CI. O build pode falhar quando uma regra muda.
susbot audit https://example.com --fail-on warning
Ficheiros robots.txt de sites grandes
Obtemos todos os dias o robots.txt de 200 sites grandes e guardamos cada versão.
Extensão do navegador
Mostra se a página em que está pode ser rastreada. Ainda não foi lançada.