Проверете кои роботи пуска вашият robots.txt
Въведете уебсайт. sus.bot изтегля неговия robots.txt и показва кои страници може да посещава всяка търсачка и всеки AI робот. Показва и пътищата, които файлът издава на всеки, който го прочете. Проверката работи във вашия браузър и е безплатна.
Или поставете robots.txt
Присъда
Получавайте съобщение, когато robots.txt се промени
Наблюдението проверява вашите сайтове и сайтовете на конкурентите на всеки шест часа. Когато файл се промени, получавате съобщение в Slack, Discord или Teams с променените редове и засегнатите роботи.
- Allow: /pricing/compare + Disallow: /pricing/compare + User-agent: GPTBot + Disallow: /
Статус на AI скрейпинг
Достъп на роботите
Изчислено за всеки робот по RFC 9309: печели най-специфичната група, после най-дългото правило, а при равенство – Allow.
Тест на път
Проверете всеки път или URL за всеки user-agent.
Реален достъп по user-agent
Заявява файла отново през проксито с истинския user-agent низ на всеки робот. Различен статус или съдържание означава, че сървърът третира този робот по различен начин (блокиране на ботове, WAF правила, клоукинг).
Проблеми
Бележки по сигурността
Правила Disallow, сочещи към места, които нападателите проверяват първи. Проверява се какво разкрива файлът, а не дали пътищата съществуват или са защитени.
Разузнаване
Какво научава непознат за този сайт само от файла: платформата, облачни бъкети, други хостове, входни точки на API, потоци от данни, типове файлове и бележки в коментарите. Нищо не се изтегля или сондира; всичко се чете направо от текста.
Sitemap файлове
Съдържание на файла
Команден ред и GitHub Action
Изпълнете същите проверки в терминала или в CI. Компилацията може да спре, когато се промени правило.
susbot audit https://example.com --fail-on warning
Файлове robots.txt на големи сайтове
Всеки ден изтегляме robots.txt на 200 големи сайта и пазим всяка версия.
Разширение за браузър
Показва дали страницата, на която сте, може да бъде обхождана. Още не е публикувано.