Тестер robots.txt

Проверяет, разрешён или запрещён конкретный URL по правилам robots.txt домена, оценивая реальный приоритет директив — включая wildcard-паттерны и логику «побеждает самое конкретное правило», — вместо того чтобы вручную разбирать файл. Синтаксис robots.txt выглядит просто, но правила приоритета между пересекающимися Allow и Disallow легко перепутать, а неверно настроенное правило может случайно заблокировать поисковикам контент, который вы хотели индексировать. Стоит проверять после любого изменения robots.txt.

Запрет URL в robots.txt останавливает сканирование, но не индексацию — заблокированная страница, на которую ссылаются откуда-то ещё, всё равно может появиться в результатах поиска (обычно без сниппета); для полного скрытия страницы нужен именно мета-тег noindex.

📖 Подробнее в базе знаний →