Тестер robots.txt
Получите robots.txt домена, просмотрите все правила и проверьте, разрешён или заблокирован URL.
О инструменте «Тестер robots.txt»
Проверяет, разрешён или запрещён конкретный URL по правилам robots.txt домена, оценивая реальный приоритет директив — включая wildcard-паттерны и логику «побеждает самое конкретное правило», — вместо того чтобы вручную разбирать файл. Синтаксис robots.txt выглядит просто, но правила приоритета между пересекающимися Allow и Disallow легко перепутать, а неверно настроенное правило может случайно заблокировать поисковикам контент, который вы хотели индексировать. Стоит проверять после любого изменения robots.txt.
Запрет URL в robots.txt останавливает сканирование, но не индексацию — заблокированная страница, на которую ссылаются откуда-то ещё, всё равно может появиться в результатах поиска (обычно без сниппета); для полного скрытия страницы нужен именно мета-тег noindex.
Похожие инструменты
Как сопоставляются правила robots.txt
Правила стандартизованы в RFC 9309. Сначала поисковый робот выбирает группу, строка User-agent которой подходит ему точнее всего, и только если такой нет — группу User-agent: *. Внутри группы:
- Побеждает самый длинный совпавший путь, будь то Allow или Disallow.
- Если Allow и Disallow совпали с одинаковой длиной, побеждает Allow.
*соответствует любой последовательности символов, а$обозначает конец URL.- Пути чувствительны к регистру, а пустое
Disallow:разрешает всё.
| Правила | URL | Результат |
|---|---|---|
Disallow: /adminAllow: /admin/public | /admin/public/page | Разрешено (более длинное совпадение) |
Disallow: /*.pdf$ | /files/report.pdf | Запрещено |
Disallow: /*.pdf$ | /files/report.pdf?v=2 | Разрешено (не заканчивается на .pdf) |
Ошибки, которые стоят поискового трафика
Disallow: /, оставшийся от тестовой копии сайта. Он закрывает весь сайт.- Блокировка CSS и JavaScript. Google отрисовывает страницы, и без этих файлов страница может выглядеть для него сломанной.
- robots.txt отвечает ошибкой сервера. Ответ 5xx Google считает временным запретом на весь сайт. Ответ 404, наоборот, означает, что разрешено всё.
- Попытка скрыть страницу через robots.txt. Заблокированная страница всё равно может попасть в индекс по ссылкам. Используйте
noindexи не блокируйте эту страницу в robots.txt, иначе робот так и не увидит noindex.
Что показывает инструмент
Он загружает robots.txt домена, показывает все группы user-agent и объявленные карты сайта (sitemap) и проверяет URL (путь и строку запроса) по правилам RFC 9309, описанным выше, включая шаблоны. Укажите имя робота, например Googlebot, чтобы проверить группу, которую использует этот робот; оставьте поле пустым, чтобы проверить User-agent: *. В результате видно совпавшее правило и применённую группу. Если robots.txt отвечает 404, ограничений нет.