Шесть углов зрения на «что на самом деле делает этот URL»
Эти инструменты проверяют один и тот же уровень — HTTP-ответ и правила обхода вокруг него — но с разных сторон: сырые заголовки, заголовки безопасности отдельно, конкретный заголовок, который вы создаёте, сам код статуса, цепочка редиректов к нему, и правила краулера, контролирующие доступ.
HTTP-заголовки — сырой ответ
HTTP-заголовки запрашивают URL и отображают полные сырые заголовки ответа — ПО сервера, директивы кеширования, тип контента, cookies и любые пользовательские заголовки.
Когда использовать: проверка, какое серверное ПО или CDN обслуживает сайт; отладка кеширования через Cache-Control и ETag; проверка, что пользовательские заголовки действительно применились после деплоя.
Как читать результаты: заголовки Server и X-Powered-By, если присутствуют, могут раскрыть технологический стек — полезно для отладки, но многие сайты намеренно их убирают, так что отсутствие — не аномалия. Значение max-age в Cache-Control показывает, как долго ответ считается актуальным для браузеров и CDN.
Заголовки безопасности — важный для защиты набор
Заголовки безопасности проверяют наличие и настройку заголовков, связанных с безопасностью — CSP, HSTS, X-Frame-Options, X-Content-Type-Options и других.
Когда использовать: аудит базового уровня безопасности сайта; проверка, что заголовки корректно развернулись после изменения конфигурации; сравнение своей настройки с конкурентом или лучшими практиками.
Как читать результаты: отсутствие заголовка не всегда критично — важен контекст. Отсутствие HSTS на изначально HTTP-only сайте — не та же проблема, что на странице входа в банк. В первую очередь смотрите на CSP и HSTS — они сильнее всего влияют на защиту от XSS и downgrade-атак соответственно.
Конструктор CSP — создание одного заголовка правильно
Конструктор CSP помогает создать заголовок Content-Security-Policy, выбирая разрешённые источники для скриптов, стилей, изображений, шрифтов и других ресурсов, генерируя корректный синтаксис.
Когда использовать: добавление CSP впервые без ручного написания синтаксиса; ужесточение слишком разрешительной политики; проверка изменения политики перед развёртыванием.
Как читать результаты: сначала используйте в продакшене Content-Security-Policy-Report-Only перед принудительным включением — режим логирует нарушения, ничего не блокируя, что позволяет заметить забытые ресурсы до того, как они сломаются у реальных пользователей.
HTTP-статус — какой код возвращает URL
HTTP-статус запрашивает URL и сообщает код состояния — 200, 301, 404, 500 и всё промежуточное — вместе с конечным URL после редиректов.
Когда использовать: подтверждение, что страница действительно работает и возвращает 200; проверка, какой статус теперь возвращает битая или старая ссылка; мониторинг корректности ответа API.
Как читать результаты: 2xx — успех, 3xx — редирект, 4xx — проблема на стороне клиента, 5xx — ошибка сервера. Статус 200 на визуально сломанной странице обычно означает, что сервер в порядке, но не так логика приложения или контент — это совсем другой путь диагностики, чем при 5xx.
Трассировка редиректов — полная цепочка
Трассировка редиректов отслеживает каждый редирект (301, 302, 307, meta-refresh) от начального URL до конечного назначения, показывая каждый переход и его код.
Когда использовать: диагностика SEO-проблемы из-за слишком длинной или зацикленной цепочки; проверка, что сокращённая или маркетинговая ссылка ведёт куда нужно; проверка корректного перенаправления HTTP на HTTPS без лишних редиректов.
Как читать результаты: 301 и 302 имеют разный вес для SEO — поисковики передают вес ссылки через 301, но осторожнее относятся к 302. Цепочку из более чем двух-трёх переходов стоит сократить — каждый добавляет задержку и небольшую потерю веса.
Тестер robots.txt — что сказано краулерам
Тестер robots.txt загружает robots.txt сайта и проверяет директивы — группы User-agent, правила Disallow/Allow и ссылки на Sitemap.
Когда использовать: проверка, что robots.txt случайно не блокирует нужные страницы; проверка правил для конкретного краулера (Googlebot, Bingbot, GPTBot); проверка, что директива Sitemap указывает на рабочий URL.
Как читать результаты: порядок и специфичность правил важны — более специфичный Disallow переопределяет более общий Allow, в зависимости от интерпретации краулера. Помните: robots.txt лишь просит не обращаться к пути, но не предотвращает индексацию, если страница уже связана ссылками откуда-то ещё — для этого нужен noindex.
Как это работает вместе
Сначала проверяйте HTTP-статус и Трассировку редиректов, когда что-то выглядит сломанным снаружи — они диагностируют доступность. Переходите к HTTP-заголовкам и Заголовкам безопасности, когда доступность в порядке, а нужен аудит конфигурации. Конструктор CSP и Тестер robots.txt используйте, когда активно что-то меняете, а не просто диагностируете — это инструменты построения, а не только проверки.