robots.txt Test Aracı
Bir alan adının robots.txt dosyasını getirin, tüm kuralları görüntüleyin ve bir URL'nin izinli mi engelli mi olduğunu test edin.
robots.txt Test Aracı Hakkında
Belirli bir URL'nin bir alan adının robots.txt kurallarına göre izinli mi yasaklı mı olduğunu, dosyayı elle takip etmenizi gerektirmeden, joker karakter kalıpları ve en-özel-kural-kazanır mantığı dahil gerçek direktif önceliğini değerlendirerek test eder. Robots.txt sözdizimi basit görünür ama çakışan Allow ve Disallow direktifleri arasındaki öncelik kuralları kolayca yanlış anlaşılır, ve yanlış yapılandırılmış bir kural, indekslenmesini istediğiniz içeriği yanlışlıkla arama motorlarından engelleyebilir. Herhangi bir robots.txt değişikliğinden sonra test etmeye değer.
robots.txt'te bir URL'yi yasaklamak taranmasını durdurur, dizine eklenmesini değil — başka bir yerden bağlantı verilen engellenmiş bir sayfa yine de arama sonuçlarında görünebilir (genellikle açıklama olmadan); bir sayfayı tamamen gizlemenin gerçek yolu noindex meta etiketidir.