robots.txt Test Aracı
Bir alan adının robots.txt dosyasını getirin, tüm kuralları görüntüleyin ve bir URL'nin izinli mi engelli mi olduğunu test edin.
robots.txt Test Aracı Hakkında
Belirli bir URL'nin bir alan adının robots.txt kurallarına göre izinli mi yasaklı mı olduğunu, dosyayı elle takip etmenizi gerektirmeden, joker karakter kalıpları ve en-özel-kural-kazanır mantığı dahil gerçek direktif önceliğini değerlendirerek test eder. Robots.txt sözdizimi basit görünür ama çakışan Allow ve Disallow direktifleri arasındaki öncelik kuralları kolayca yanlış anlaşılır, ve yanlış yapılandırılmış bir kural, indekslenmesini istediğiniz içeriği yanlışlıkla arama motorlarından engelleyebilir. Herhangi bir robots.txt değişikliğinden sonra test etmeye değer.
robots.txt'te bir URL'yi yasaklamak taranmasını durdurur, dizine eklenmesini değil — başka bir yerden bağlantı verilen engellenmiş bir sayfa yine de arama sonuçlarında görünebilir (genellikle açıklama olmadan); bir sayfayı tamamen gizlemenin gerçek yolu noindex meta etiketidir.
İlgili Araçlar
robots.txt kuralları nasıl eşleşir
Kurallar RFC 9309'da standartlaştırılmıştır. Bir tarayıcı önce User-agent satırı kendisiyle en spesifik şekilde eşleşen grubu seçer; hiçbiri eşleşmezse User-agent: * grubuna düşer. Grubun içinde:
- Allow ya da Disallow fark etmeksizin en uzun eşleşen yol kazanır.
- Bir Allow ve bir Disallow aynı uzunlukta eşleşirse Allow kazanır.
*herhangi bir karakter dizisiyle eşleşir,$URL'nin sonunu belirtir.- Yollar büyük/küçük harfe duyarlıdır ve boş bir
Disallow:her şeye izin verir.
| Kurallar | URL | Sonuç |
|---|---|---|
Disallow: /adminAllow: /admin/public | /admin/public/page | İzinli (daha uzun eşleşme) |
Disallow: /*.pdf$ | /files/report.pdf | Engelli |
Disallow: /*.pdf$ | /files/report.pdf?v=2 | İzinli (.pdf ile bitmiyor) |
Arama trafiğine zarar veren hatalar
- Test sitesinden kalan
Disallow: /. Tüm siteyi engeller. - CSS ve JavaScript'i engellemek. Google sayfaları işler; engellenen dosyalar sayfanın ona bozuk görünmesine yol açabilir.
- Sunucu hatası döndüren bir robots.txt. Google, 5xx yanıtını tüm sitenin geçici olarak engellenmesi gibi yorumlar. 404 ise tersine her şeye izin verildiği anlamına gelir.
- Bir sayfayı robots.txt ile gizlemeye çalışmak. Engellenen bir sayfa bağlantılar üzerinden yine de dizine eklenebilir. Bunun yerine
noindexkullanın ve o sayfayı robots.txt'de engellemeyin; aksi halde tarayıcı noindex'i hiç göremez.
Bu araç neyi gösterir
Alan adının robots.txt dosyasını getirir, tüm user-agent gruplarını ve bildirilen site haritalarını (sitemap) listeler ve bir URL'yi (yol ve sorgu dizesi) joker karakterler dahil yukarıdaki RFC 9309 kurallarıyla test eder. O tarayıcının kullanacağı grubu test etmek için Googlebot gibi bir tarayıcı adı girin; User-agent: * grubunu test etmek için boş bırakın. Sonuç, eşleşen kuralı ve uygulanan grubu gösterir. 404 döndüren bir robots.txt, hiçbir kısıtlama olmadığı anlamına gelir.