Robots.txt, tarayıcıların sitenize geldiğinde ilk okuduğu dosyalardan biridir. Google'ın robots.txt rehberine göre dosya, öncelikle sitenizin gereksiz isteklerle yorulmasını önlemek için kullanılır; bir sayfayı Google'dan gizlemenin yolu değildir.
Örnek dosya
User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Allow: /sepet/yardim/
Sitemap: https://www.ornek.com/sitemap.xml
User-agent: Kuralın hangi tarayıcı için geçerli olduğu (*tümü)Disallow: Taranmasını istemediğiniz yolAllow: Engellenen bir yolun içinde taranmasına izin verdiğiniz alt yolSitemap: Site haritanızın tam adresi
Robots.txt ile noindex karıştırılmamalı
Bir sayfayı robots.txt ile engellerseniz Google sayfanın içeriğini okuyamaz; dolayısıyla sayfadaki noindex etiketini de göremez. Dizinden çıkarmak istediğiniz bir sayfayı robots.txt ile engellemek, sayfanın içeriksiz bir sonuç olarak dizinde kalmasına bile yol açabilir. Doğru sıra: önce noindex, sayfa dizinden çıktıktan sonra gerekirse robots.txt.
Sık yapılan hatalar
- Test ortamından kalan
Disallow: /satırıyla tüm siteyi engellemek - CSS ve JavaScript dosyalarını engellemek; Google sayfayı doğru göremez
- Hassas sayfaları robots.txt'ye yazıp gizlediğini sanmak; dosya herkese açıktır
Sık sorulan sorular
Robots.txt ile bir sayfayı Google'dan gizleyebilir miyim?
Hayır. Robots.txt taramayı engeller ama dizine eklenmeyi garanti olarak engellemez; başka sitelerden bağlantı alan bir sayfa içeriği taranmadan da dizinde görünebilir. Bir sayfayı dizinden çıkarmak için noindex kullanın ya da sayfayı parolayla koruyun.
Robots.txt dosyası nerede olmalı?
Alan adının kök dizininde, örneğin https://www.ornek.com/robots.txt adresinde. Alt klasörlere konulan robots.txt dosyaları dikkate alınmaz.