SEO sözlüğü

Robots.txt nedir?

Güncelleme: ·

Robots.txt, tarayıcıların sitenize geldiğinde ilk okuduğu dosyalardan biridir. Google'ın robots.txt rehberine göre dosya, öncelikle sitenizin gereksiz isteklerle yorulmasını önlemek için kullanılır; bir sayfayı Google'dan gizlemenin yolu değildir.

Örnek dosya

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Allow: /sepet/yardim/

Sitemap: https://www.ornek.com/sitemap.xml
  • User-agent: Kuralın hangi tarayıcı için geçerli olduğu (* tümü)
  • Disallow: Taranmasını istemediğiniz yol
  • Allow: Engellenen bir yolun içinde taranmasına izin verdiğiniz alt yol
  • Sitemap: Site haritanızın tam adresi

Robots.txt ile noindex karıştırılmamalı

Bir sayfayı robots.txt ile engellerseniz Google sayfanın içeriğini okuyamaz; dolayısıyla sayfadaki noindex etiketini de göremez. Dizinden çıkarmak istediğiniz bir sayfayı robots.txt ile engellemek, sayfanın içeriksiz bir sonuç olarak dizinde kalmasına bile yol açabilir. Doğru sıra: önce noindex, sayfa dizinden çıktıktan sonra gerekirse robots.txt.

Sık yapılan hatalar

  • Test ortamından kalan Disallow: / satırıyla tüm siteyi engellemek
  • CSS ve JavaScript dosyalarını engellemek; Google sayfayı doğru göremez
  • Hassas sayfaları robots.txt'ye yazıp gizlediğini sanmak; dosya herkese açıktır

Sık sorulan sorular

Robots.txt ile bir sayfayı Google'dan gizleyebilir miyim?

Hayır. Robots.txt taramayı engeller ama dizine eklenmeyi garanti olarak engellemez; başka sitelerden bağlantı alan bir sayfa içeriği taranmadan da dizinde görünebilir. Bir sayfayı dizinden çıkarmak için noindex kullanın ya da sayfayı parolayla koruyun.

Robots.txt dosyası nerede olmalı?

Alan adının kök dizininde, örneğin https://www.ornek.com/robots.txt adresinde. Alt klasörlere konulan robots.txt dosyaları dikkate alınmaz.

Birlikte çalışalım

Sitenizin organik büyümesini nereden başlatacağımızı birlikte netleştirelim

Kısa bir formla sitenizi ve hedefinizi anlatın; size uygun bir çalışma şekli önereyim. Uygun değilsem bunu da açıkça söylerim.