WordPress Robots.txt Nedir ve Nasıl Oluşturulur?

WordPress Robots.txt Dosyası Nedir?

Robots.txt dosyası, Google arama botlarının web sitenizdeki bir dosyaya erişip erişememeleri için hazırlanmış basit bir metin dosyasıdır.

robots txt

WordPress Robots.txt Dosyası Nedir?

Temel Robots.txt örnekleri:

Tam erişime izin ver:

User-Agent: *
Disallow:

Tüm erişimi engelle:

User-agent:*
Disallow: /

Bir klasörü engelle:

User-agent: *
Disallow: /dosya adı/

Bir dosyayı engelle:

User-agent: *
Disallow: /file.html

Neden Robots.txt Hakkında Bilgi Sahibi Olmalısınız?

  • Robots.txt dosyasının yanlış kullanımı, Google sıralamanıza zarar verir.
  • Robots.txt dosyası, arama motoru örümceklerinin web sayfanızın hangi içeriklerine ve dosyalarına ulaşabileceğini kontrol eder.
  • Robots.txt dosyası Google arama kurallarında belirtilmiştir.

İpucu: robots.txt dosyanızın var olup olmadığını öğrenmek için, www.websiteniz.com/robots.txt şeklinde öğrenebilirsiniz.

Arama Motoru Örümcekleri

Googlebot gibi bir arama motoru örümceğinin ilk olarak sayfayı ziyaret ettiğinde baktığı şey robots.txt dosyasıdır.

robots.txt dosyası

İlk bu işlemi yapar çünkü bu sitenin hangi içeriğine erişim izni olup olmadığını bilmek ister. Robots.txt dosyası girebileceğini söylerse, arama motoru örümceği sayfa dosyalarını taramaya başlayabilecektir.

Bir arama motoru robotuna ilişkin talimatlarınız varsa, bu talimatları belirtmeniz gereklidir, bunu işlemi yapmanız gereken robots.txt dosyasıdır.

WordPress Robots.txt Dosyasına İhtiyacınız Varmı?

Sitenizde bir robots.txt dosyasının olması bile gerekmeyebilir. Aslında çoğu zaman ihtiyacınız olmaz.

Robots.txt dosyasına sahip olmak isteyebileceğiniz nedenler:

  • Arama motorlarından engellemek istediğiniz içerikleriniz var
  • Robotlar için özel talimatlar gerektiren ücretli bağlantılar veya reklamlar kullanıyorsunuzdur.
  • Site oluşturuyorsunuz ve arama motorlarının henüz sitenizi dizine eklemesini istemiyorsunuzdur.
  • Bazı durumlarda Google yönergelerini takip etmenize yardımcı olurlar

Bir robots.txt dosyanızın olmaması Googlebot gibi arama motorlarının robotları sitenize tam erişimi olacaktır. Bu çok yaygın ve normal basit bir yöntemdir.

Robots.txt Dosyası Nasıl Oluşturulur?

Yazabilir veya kopyalayıp yapıştırabilirsiniz, bir robots.txt dosyasıda oluşturabilirsiniz.

Robots.txt sadece bir metin dosyasıdır, oluşturmak için bir metin dosyası açarsınız içeriğini girer ve farklı kaydet yaparak robots.txt yazıp kaydedebilirsiniz.

Sitenizdeki tüm içeriğe izin vermek isterseniz;

User-Agent: *
Disallow:

Googlebot’a özel talimat verme;

Allow: bir robota izin verilmeyen bir klasördeki bir dosyayı görmesi için verilen bir komuttur.

Örnek Verecek Olursak:

User-agent: *
Disallow: /photos
Allow: /photos/resim.jpg

Bu Googlebot’a (fotoğraf) klasörünü hariç tutulsabile, fotoğraf klasöründeki ”resim.jpg” adresini ziyaret edebileceğini söyler.

Bu yazdığım bilgilerle kendi Robots.txt dosyanızı hazırlayabilirsiniz, kullanmaya gerek duymuyorsanız hazırlamayada bilirsiniz ama şunu belirtmek isterim WordPress sitenizde eklentiler vesaire veya sitenizle alakalı olmayan dosyalar varsa bir robots.txt dosyası oluşturmalısınız.

Sizlere örnek olarak kendi sitemde kullandığım Robot.txt dosyasını paylaşayım ve bunu dosyayı WordPress sitenizde kullanabilirsiniz.

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Sitemap: https://siteadresiniz.com/post-sitemap.xml

Sitemap: adresine kendi sitenizin sitemap bağlantısını yazın.

Makalemi iyice okuduysanız bu komutların ne anlama geldiğini ve robot.txt doyası hakkında bilgi sahibi olmuş demektir bu sayede ne yapabileceğinize karar verebilirsiniz.

Eğer SEO uyumlu hazır bir Robots.txt dosyası istiyorsanız şu makaleyi inceleyin:

Yorum Yazın