SEO

Robots.txt Nedir? Robots.txt Dosyası Nasıl Oluşturulmalıdır?

Web sitesi optimizasyonu çalışmaları arasında yer alan Robot.txt düzenlemesi, sahip olunan web sitesini ziyarete gelen arama motoru botlarına yol gösterici özellik taşıyor. Gerçek anlamda nitelikli bir web projesine sahip olabilmek için robot.txt düzenlemesini mutlaka yapmak gerekiyor. Peki, nedir robots.txt ve nasıl oluşturulur? Nasıl düzenlenir? Tüm bu soruların cevapları ve çok daha fazlası…

Robots.txt Nedir?

Robots.txt, arama motoru botlarına yol gösterici özelliğe sahip komut dosyalarını içeren özel sistemi ifade ediyor. Arama motoru örümcekleri olarak da ifade edilen botlar, robots.txt sayesinde daha nitelikli bir gezinti gerçekleştiriyor. Aynı zamanda robots.txt, web projenizin içinde yer alan ve yoğunluğa yol açabilecek unsurları engellemek içinde kullanılıyor. Web üzerindeki botlara adanmış bir kod sistemi olarak ortaya çıkan robots.txt ilk kez 1995 yılında WebCrawler isimli meta arama moturunun ev sahipliğinde oluşturuluyor. Tarihler 2000 yılını gösterdiğinde ise sistem bağımsız olarak çalışmaya başlıyor. Robots.txt üzerindeki ilk ciddi revizyon 2007 yılında yapılıyor. Bugün ise milyonlarca web projesinde aktif biçimde kullanıma devam ediliyor.

Niçin Robots.txt’ye İhtiyacımız Var?

Web sitenizin robots.txt sistemine sahip değilse veyahut doğru şekilde oluşturulmamış robots.txt sistemine sahipse; 

  • Arama motoru sıralamasında sayfalarınız olumsuz etkilenebilir
  • Doğru sayfalarının dizine alınmaması, kullanıcıların nitelikli sayfalara ulaşmasını engeller
  • Web sitenizin kalite skorunu olumsuz yönde etkiler
  • Web siteniz gereksiz biçimde yük altında kalabilir

Tüm bu sıralanan olumsuzluklarla karşılaşmamak için robots.txt dosyasını doğru biçimde hazırlamanız gerekir.

Robots.txt Nasıl Optimize Edilir?

Robots.txt dosyasını oluşturmadan önce hazır kullandığınız bir sisteme sahipseniz öncelikle söz konusu sistemde robots.txt’nin bulunup bulunmadığını kontrol etmelisiniz. Bunun için aşağıdaki uzantıyı web tarayıcısı üzerinden kontrol edebilirsiniz;

Sahip olunan alan adınız/robots.txt biçiminde tarayıcıya yapıştırın. Robots.txt dosyası sisteminizde bulunuyorsa aşağıda yer alan gibi bir sonuçla karşılaşacaksınız;

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Eğer söz konusu sonucu alamıyorsanız, robots.txt dosyasını oluşturmanız gerekiyor. (Örnek olarak verilen robots.txt WordPress sistem kullanan web projeleri için geçerlidir)

Robots.txt Oluşturma

Robots.txt dosyası oluşturmak için bilgisayarınızda bulunan bir not defteri ya da düz metin düzenleyiciden yararlanabilirsiniz. Aynı zamanda profesyonel anlamda kod düzenleyiciyle de kolaylıkla gerçekleştirilebiliyor. Tüm robots.txt dosyaları içinde 3 farklı komut yer alır. İzin ver, izin verme ve koşullu izin ver komutlarından oluşur.

İzin vermeme için;

User-agent: *

Disallow:

Kodu içeren bir robots.txt oluşturmalısınız.

İzin vermek için;

User-agent: *

Allow:

Kodu içeren bir robots.txt oluşturmalısınız.

Eğer koşullu izinler oluşturmak istiyorsanız;

User-agent: *

Disallow: /videos

Allow: /videos/seocourse.mpg

Söz konusu biçimde web projenizinin robots.txt dosyasını düzenleyebilirsiniz. Burada Disallow satırına yazacağınız bölüm görüntülenmesini istemediğiniz kısımlar için allow yazan satır ise görüntülenmesini (okunmasını) istediğiniz kısımlar için düzenlenir. Söz konusu kod ile videoların yer aldığı ana kategoriye erişime izin vermediğiniz anlamına geliyor. Ancak videoların yer aldığı ana kategori altında bulunan SeoCourse isimli mpg uzantılı videoya ise ulaşmasına ilişkin izin verdiğiniz anlamı taşıyor.

İzinleri düzenledikten sonra yapmanız gereken ise ilgili robots.txt dosyanızı FileZilla gibi bir FTP dosya aktarım sistemi üzerinden web projenize erişmek. Erişimi sağladıktan sonra public_html klasörü içine robots.txt dosyanızı aktarın.

Arama Motorlarına Özel İzinler

Robots.txt oluştururken kullandığımız User-agent: * ile tüm arama motoru botlarına erişim konusunda izin verdiğiniz anlamı taşıyor. Eğer bunu özelleştirmek isterseniz;

Örneğin sadece Google bot için bunu yapmak istiyorsanız;

User-agent: Googlebot 

Biçiminde düzenlemeniz yeterli olacaktır. Söz konusu düzenlemeyi yapmadan doğrudan User-agent: * biçiminde bırakmanız halinde tüm botlar için ortak bir erişim komutu sunmuş olacaksınız. Tüm düzenlemeleri daha profesyonel biçimde yürütmek isterseniz, web projenize ait tüm senkronizasyon çalışmaları için dijital performans ajansı Sempeak ile iletişime geçebilirsiniz. Optimizasyon çalışmalarının teknik, içerik ve Off Page SEO gibi çalışmalardan oluştuğunu unutmamalısınız. 

// Bu içerik Sempeak tarafından hazırlanmıştır.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

Başa dön tuşu