Robots.txt Nedir, Nasıl Oluşturulur?

Robots.txt Nedir, Iyi mi Oluşturulur?​

Robots.txt, arama motorlarına bir sitenin iyi mi taranacağı hakkında izahat icra eden, botlara bir yol haritası çizen metin dosyalarıdır. Bununla beraber REP kısaca robot dışlama protokolünün de bir parçası olan robots.txt dosyası çoğu zaman site sahipleri tarafınca göz ardı edilen ya da iyi mi oluşturulduğuna dair bilgilerin tamamlanmamış olduğu bir durumdur.

Robots.txt dosyası SEO açısından da oldukça önemlidir. SEO çalışmalarınızdan daha yüksek bir verim almak için bu sağlamış olduğu birçok avantaj vardır. Bu yazımızda robots.txt dosyasının ne işe yaradığını, iyi mi oluşturulduğunu ve SEO açısından enden mühim bulunduğunu sizlerle paylaşacağız.

Robots.txt Nedir?​

Robots.txt, arama motorları örümceklerinin bir internet sayfasını iyi mi tarayacağını gösteren metin dosyasıdır. Örümceklerin siteyi iyi mi taraması icap ettiğini, içeriklere iyi mi ulaşacağını ve içerikleri iyi mi dizine ekleyeceğini gösterir. Bununla beraber bağlantılar karşısında örümceklerin ne yapması icap ettiğini mevzusunda ilgili sayfalar, alt dizinler ve sitenin geneliyle ilgili talimatlar verir. Mesela bu talimatlar; bir bağlantı karşısında örümceklere “bu bağlantıyı takip et” ya da “bu bağlantıyı takip etme” şeklinde olabilir.

Daha rahat ve genel olarak bu dosyanın ne işe yaradığını anlatmak gerekirse arama motorlarına ilişkin botlara adeta bir yol haritası görevi görür. Botların nereden iyi mi ilerleyeceğini gösterir. Eğer doğru bir halde bu talimatlar kısaca komutlar dosya içinde oluşturulursa arama motorlarına ilişkin botlar sizin belirleyeceğiniz talimatlara bakılırsa sitenizi tarayacaktır. Bu işleme verilen genel ad ise robot engelleme standardı ya da protokolüdür.

Bir web sitesinin bazı yapı taşları vardır. Robots.txt dosyaları da bu yapı taşlarından biridir. Dosya içinde yer aşan her şeyin doğru bir halde ayarlanması gerekir. Aksi takdirde yanlış hazırlanan bir yönerge sonucunda taranmasını istemediğiniz şeyler taranarak dizine eklenmiş olur. Bundan dolayı da dosyada yer edinen komutların doğru ve dikkatli bir halde oluşturulması ilk şarttır.

Robots.txt Iyi mi Oluşturulur?​

• Dosyayı oluştururken ilk adımda masaüstünde boş bir txt dosyası oluşturmanız ve adını robot.txt yapmanız gerekir.
• Oluşturduğunuz dosyayı açıp ilk satıra User-agent:* tanımlamasını ilave edin. Bu tanımla ile beraber yapacağınız sınırlamalar ve komutların tüm arama motorları için geçerli bulunduğunu gösterir.
• İlk tanımlamanın arkasından “Disallow:” yazmalısınız. Bunu ilave ettikten sonra sınırlama getirmek istediğiniz kısımları ilave edin. Eğer bir tanımlama sınırı eğer olmazsa arama motorlarına ilişkin örümcekler tüm web sitenizi tarayarak dizine ekleyecektir.
• Bir sonraki adımda dosyaya sitemap eklemelisiniz. Bu sayede botlar sitenize daha kolay bir halde ulaşacaktır. Mesela;
  https://www.siteadı/sitemap_index.xml
  şeklinde ekleyebilirsiniz.
• Site haritanızı ilave ettikten sonra indekslenmesini istemediğiniz sayfalar için tanımlama yapabilirsiniz. Bunun için Disallow: /page/ şeklinde bir tanımlama sapmanız gerekir.

Yukarıda genel olarak bir robots.txt dosyasının iyi mi oluşturulacağını anlattık. Sadece robots.txt dosyasında yukarıdakilere ek olarak karşılaşabileceğiniz bazı terimler vardır.

• Allow: Googlebot için geçerli bir durumdur. Dosyaya eklediğiniz vakit izin vereceğiniz sayfa ya da alt kalsör haricinde Googlebot’a tarama izni verilmez.
• Crawl-delay: Örümceklere tarama işleminden ilkin kaç milisaniye beklemesi icap ettiğini gösteren komuttur. Sadece Googlebot crawl-delay komutunu onaylamaz. Bunun yerine tarama hızını ayarlayabilmek için Search Console’u kullanmanız gerekir.

Robots.txt Dosyası Sitenin Hangi Kısmında Yer Almalı?​

Arama motorları örümcekleri bu dosyasının nerede bulunduğunu bilir. Dosyayı bulurken de ana dizin, kök domain ya da ana sayfaya bakarlar. Fakat botlar www.siteadı.com/robots.txt adresinde dosyayı bulamazsa sitede dosyanın olmadığını ve sitenin tamamının taranacağını kabul ederek tarama yapar. Bu adres yerine dosya www.siteadı.com/index/robots.txt yada www.siteadı.com/homepage/robots.txt adreslerinde yer alsa dahi robotlar dosyaya ulaşamayacaktır. Bu durumda da robotlar dosyanın olmadığını düşünerek sitede tarama yapar. Bu yüzdende dosyayı ana dizine ya da kök domaine eklemeniz gerekir.

SEO Açısından Robots.txt Dosyasının Önemi​

Robots.txt dosyası sitelerin bazı kısımlarına olan erişimi düzenlemenizi sağlar. Bu anlamda da bu dosyaların bazı yararları vardır. Bunlar aşağıdaki benzer biçimde sıralanabilir:

1. Sitede yer edinen görünmesini istemediğiniz kısımların gizli saklı kalmasını sağlayabilirsiniz. Mesela sitede yer edinen kopya içeriklerin arama sonuçlarında görünmesini engelleyebilirsiniz.
2. Site haritasındaki konumları belirtmenizi sağlar.
3. Botların aynı anda yapacağı işlemlerde aşırı yükleme sonucu sunucuda problemler ortaya çıkabilir. Tarama gecikmesi ile bu probleminin önüne geçebilirsiniz.
4. İstediğiniz sayfaların ve bağlantıları dosyada engelleyerek taranmasını da engellersiniz. Bu sayede istemediğiniz bağlantılar ve kaynaklar dizine eklenmeyecektir.
5. Kırılgan verilerin arama sonuçlarında gösterilmesini engelleyebilirsiniz.
6. Arama motorları tarama işlemi esnasında dosya içeriğini önbellekler. Önbelleğe alınan içerik de günlük minimum 1 kere güncellenir. Fakat dosyada değişiklik yapmış olursanız ve güncelleme hızını çoğaltmak isterseniz bunu Google’a göndererek hızı artırabilirsiniz.

Kısacası sitenizin hangi kısımlarının taranıp taranmayacağını belirleyerek indekslenen içeriklerin, dosyaların yada sayfaların kontrolünü elinizde bulundurabilirsiniz. Sadece tüm bu tarz şeyleri yaparken oldukca dikkatli olmalısınız. Şu sebeple yapacağınız hatalar tüm indekslerinizin silinmesini de yol açabilir.