SEO çalışmaları yürüten herkesin kullandığı Robots.txt dosyaları web sitenizin olmazsa olmazlarındandır. Robots txt nedir? Robots txt kullanımı nasıl olmalıdır gibi sorulara cevap bulabileceğiniz bu yazımızda Robots txt oluşturmaktan özel komutlara kadar detaylı bir anlatım bulacaksınız.

Robots.txt Nedir? 

Her web sitesinde olması gereken ve her SEO çalışmasında mutlaka aktif kullanılan Robot txt nedir? En basit anlatımıyla, arama motorlarına web sitenizin hangi sayfalarını taraması gerektiğini anlattığınız bir metin dosyasıdır. Robots txt dosyası oluşturmak oldukça basit bir işlem. Sadece belirli kurallara uyarak kendi Robots.txt dosyanızı kolaylıkla yaratabilirsiniz. Birçok arama motoru algoritması bu dosyayı standart protokol dosyası olarak görür ve mutlaka yer almasını ister. Daha sonra sitenizi ziyaret eden botların ilk önce bu dosyayı okumasını sağlayarak sitenizde hangi sayfaları tarayacığını öğrenir. Sitenizi dizine eklemeden önce bu dosya komutlarını okuyacağı için Robots.txt dosyanızda vereceğiniz komutların SEO çalışmalarınızda paralel olması gerekir. Hangi sayfaların taranmamasını istediğinize karar verdikten sonra gerekli komutları dosyaya yazmalısınız. İçeriği olmayan ya da hatalı olan sayfaları, hakkımızda veya teşekkür sayfaları gibi listelenmesini istemeyeceğiniz alanlar varsa önceden belirlemelisiniz. Doğru kurallarla yazılmış stratejik bir robots.txt dosyasına sahip olmak için profesyonel bir SEO Ajansı ile çalışabilirsiniz.

Robots.txt Dosyası Nasıl Oluşturulur? 

Robots txt oluşturma oldukça kolay olsa da bazı kuralları var. Siz de kendi komutlarınızı oluştururken bunlara dikkat etmelisiniz. Robots.txt dosyaları, arama motorlarının yetkilerini belirleyen komutlardır. Mutlaka belli bir hedef dahilinde komutlar yaratmalısınız. SEO çalışmanız için sitenizin neye ihtiyacı olduğunu tespit etmeniz ve komutlarla Robot.txt dosyanıza eklemeniz gerekiyor. Siteniz için kötü izlenim oluşturabilecek sayfalarınız var mı? Cevabınız “evet” ise bu sayfaları mutlaka Robots.txt dosyanıza ekleyin. Buna ek olarak gizli giriş bilgileri ile görüntülenebilen (bayi girişi vb.) sayfalarınız varsa dosyanıza mutlaka bu sayfaları da eklemelisiniz.

Engellemek istediğiniz yönlendirme yapılmış sayfalarınız varsa ya da siteniz yapım aşamasındaysa listenme almamak için yine Robots.txt dosyanıza gerekli komutları girmelisiniz. Robots.txt dosyanızda mutlaka site haritanızı ekleyerek Google botların sayfa yapılarınızı anlamasını kolaylaştırın.

Robots.txt dosyası oluşturmak için herhangi bir metin düzenleyici kullanabilirsiniz. Dikkat etmeniz gereken tek şey kelime işlemcisi olan metin araçları kullanmamanız gerektiği. Kelime işlemcileri kod yapılarını kaydederken tırnak, süslü parantez gibi işaretler ile kaydederek bozabiliyor. Dosyanızı yazmak veya düzenlemek için robots.txt Test aracını kullanabilirsiniz. Ayrıca sitenizdeki Robots.txt dosyanızı da test edebilirsiniz. Dosyanızı isimlendirirken mutlaka “Robots.txt” olarak isimlendirin. Kopyasını ya da başka versiyonunu sitenizde bulundurmayın, sadece tek bir dosya olmalı. Kayıt yeri olarak her zaman kök dizini kullanın. Örneğin;

http://www.sayfaadi.com/robots.txt doğru bir yapıdır. Ancak alt dizinler kullanılmamalıdır; http://sayfaadi.com/pages/robots.txt bu yapı kullanılamaz. Robots.txt dosyaları küçük büyük harfe duyarlıdır. Bu kurallara dikkat ederek sağlıklı bir Robots.txt dosyası yaratabilirsiniz.

Robots.txt Komutları 

Robots.txt dosyanızı oluşturmak için bazı komutları bilmeniz gerekiyor. Hatalı ya da eksik komut verdiğinizde Google Botların bunu sunucu hatası olarak göreceğini unutmayın. Komut yazarken sürekli kullanacağınız iki değişken mevcut. “User-agent” ve “Disallow” User Agent, Google botlarının adını yazacağınız satır, Disallow kısmı ise botun izinlerini belirleyeceğiniz satır.

User-agent: *
Disallow: /

Eğer satırlarınızın karşılığında “ * ” ve “/“ işaretleri varsa,” * ” işaretiyle tüm botlara index için izin verdiğinizi ancak izin satırında “/“ olduğu için hiçbir sayfanın indexlenmeyeceği anlamına gelir.

Başka bir örnekle devam edelim;

User-agent: DeepCrawl
Disallow: /private/

DeepCrawl bir Google bottur. Sadece DeepCrawl’in sitenizde index almasına izin verirken “private” klasörünü indexlemesine izin verilmeyeceği anlamına gelir.

robots.txt

robots.txt

Robots.txt Dosyasında Kullanılabilen Özel Komutlar

Robots.txt kullanımı bazı kod yapıları ile SEO çalışmalarınıza kolaylık sağlayacaktır. En çok kullanılan ve bizimde mutlaka bilmenizi istediğimiz bazı kod yapılarını aşağıda görebilirsiniz;


Yalnız bir tarayıcıya izin vermek istiyorsanız;

User-agent: Googlebot-news

Allow: /

User-agent: *

Disallow: /


Bir tarayıcıyı hariç tutup diğer tüm tarayıcılara izin vermek istiyorsanız;

User-agent: Unnecessarybot

Disallow: /

User-agent: *

Allow: /


Eğik çizgi koyduktan sonra tek bir sayfayı taramasına izin vermek istiyorsanız;

User-agent: * Disallow: /private_file.html


Sitenizde bir görseli Google Görseller’in taramasını engellemek istiyorsanız;

User-agent: Googlebot-Image

Disallow: /resimler/kopekler.jpg


Sitenizdeki görselleri Google Görseller’in taramasını engellemek istiyorsanız;

User-agent: Googlebot-Image

Disallow: /


Türe göre dosya taramasına izin vermek istiyorsanız (örneğin, .gif):

User-agent: Googlebot

Disallow: /*.gif$


Sadece belli sayfalarda AdSense reklamları gösterilsin,ama sitenizin hepsi taranmasın istiyorsanız;

User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Allow: /


Belirli dizelerle biten URL eşleme kuralı için; $

User-agent: Googlebot

Disallow: /*.xls$

Basit kod yapıları ile web sitenizin index kurallarını belirleyebilirsiniz. Artık Robots txt nedir? Robots txt kullanımı nasıl olmalı? Sorularının cevaplarını biliyorsunuz. Web sitenizin ihtiyaçlarına göre robots txt oluşturma konusunda dikkat etmeniz gereken tek şey doğru kurallar belirleyip, yukarıda anlattığımız gereksinimlere uymanız. Eğer web sitenizde köklü değişiklik yaptıysanız ya da yeni bir site kuruyorsanız ilk olarak bakmanız gereken dosya Robots.txt olmalıdır. SEO için size büyük fayda sağlayacak ve noindex özelliği ile web sitenizin doğru indexlenmesine yardımcı olacaktır. Robots.txt dosyası olmayan sitelerde noindex kodlarını tek tek sayfalara kurmanız gerekeceği için hem zaman kaybetmiş olacaksınız hem de sitenizi botlara tanıtırken zorlanacaksınız. Robots.txt dosyalarınızı oluşturduktan sonra kodların çalışıp çalışmadığını test etmeyi unutmayın. Gerekli olan temel bilgileri artık öğrendiniz. Şimdi botlar için web sitenizin kurallarını belirleyip dosyanızı hazırlayabilirsiniz. Son olarak eğer kod ile yazılan kurallar için yeterli teknik bilginiz yoksa ve stratejik robots.txt dosyası oluşturamamaktan endişe ediyorsanız mutlaka bir SEO Ajansı ile çalışmanızı tavsiye ederiz.

Cansu Biçen

Cansu Biçen

Web & Graphic Designer Digital Marketing Specialist

Leave a Reply