Robots.txt nedir?
Türkçesi: Robots.txt Dosyası
İngilizcesi: Robots.txt
Türkçe Okunuşu: robots tieksti
İngilizce Okunuşu: ˈroʊˌbɑts tɛkst
Dilbilgisi: İsim, (SEO ve web yönetimi terimi)
Köken: İngilizce kökenli; “robots” kelimesi Çekçe “robota” (zorunlu iş, angarya) sözcüğünden türemiştir. “txt” ise “text” (metin) kelimesinin kısaltmasıdır. “Robots.txt”, arama motoru robotlarına site içeriğinin hangi bölümlerine erişebileceğini belirten düz metin dosyasıdır.
Alakalı Sözcükler: Meta Robots Tag, Crawl Budget, Sitemap.xml, User-agent, Disallow, Allow, Noindex
Robots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru botlarının (örneğin Googlebot, Bingbot) hangi sayfaları tarayabileceğini veya tarayamayacağını bildiren bir dosyadır. SEO açısından büyük önem taşır çünkü doğru yapılandırıldığında site tarama bütçesinin (crawl budget) verimli kullanılmasına yardımcı olur. Yanlış kullanıldığında ise önemli sayfaların indekslenmesini engelleyebilir.
Kullanım alanı, özellikle e-ticaret sitelerinde veya büyük içerik portallarında önemlidir. Örneğin, yönetim panelleri, filtreleme parametreleriyle oluşan sayfalar veya gizlilik gerektiren alanlar robots.txt aracılığıyla botlardan engellenebilir. Bununla birlikte, robots.txt bir güvenlik aracı değildir; sadece arama motorlarına talimat verir, kötü niyetli kullanıcılar tarafından görmezden gelinebilir.
« Fihriste Dön
