robots.txt ve Site Haritası (Sitemap) Hazırlama Rehberi

robots.txt ve site haritası ne işe yarar?

robots.txt, bir sitenin kök dizininde duran ve arama motoru tarayıcılarına hangi bölümlere girip giremeyeceklerini söyleyen düz metin dosyasıdır. XML site haritası ise sitenin taranmasını istediğiniz sayfaların listesini sunan, arama motoruna "önemli sayfalarım bunlar" diyen bir dosyadır. Biri sınır çizer, diğeri rehberlik eder; birbirini tamamlarlar.

Önemli bir ayrım: robots.txt tarama kontrolüdür, indekslemeden gizleme aracı değildir. Bir adresi robots.txt ile engellerseniz tarayıcı sayfaya girmez, ama başka sitelerden bağlantı varsa adres yine de sonuçlarda görünebilir. Bir sayfanın aramada çıkmasını kesin olarak engellemek istiyorsanız, sayfanın taranabilir kalıp indekslenmeme yönergesi taşıması gerekir. Bu fark, en sık yapılan hataların kaynağıdır.

robots.txt nasıl yazılır?

Dosya birkaç basit yönergeden oluşur. Bir kullanıcı aracısı satırı hangi tarayıcıya hitap ettiğinizi belirtir; yıldız işareti tüm tarayıcılar demektir. Ardından izin verme ve engelleme satırları gelir; her satır bir yol deseni alır. Dosyanın sonuna site haritasının tam adresini yazabilirsiniz.

Örneğin kurgusal bir sitede yönetim paneli, sepet ve arama sonuç sayfaları tarayıcıya kapatılır; geri kalan her şey açık bırakılır. İzin verme satırı, geniş bir engelin içinde belirli bir alt yolu açmak için kullanılır. Yol desenlerinde büyük küçük harf duyarlılığı vardır; joker karakter ve satır sonu işaretleri her tarayıcıda aynı desteği görmeyebilir, bu yüzden kullandığınız arama motorunun resmî belgesine bakın.

Dosya adı tam olarak robots.txt olmalı, kök dizinde durmalı ve her alt alan adı için ayrı hazırlanmalıdır. Sunucunun bu dosya için başarılı yanıt döndürdüğünden emin olun; ulaşılamayan dosya ile boş dosya farklı sonuç doğurabilir.

Nelerin taranması engellenmeli?

Genel kural, arama sonucunda görünmesinin değeri olmayan ve tarama bütçesini harcayan alanları engellemektir: • Yönetim paneli ve oturum gerektiren sayfalar • Sonsuz kombinasyon üreten filtre, sıralama ve parametreli adresler • İç arama sonuç sayfaları • Sepet ve ödeme adımları • Test ve hazırlık ortamları (bunlar için asıl çözüm erişim koruması olmalı)

Tersine, sayfanın görüntülenmesi için gereken stil ve betik dosyalarını engellemeyin. Arama motoru sayfayı bu kaynaklarla çalıştırıp değerlendirir; engellenirse sayfayı yanlış yorumlayabilir. Ayrıca bir sayfayı hem robots.txt ile engelleyip hem de içinde indekslenmeme yönergesi bırakırsanız, tarayıcı sayfaya giremediği için yönergeyi hiç göremez. Bunları birlikte kullanmayın.

XML site haritası nasıl hazırlanır?

Site haritası, standart bir XML biçiminde sayfa adreslerini listeler. Her kayıt için adres zorunludur; son değişiklik tarihi gibi alanlar isteğe bağlıdır. Haritaya yalnızca indekslenmesini istediğiniz, kanonik, başarılı yanıt veren adresleri koyun. Yönlendirilen, hata veren, indekslenmeme yönergeli ya da kanonik olarak başka bir adrese işaret eden sayfalar haritada olmamalıdır.

Büyük sitelerde harita parçalara bölünür ve bir dizin dosyası bu parçalara işaret eder; parça başına adres ve dosya boyutu sınırları vardır, güncel sınırları arama motorunun belgesinden teyit edin. Bölme için mantıklı bir ölçüt kullanın: içerik türü (ürün, kategori, blog) ya da güncelleme sıklığı. Böylece Search Console'da hangi türde kaç sayfanın indekslendiğini ayrı ayrı izlersiniz.

Haritanın otomatik üretilmesi en sağlıklı yoldur. İçerik yönetim sistemi ya da kod, sayfa eklenip kaldırıldıkça haritayı güncellemelidir. Elle bakımı yapılan harita çabuk eskir ve hatalı adres taşır.

Gönderme ve doğrulama

Hazır haritayı şu yollarla duyurabilirsiniz: robots.txt içine adresini yazmak ve arama motorunun yönetim aracına (örneğin Search Console) göndermek. Gönderdikten sonra araçtaki durum raporuna bakın: kaç adres bulundu, hangileri indekslendi, hangileri hata verdi ve nedeni nedir.

Doğrulama için birkaç kontrol yapın. robots.txt dosyasını tarayıcıda açıp görünür olduğunu doğrulayın; yönetim aracındaki robots.txt sınama özelliğiyle önemli bir adresin yanlışlıkla engellenmediğini görün. Haritadaki örnek adresleri açıp başarılı yanıt verdiğini, yönlendirme olmadığını ve kanonik adresin kendisi olduğunu kontrol edin. Büyük sitelerde sunucu günlüklerinden tarayıcının gerçekte nereye gittiğini incelemek, engel ve harita kararlarını veriyle destekler.

Somut örnek: bir e-ticaret sitesinde tarama temizliği

Örneğin bir e-ticaret sitesinde kategori sayfaları renk, beden ve sıralama parametreleriyle çok sayıda adres üretiyor. Arama motoru bu kombinasyonları taramaya zaman harcıyor, yeni ürün sayfaları geç keşfediliyor.

SEO uzmanı önce hangi parametrelerin değerli sayfa ürettiğine bakar. Yalnızca sıralamayı değiştiren parametreleri robots.txt ile kapatır; renk gibi aranma değeri olan filtreler için ise ayrı, kanonik ve indekslenebilir sayfalar tanımlar. Site haritasını yeniler: yalnızca kanonik kategori ve ürün adreslerini içerir, stokta olmayan ve yönlendirilen ürünleri çıkarır. Sonraki haftalarda yönetim aracında taranan sayfa dağılımına ve indekslenen sayfa sayısına bakar, yeni ürünlerin keşif süresinin kısaldığını izler.

Sık yapılan hatalar ve öğrenme yolu

Sık yapılan hatalar: tüm siteyi yanlışlıkla engelleyen tek satır (hazırlık ortamından canlıya taşınan engel en klasik örnektir), stil ve betik dosyalarını engellemek, robots.txt'yi indekslemeyi önleme aracı sanmak, site haritasına yönlendirilen veya hatalı adresleri koymak, haritayı güncellememek, alt alan adları için ayrı dosya hazırlamamak ve değişikliği sınamadan yayına almak.

Öğrenme yolu: önce bir sitenin robots.txt ve haritasını okuyup yorumlamayı alışkanlık edinin; sonra yönetim aracında kapsam raporlarını okuyun; ardından sunucu günlüğü analizi, tarama bütçesi ve parametre yönetimine geçin.

Mindset'in SEO İleri Düzey programının modül başlıkları arasında ileri teknik SEO, tarama ve indeksleme yer alır; SEO Audit ve İyileştirme programında ise teknik SEO denetimi ayrı bir modüldür. SEO, yazılım ve içerik ekiplerinin tarama ve indeksleme konusunda ortak bir kontrol listesi kurmaları için uygun bir çerçevedir.