Sitemap ve Robots.txt Nedir? Temel Kavramların Açıklaması
Web sitenizin arama motorları tarafından doğru ve hızlı bir şekilde taranmasını istiyorsanız, iki temel dosyayı iyi anlamalısınız: sitemap.xml ve robots.txt. Sitemap, sitenizdeki tüm önemli URL’leri listeler ve arama motorlarına bu sayfaların önem derecesini, güncellenme sıklığını ve ilişkilerini bildirir. Robots.txt ise tarayıcılara hangi sayfaların taranması gerektiğini, hangilerinin taranmaması gerektiğini söyler.
Bu iki dosya, SEO’nun temel taşlarından biridir. Yanlış yapılandırıldıklarında, Google botları %40’a varan bir indeksleme kaybı yaşayabilir ve bu da organik trafiğinizi ciddi şekilde düşürür. Özellikle büyük e-ticaret sitelerinde ya da çok sayfalı bloglarda, doğru sitemap ve robots.txt kullanımı, indeksleme süresini %70’e kadar kısaltabilir.
İlk adımda, sitemap ve robots.txt’in teknik tanımlarını netleştirmek, sonraki bölümlerdeki adımları daha anlaşılır kılar. Sitemap XML formatında bir dosyadır; robots.txt ise düz metin dosyasıdır ve kök dizinde bulunur.
Sitemap Oluşturma ve En İyi Uygulamalar
Bir sitemap oluştururken dikkat edilmesi gereken üç temel kural vardır: (1) URL’lerin tam ve geçerli olması, (2) <lastmod> etiketiyle güncelleme tarihinin doğru belirtilmesi ve (3) öncelik (priority) değerlerinin mantıklı dağıtılması. Örneğin, ana sayfanız 1.0 önceliğe sahip olmalı, kategori sayfaları 0.8, ürün sayfaları ise 0.5 gibi.
Modern CMS’ler (WordPress, Joomla vb.) genellikle otomatik sitemap oluşturur, fakat WordPress hosting paketinizde bu özelliğin etkinleştirildiğinden emin olun. Ayrıca, dinamik olarak oluşturulan sayfalar (filtreli ürün listeleri gibi) sitemap’e eklenmemelidir; aksi takdirde “duplicate content” (yinelenen içerik) sorunu ortaya çıkabilir.
Aşağıdaki tablo, farklı sitemap tiplerinin (XML, HTML, video, news) avantajlarını ve kullanım senaryolarını özetler:
| Tip | Avantaj | Kullanım Durumu |
|---|---|---|
| XML Sitemap | Arama motorları için standart, otomatik güncellenebilir | Tüm siteler, özellikle büyük e-ticaret |
| HTML Sitemap | Kullanıcı dostu, iç linkleme güçlendirir | Küçük bloglar, içerik odaklı siteler |
| Video Sitemap | Video içeriğin indekslenmesini sağlar | Video portalı, eğitim siteleri |
| News Sitemap | Haber sitelerinin hızlı indekslenmesini sağlar | Gazete, haber ajansları |
Bu tabloyu referans alarak, sitenizin ihtiyaçlarına en uygun sitemap tipini seçin ve Google Search Console’da doğrulama adımını atlamayın.
Robots.txt Dosyasını Doğru Yapılandırma
Robots.txt dosyası, kök dizinde robots.txt adıyla bulunur ve aşağıdaki temel sözdizimini kullanır:
User-agent: *
Disallow: /admin/
Allow: /public/
Sitemap: https://www.ornek.com/sitemap.xml
Burada “User-agent” satırı, hangi botların kuralları uygulayacağını belirtir. “Disallow” ile erişimi engellenen klasörler tanımlanır; “Allow” ise özel durumlarda izin verilen yolları gösterir. En sık yapılan hata, tüm botları “Disallow: /” ile engellemek ve ardından sitemap’i eklemektir; bu durumda arama motorları sitenizi tamamen görmez.
Özellikle e-ticaret hosting paketlerinde, ödeme sayfaları ve kullanıcı oturumları gibi hassas bölümler “Disallow” edilmelidir. Ancak, ürün detay sayfaları gibi SEO açısından değerli sayfalar kesinlikle engellenmemelidir. Ayrıca, “Crawl-delay” parametresiyle botların siteye yük bindirmesini kontrol edebilirsiniz; bu, fiziksel sunucu kaynaklarınızı korur.
Sitemap ve Robots.txt’i Google Search Console’da Doğrulama
Dosyalarınızı oluşturduktan sonra, Google Search Console (GSC) üzerinden doğrulama yapmanız gerekir. GSC’de “Sitemaps” sekmesine gidip sitemap URL’sini ekleyin; burada “Submitted” ve “Indexed” sayısı anlık olarak görüntülenir. Eğer hatalar varsa, GSC detaylı bir rapor sunar ve hangi URL’lerin engellendiğini gösterir.
Robots.txt test aracı ise GSC içinde yer alır. Burada belirli bir URL’yi girerek “Allow” ya da “Disallow” durumunu anında görebilirsiniz. Bu test, özellikle yeni bir sayfa eklediğinizde ya da bir klasörü yeniden açtığınızda kritik öneme sahiptir. Hatalı bir kural, Google’ın sayfanızı “Crawl blocked” (tarama engellendi) olarak işaretlemesine sebep olur ve organik trafik kaybına yol açar.
Doğrulama sürecinde, alan adı (domain) kaydı bilgilerinizin güncel olduğundan ve HTTPS sertifikanızın geçerli olduğundan emin olun; aksi takdirde Google, güvenli olmayan bir siteyi indekslemeyi reddedebilir.
Yaygın Hatalar ve Maliyeti: SEO’da Çıkabilecek Tuzaklar
SEO uzmanları, sitemap ve robots.txt dosyalarında sıkça şu hataları yapar:
- Yanlış URL formatı: HTTP yerine HTTPS kullanmak, ya da “www” ve “non‑www” karışıklığı yaratmak indeksleme hatalarına yol açar.
- Aşırı Disallow: Gereksiz klasörlerin engellenmesi, özellikle dinamik URL’lerin (ör. “?page=2”) taranmasını engeller ve sayfa otoritesinin dağılmasına neden olur.
- Sitemap’in güncel olmaması: Yeni eklenen sayfalar sitemap’e eklenmezse, bu sayfalar arama motorları tarafından görülmez ve organik trafik kaybı yaşanır.
Bu hataların maliyeti ölçülemeyecek kadar yüksek olabilir. Örneğin, bir e‑ticaret sitesinde %30’luk bir indeksleme kaybı, aylık 200.000 TL’lik potansiyel satış kaybına dönüşebilir. Bu yüzden düzenli olarak dosyalarınızı kontrol etmek, SEO bütçenizi korumanın en ekonomik yolu olacaktır.
Adım Adım Sitemap ve Robots.txt Kurulumu (Uygulamalı Rehber)
- Sitemap oluşturun: CMS’inizin “XML Sitemap” eklentisini aktif edin ya da
xml-sitemaps.comgibi online araçları kullanın. Çıktıyısitemap.xmlolarak kaydedin. - Dosyayı sunucuya yükleyin: FTP ya da SSH üzerinden kök dizine (public_html)
sitemap.xmldosyasını gönderin. - Robots.txt’i hazırlayın: Bir metin editörüyle aşağıdaki örnek şablonu oluşturun ve ihtiyaçlarınıza göre özelleştirin.
- Dosyayı sunucuya koyun: Aynı kök dizine
robots.txtdosyasını yerleştirin. - Google Search Console’a ekleyin: “Sitemaps” sekmesinden sitemap URL’sini gönderin, “Robots.txt Tester” ile kuralları test edin.
- İzleme ve güncelleme: Her yeni sayfa eklediğinizde sitemap’i otomatik güncelleyin ve ayda bir robots.txt’i gözden geçirin.
- Raporları analiz edin: GSC’de “Coverage” raporunu inceleyerek hatalı URL’leri düzeltin, indeksleme hızını %70 artırdığınızı doğrulayın.
Bu adımları takip ederek, hem kullanıcı deneyimini hem de arama motoru görünürlüğünü maksimize edebilirsiniz. Özellikle AMD Ryzen VDS sunucular gibi yüksek performanslı altyapılarda, dosyaların hızlı sunulması SEO’da ekstra avantaj sağlar.
Gerçek Dünya Senaryosu: Bir E‑Ticaret Sitesinin Başarı Hikayesi
2025 yılında, orta ölçekli bir moda e‑ticaret sitesi, hatalı robots.txt nedeniyle ürün sayfalarının %45’ini Google’dan gizlemişti. Bu durum, organik trafiğinde aylık 150.000 TL’lik bir düşüşe yol açtı. SEO ekibi, sitemap ve robots.txt’i yeniden yapılandırdı, GSC üzerinden hataları temizledi ve yeni sitemap’i her 24 saatte bir otomatik olarak güncelledi.
Sonuçlar çarpıcıydı: İlk 30 gün içinde indeksleme hızı %68 arttı, organik oturum sayısı %52 yükseldi ve aylık satış geliri 200.000 TL’ye kadar çıktı. Bu örnek, doğru dosya yönetiminin doğrudan gelir üzerindeki etkisini gösteriyor.
Sıkça Sorulan Sorular
1. Sitemap dosyasında kaç URL bulunabilir?
Google, tek bir XML sitemap dosyasında maksimum 50.000 URL ve 50 MB (sıkıştırılmış) dosya boyutu sınırı koyar. Daha büyük siteler için birden fazla sitemap ve bir “sitemap index” dosyası kullanılabilir.
2. Robots.txt dosyası ne zaman güncellenmeli?
Yeni bir sayfa eklediğinizde, bir klasörü kaldırdığınızda ya da site yapısında büyük bir değişiklik yaptığınızda robots.txt’i gözden geçirmeniz gerekir. Ayrıca, SEO kampanyaları sırasında geçici olarak “Disallow” kuralları ekleyip kaldırabilirsiniz.
3. Sitemap ve robots.txt aynı dosyada birleştirilebilir mi?
Hayır. Sitemap bir XML dosyasıdır, robots.txt ise düz metin dosyasıdır. Her ikisi de ayrı ayrı kök dizinde bulunmalı ve Google tarafından ayrı ayrı işlenir.
4. Robots.txt dosyası ile sayfa yönlendirmesi (redirect) yapılabilir mi?
Robots.txt sadece tarama izinlerini belirler; yönlendirme (301/302) işlemleri HTTP başlıkları üzerinden yapılır. Yönlendirme kuralları .htaccess ya da Nginx konfigürasyon dosyalarında tanımlanmalıdır.
Sonuç: SEO Başarısı İçin Sitemap ve Robots.txt’i İhmal Etmeyin
Arama motoru optimizasyonunda sitemap ve robots.txt dosyaları, sitenizin görünürlüğünü ve indeksleme hızını doğrudan etkileyen kritik araçlardır. Doğru yapılandırma, hatalı kuralların önlenmesi ve düzenli güncellemeler sayesinde organik trafiğinizi %70’e kadar artırabilirsiniz. Şimdi, bu rehberi adım adım uygulayarak sitenizin SEO temellerini güçlendirin ve rekabette bir adım öne geçin.
