Site Haritası ve Robots.txt Nedir? Sitenize Nasıl Eklersiniz?

İnternette var olmanın ilk adımı bir web sitesi kurmak olsa da, sitenizin arama motorları tarafından bulunması ve anlaşılması için bazı teknik adımlar atmak gerekir. Arama motoru optimizasyonunun (SEO) en temel ve en önemli unsurlarından ikisi, Site Haritası (Sitemap) ve Robots.txt dosyasıdır. Bu iki dosya, sitenizin görünmez kahramanları gibidir. Doğru şekilde yapılandırıldıklarında, arama motorlarının sitenizi çok daha verimli bir şekilde taramasına ve dizine eklemesine yardımcı olurlar.

Peki, bu iki dosya tam olarak nedir ve sitenize nasıl eklenir? Gelin, detaylı bir şekilde inceleyelim.

Site Haritası (Sitemap) Nedir?

Site haritası, sitenizdeki tüm sayfaların, videoların, görsellerin ve diğer dosyaların bir listesini içeren bir dosyadır. Adı üstünde, bir şehrin haritası gibi, sitenizin tüm "yollarını" ve "binalarını" arama motorlarına gösterir. Amacı, arama motoru botlarının (örneğin Googlebot) sitenizdeki tüm önemli sayfaları kolayca bulmasını ve dizine eklemesini sağlamaktır.

Bir site haritası özellikle şu durumlarda büyük önem taşır:

• Yeni Siteler: Siteniz yeni ise ve henüz başka sitelerden geri bağlantılar (backlink) almamışsa, site haritası botların sitenizi keşfetmesinin en hızlı yoludur.

• Geniş ve Karmaşık Siteler: Binlerce sayfası olan büyük sitelerde, botların tüm sayfaları manuel olarak bulması zor olabilir. Site haritası bu süreci çok daha kolay hale getirir.

• İzolasyonlu Sayfalar: İç bağlantı yapısı zayıf olan veya ana sayfadan kolayca ulaşılamayan sayfalar, site haritası sayesinde botlar tarafından bulunabilir.

• Multimedya İçerik: Görselleriniz, videolarınız veya haber içerikleriniz varsa, bunlar için özel olarak oluşturulmuş site haritaları, arama motorlarının bu içerikleri daha iyi anlamasına ve dizine eklemesine yardımcı olur.

Sitenize Site Haritası Nasıl Eklersiniz?

Site haritası genellikle XML formatında (sitemap.xml) bir dosyadır ve sitenizin ana dizininde bulunur.

1. Site Haritası Oluşturma: Çoğu modern içerik yönetim sistemi (CMS) veya blog platformu (örneğin WordPress, Blogger) otomatik olarak bir site haritası oluşturur. Blogger siteleri için, sitenizin URL'sinin sonuna /sitemap.xml veya /atom.xml?redirect=false&start-index=1&max-results=500 gibi bir ek getirerek site haritanıza ulaşabilirsiniz.

• Blogger için: Blogger siteleri otomatik olarak bir site haritası oluşturur. Ancak bu haritanın URL formatı biraz farklıdır. Genellikle sitenizin ana sayfasının sonuna /atom.xml?redirect=false&start-index=1&max-results=500 gibi bir ek getirerek blogunuzdaki son 500 gönderiye ulaşabilirsiniz. Bu URL'yi Google Search Console'a göndererek arama motorlarının sitenizi taramasını hızlandırabilirsiniz. Dilerseniz özel bir sayfada tüm gönderilerinizin linklerini listeledikten sonra bu sayfanın linkini de site haritası olarak kullanabilirsiniz.

• Diğer Platformlar veya Özel Kodlanmış Siteler için: Eğer farklı bir CMS kullanıyorsanız veya siteniz özel kodlanmışsa, ücretsiz online sitemap jeneratörleri ile bir site haritası oluşturabilir ve bu sitemap.xml dosyasını sitenizin kök dizinine yükleyebilirsiniz. Bu işlemi tamamladıktan sonra Google Search Console'a giderek site haritanızın URL'sini manuel olarak girmeniz gerekir.

• WordPress için: WordPress siteleri için en yaygın ve en kolay yöntem, bir SEO eklentisi kullanmaktır. Yoast SEO, Rank Math veya All in One SEO gibi popüler eklentiler, siteniz için otomatik olarak bir XML site haritası oluşturur ve bunu düzenli olarak günceller. Bu eklentileri kurduktan sonra ayarlar menüsünden site haritanızın URL'sine ulaşabilir ve herhangi bir manuel işleme gerek kalmadan site haritanızın Google'a bildirilmesini sağlayabilirsiniz.

2. Google Search Console'a Gönderme: Site haritanızı oluşturduktan sonra, arama motorlarına varlığını bildirmeniz gerekir.

• Google Search Console hesabınıza giriş yapın.

• Sol menüden "Site Haritaları" (Sitemaps) bölümüne gidin.

• Buraya site haritanızın URL'sini (örneğin https://siteniz.com/sitemap.xml) girin ve "Gönder" (Submit) butonuna tıklayın.

• Bu işlem, Google'ın sitenizin haritasını düzenli olarak kontrol etmesini ve yeni sayfalarınızı daha hızlı keşfetmesini sağlar.

Robots.txt Nedir?

Robots.txt dosyası, web sitenizin kök dizininde bulunan ve arama motoru botlarına sitenizdeki hangi sayfaları veya dizinleri tarayabileceğini veya tarayamayacağını söyleyen bir metin dosyasıdır. Bu dosya, robotlara bir nevi "talimatname" görevi görür.

Robots.txt'nin temel amacı, arama motoru botlarının gereksiz veya hassas sayfaları (örneğin, yönetici paneli, teşekkür sayfaları, kişisel bilgiler içeren sayfalar) taramasını engellemektir. Bu sayede, botların sitenizin asıl önemli sayfalarına odaklanmasını sağlayarak tarama bütçenizi (crawl budget) daha verimli kullanırsınız.

Bir Robots.txt dosyasının temel yapısı şöyledir:

User-agent: *
Disallow: /wp-admin/
Disallow: /private/
Allow: /

• User-agent: * : Bu, talimatların tüm arama motoru botları için geçerli olduğu anlamına gelir. İsterseniz spesifik botlar için de farklı talimatlar belirleyebilirsiniz.

• Disallow: /klasor_adı/: Bu satır, robotlara bu klasördeki hiçbir şeyi taramamaları gerektiğini söyler.

• Allow: /: Bu, robotlara tüm siteyi tarayabileceklerini bildirir.

• Genellikle bu değerleri değiştirmenize eklme veya çıkarma yapmanıza gerek yoktur.

Sitenize Robots.txt Ekleme

Robots.txt dosyası, sitenizin kök dizininde robots.txt adıyla bulunmalıdır. Bu dosyayı oluşturmak ve sitenize yerleştirmek platformunuza göre değişir.

• WordPress için: WordPress sitenizde genellikle bir SEO eklentisi kullanıyorsanız (Yoast SEO, Rank Math gibi), eklentinin ayarlarından robots.txt dosyanızı kolayca düzenleyebilirsiniz. Bu, en yaygın ve en güvenli yöntemdir. Eğer eklenti kullanmıyorsanız, FTP programı aracılığıyla sitenizin ana dizinine (genellikle /public_html/) robots.txt adında bir dosya oluşturup içine gerekli komutları yazabilirsiniz.

• Blogger için: Blogger'da doğrudan bir robots.txt dosyası oluşturmak mümkün değildir, ancak ayarlar menüsünden özel bir Robots.txt içeriği ekleyebilirsiniz. Blogger panelinizde Ayarlar (Settings) bölümüne gidin, "Arama tercihleri" (Search preferences) başlığını bulun ve burada "Özel robots.txt" (Custom robots.txt) seçeneğini etkinleştirin. Açılan metin kutusuna talimatlarınızı yazıp kaydedin.

• Diğer Platformlar veya Özel Kodlanmış Siteler için: Bir metin editörü kullanarak robots.txt adında bir dosya oluşturun, içine gerekli talimatları yazın ve FTP programı aracılığıyla sitenizin ana dizinine yükleyin. Dosyanın URL'sinin https://siteniz.com/robots.txt şeklinde olması gerekir.

Robots.txt Dosyasını Test Etme

Google Search Console'da "robots.txt Test Cihazı" (robots.txt Tester) aracı bulunur. Bu araçla dosyanızın doğru çalışıp çalışmadığını ve botların hangi sayfalara erişip hangilerine erişemediğini kontrol edebilirsiniz.

Son Söz: Site haritası ve Robots.txt, bir sitenin görünürlüğü için hayati öneme sahip iki temel dosyadır. Site haritası, arama motorlarına sitenizin tüm kapılarını açarken, Robots.txt dosyanız da onlara hangi kapıların kapalı olduğunu söyler. Bu iki aracı doğru bir şekilde kullanarak, arama motoru botlarının sitenizde daha verimli çalışmasını sağlayabilir ve organik sıralamalarınızı olumlu yönde etkileyebilirsiniz. Özellikle blog sitenizin büyüme aşamasında bu temel optimizasyonları yapmak, size gelecekte büyük avantajlar sağlayacaktır.