Bu kapsamlı rehberde robots.txt ile tarama erişimi kontrolünün, meta robots ile indexleme yönetiminin ve XML sitemap ile URL keşfi sürecinin birbirinden nasıl ayrıldığını detaylıca ele alıyoruz. Googlebot ve benzeri arama motoru botlarının bir sayfayı keşfetme, tarama ve dizine ekleme süreçleri teknik örnekler, yanlış bilinenler, senaryolar ve uygulama ipuçlarıyla açıklanır. İçerik; site yöneticileri, geliştiriciler ve SEO uzmanlarının teknik SEO kararlarını daha doğru vermesine yardımcı olacak şekilde hazırlanmıştır.
robots.txt, Meta Robots ve XML Sitemap Arasındaki Farklar
Arama motorları bir URL ile karşılaştığında süreç genellikle üç temel aşamada ilerler: URL'nin keşfedilmesi, sayfanın taranması ve uygun görülürse dizine eklenmesi. Teknik SEO tarafında en çok karıştırılan nokta, bu üç aşamanın birbirinden farklı mekanizmalarla yönetilmesidir. robots.txt, meta robots ve XML sitemap tam da bu yüzden aynı şey değildir ve birbirinin yerine kullanılmamalıdır.
Birçok sitede taramayı engellemek için robots.txt kullanılırken indexleme beklentisi meta robots üzerinden kuruluyor ya da sitemap dosyası sanki index garantisi veriyormuş gibi yorumlanıyor. Oysa bu araçların her biri farklı bir amaca hizmet eder. Bu rehberde farkları netleştirecek, doğru kullanım senaryolarını gösterecek ve teknik örneklerle uygulamayı somutlaştıracağız.
Arama motorlarının temel iş akışı: discovery, crawling ve indexing
Bir arama motoru botu önce bir URL'yi keşfeder. Bu keşif iç linkler, dış linkler, XML sitemap dosyaları, canonical sinyalleri veya daha önce bilinen sayfalar üzerinden gerçekleşebilir. Keşif yapılmadan tarama başlamaz, ancak keşfedilen her URL de mutlaka taranmaz.
Bir sonraki aşama crawling yani taramadır. Bot, URL'ye erişerek sayfa içeriğini, yönlendirmeleri, yanıt kodlarını, meta etiketlerini ve diğer teknik sinyalleri okumaya çalışır. Tarama gerçekleşmezse arama motoru sayfa hakkında sınırlı bilgiye sahip olur ve özellikle sayfa içi direktifleri yorumlaması zorlaşır.
Üçüncü aşama indexing yani dizine eklemedir. Arama motoru, taradığı ve değerlendirdiği içeriği kendi indeksine alabilir, almamayı tercih edebilir ya da farklı bir URL'yi kanonik olarak seçebilir. Bu nedenle keşif, tarama ve indexleme arasında birebir, zorunlu bir ilişki yoktur.
Bu ayrımı netleştirmek için kısa bir tablo faydalı olur:
| Mekanizma | Ana amacı | Ne kontrol eder? | Index garantisi verir mi? |
|---|---|---|---|
| robots.txt | Tarama erişimi | Botun hangi yolları tarayabileceği | Hayır |
| Meta robots | Indexleme davranışı | noindex, nofollow gibi sayfa düzeyi direktifler | Kısmen yönlendirir, garanti vermez |
| XML sitemap | URL keşfi | Hangi URL'lerin önemli olduğunu bildirir | Hayır |
robots.txt nedir ve tam olarak neyi kontrol eder?
robots.txt, alan adının kök dizininde bulunan ve botlara hangi URL desenlerini taramaları ya da taramamaları gerektiğini söyleyen bir metin dosyasıdır. En önemli işlevi crawling kontrolüdür. Yani botun bir kaynağa erişip erişemeyeceği ile ilgilenir, sayfanın arama sonuçlarında görünüp görünmeyeceğini doğrudan belirlemez.
Örneğin yönetim paneli, filtre parametreleri, test dizinleri veya sistem dosyaları gibi gereksiz alanlar robots.txt ile taramaya kapatılabilir. Bu yaklaşım crawl budget yönetiminde faydalı olabilir. Özellikle büyük sitelerde düşük değerli URL'lerin taranmasını azaltmak, önemli sayfaların daha sık taranmasına yardımcı olur.
Temel bir robots.txt örneği şöyle olabilir:
TXTUser-agent: * Disallow: /admin/ Disallow: /sepet/ Disallow: /arama? Allow: /assets/css/ Allow: /assets/js/ Sitemap: https://www.ornekdomain.com/sitemap.xml
Bu örnekte tüm botlara
/admin//sepet/robots.txt hakkında en kritik gerçek
robots.txt bir noindex aracı değildir. Bir URL robots.txt ile engellense bile, arama motoru o URL'yi başka kaynaklardan keşfederse bazı durumlarda içeriğini görmeden de sonuçlarda URL olarak gösterebilir. Özellikle dış bağlantı alan ya da site içinde çokça linklenen URL'lerde bu durum ortaya çıkabilir.
Yani amacınız "bu sayfa indekslenmesin" ise yalnızca robots.txt yeterli değildir. Çünkü bot tarayamazsa, çoğu zaman sayfa içindeki meta robots noindex etiketini de göremez. Bu nedenle crawling kontrolü ile indexing kontrolünü birbirine karıştırmamak gerekir.
Meta robots nedir ve indexleme davranışını nasıl etkiler?
Meta robots, HTML belge içinde yer alan ve arama motorlarına sayfanın dizine alınıp alınmaması ya da linklerin takip edilip edilmemesi gibi davranışları bildiren bir etikettir. robots.txt dosyasından farklı olarak sayfa bazında çalışır. Botun bu etiketi görebilmesi için önce sayfayı tarayabilmesi gerekir.
En sık kullanılan direktif
noindexnofollownoarchivenosnippetmax-snippetHTML içinde tipik kullanım şu şekildedir:
HTML<meta name="robots" content="noindex, follow">
Bu etiket, sayfanın indekslenmemesini ama sayfa üzerindeki linklerin takip edilebilmesini ister. Özellikle kampanya sonrası arşivlenmesini istemediğiniz landing page'lerde, inceleme amaçlı geçici sayfalarda veya filtre sayfalarında işe yarayabilir.
Meta robots'un HTTP header üzerinden verilen versiyonu da vardır. Bu yöntem özellikle HTML dışı dosyalarda kullanışlıdır:
HTTPX-Robots-Tag: noindex
PDF, görsel veya farklı belge türleri için sunucu seviyesinde X-Robots-Tag tanımlamak güçlü bir yöntemdir. Geliştirici ekipler için bu yöntem, uygulama katmanından bağımsız olarak indexleme kurallarını uygulama avantajı sağlar.
Meta robots için önemli kural
Bir sayfa robots.txt ile engellenmişse bot çoğu durumda sayfayı tarayamaz ve meta robots etiketini okuyamaz. Yani "hem robots.txt ile kapatayım hem de noindex vereyim" yaklaşımı çoğu senaryoda çelişkilidir. noindex'in çalışabilmesi için ilgili sayfanın taranabilir olması gerekir.
XML sitemap nedir ve URL discovery sürecindeki rolü nedir?
XML sitemap, sitenizde önemli olduğunu düşündüğünüz URL'leri arama motorlarına toplu halde bildirmenizi sağlayan teknik bir dosyadır. Sitemap'in temel amacı URL discovery yani URL keşfini kolaylaştırmaktır. Özellikle yeni sayfalar, derin mimaride kalan içerikler veya henüz güçlü iç bağlantı alamamış URL'ler için çok değerlidir.
Ancak XML sitemap bir indexleme talimatı değildir. Sitemap'e eklenen her sayfa dizine alınmaz. Arama motoru yine kalite, benzersizlik, canonical sinyali, içerik durumu, erişilebilirlik ve teknik uygunluk gibi kriterlere bakar.
Basit bir sitemap örneği şöyledir:
XML<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>https://www.ornekdomain.com/</loc> <lastmod>2026-10-01</lastmod> </url> <url> <loc>https://www.ornekdomain.com/blog/teknik-seo-rehberi</loc> <lastmod>2026-10-05</lastmod> </url> <url> <loc>https://www.ornekdomain.com/hizmetler/kurumsal-web-tasarim</loc> <lastmod>2026-10-04</lastmod> </url> </urlset>
Burada arama motoruna önemli URL'ler listelenir ve isteğe bağlı olarak son güncelleme tarihi verilir. Özellikle haber, e-ticaret, ilan ve sık güncellenen büyük sitelerde sitemap dosyalarının düzenli güncellenmesi keşif verimliliğini artırır. Yine de sitemap dosyasında yer almak, robots.txt tarafından engellenmiş ya da noindex verilmiş bir URL'yi otomatik olarak görünür hale getirmez.
Sitemap hangi durumlarda özellikle önemlidir?
Aşağıdaki senaryolarda XML sitemap kritik değer taşır:
- Yeni açılmış ve iç link yapısı henüz zayıf sitelerde
- Binlerce ürün veya ilan URL'sine sahip büyük yapılarda
- JavaScript ile oluşan ve keşfi zor sayfalarda
- Sık güncellenen blog, haber veya listeleme platformlarında
- Canonical yapıların dikkatli izlenmesi gereken karmaşık mimarilerde
Pratikweb gibi hazır web sitesi ve geliştirilebilir platform çözümleri sunan yapılarda sitemap üretiminin sistematik olması önemlidir. Çünkü hazır kurumsal siteden e-ticarete ya da özel listeleme platformuna geçildiğinde URL sayısı hızla büyüyebilir. Bu tür yapılarda sağlıklı sitemap stratejisi, keşif sürecinin düzenli yürümesine ciddi katkı sağlar.
Üç yapı arasındaki farkı en net şekilde nasıl düşünmelisiniz?
Kavramları zihinde ayırmanın en kolay yolu şu soruları sormaktır. "Bot bu URL'ye girebilsin mi?" sorusunun cevabı robots.txt tarafındadır. "Bu sayfa arama sonuçlarında yer alsın mı?" sorusunun cevabı çoğunlukla meta robots veya X-Robots-Tag tarafındadır. "Arama motoru bu URL'yi daha kolay bulsun mu?" sorusunun cevabı ise XML sitemap tarafındadır.
Bu üç araç aynı hedefin farklı katmanlarında çalışır. Biri erişimi, biri görünürlüğü, diğeri keşfi destekler. Teknik SEO'da hatalar genellikle bu araçların birbiri yerine kullanılmaya çalışılmasından doğar.
Daha net görmek için şu karşılaştırmayı kullanabilirsiniz:
| Senaryo | Doğru araç | Neden |
|---|---|---|
| Yönetim paneli taranmasın | robots.txt | Crawl erişimi kontrol edilir |
| Teşekkür sayfası indekslenmesin | meta robots noindex | Sayfa dizinden çıkarılmak istenir |
| Yeni ürün URL'leri daha hızlı keşfedilsin | XML sitemap | URL discovery güçlendirilir |
| PDF dosyası indekslenmesin | X-Robots-Tag noindex | HTML dışı dosyada index kontrolü gerekir |
| Düşük değerli filtre kombinasyonları taranmasın | robots.txt veya farklı URL stratejisi | Crawl bütçesi korunur |
Teknik örnekler: doğru ve yanlış kullanım senaryoları
Teori kadar uygulama da önemlidir. Bu bölümde en sık karşılaşılan senaryoları örnekleyelim. Böylece hangi araçtan hangi sonucu beklemeniz gerektiği daha net anlaşılır.
Senaryo 1: Giriş yapan kullanıcıya özel panelin görünmemesi
Amaç,
/hesabim//admin/TXTUser-agent: * Disallow: /hesabim/ Disallow: /admin/
Bu kullanım mantıklıdır, çünkü bu alanların kamuya açık SEO değeri yoktur. Ancak burada güvenlik beklememek gerekir. robots.txt bir güvenlik katmanı değil, botlara verilen bir yönergedir.
Senaryo 2: Teşekkür sayfası indexlenmesin
Form sonrası görülen
/tesekkurler/HTML<meta name="robots" content="noindex, follow">
Bu sayfa robots.txt ile engellenirse bot noindex etiketini okuyamayabilir. Dolayısıyla doğru yaklaşım taramaya izin verip indexlemeyi kapatmaktır.
Senaryo 3: Yeni blog yazıları daha hızlı keşfedilsin
Sitede düzenli içerik yayınlanıyor ancak bazı yazılar iç link eksikliği nedeniyle geç keşfediliyor. Bu durumda XML sitemap güncel tutulmalı ve Search Console'a gönderilmelidir:
TXTSitemap: https://www.ornekdomain.com/sitemap.xml
Ek olarak kategori sayfaları ve ilgili yazılar bloklarıyla iç linkleme güçlendirilmelidir. Sitemap keşfi destekler, iyi iç mimari ise keşfi ve taramayı kalıcı olarak iyileştirir.
Senaryo 4: PDF dosyaları sonuçlarda görünmesin
HTML olmayan belgeler için meta robots kullanamazsınız. Bunun yerine sunucu başlığıyla X-Robots-Tag verirsiniz:
HTTPX-Robots-Tag: noindex, noarchive
Bu yöntem özellikle kataloglar, geçici teknik dökümanlar veya yalnızca kullanıcıya sunulan ama aramada görünmesi gerekmeyen belgeler için idealdir.
Senaryo 5: Filtre sayfaları taramayı şişiriyor
E-ticaret ya da ilan sitelerinde parametreli URL'ler çok büyüyebilir. Örneğin renk, beden, sıralama, fiyat aralığı ve marka kombinasyonları binlerce farklı URL üretir. Bu durumda belirli desenler robots.txt ile sınırlandırılabilir, ancak iş değeri olan filtre sayfaları için ayrı SEO stratejisi kurulmalıdır.
Örnek:
TXTUser-agent: * Disallow: /*?sort= Disallow: /*?view= Disallow: /*?sessionid=
Burada dikkat edilmesi gereken nokta, gelir getiren veya aranma hacmi olan filtre açılış sayfalarını yanlışlıkla engellememektir. Büyük yapılarda crawl yönetimi ile organik landing page stratejisi birlikte düşünülmelidir.
En sık yapılan hatalar ve yanlış inanışlar
Teknik SEO projelerinde aynı hatalar tekrar tekrar karşımıza çıkar. Bunların çoğu araçların işlevlerinin yanlış anlaşılmasından kaynaklanır. Aşağıdaki yanlış inanışları net biçimde ayırmak gerekir.
İlk hata, robots.txt'nin indexleme engelleyeceğini düşünmektir. Oysa robots.txt temel olarak taramayı sınırlar. URL başka kaynaklardan keşfedildiyse içeriği görülmeden de sonuçlarda bir referans olarak yer alabilir.
İkinci hata, noindex verilen sayfaları aynı anda robots.txt ile de kapatmaktır. Bu çelişkili yapı noindex sinyalinin okunmasını engelleyebilir. Eğer hedefiniz dizinden çıkarmaksa önce taranabilir bırakıp noindex uygulamak daha sağlıklıdır.
Üçüncü hata, sitemap'e eklenen her sayfanın indeksleneceğine inanmaktır. Sitemap yalnızca tavsiye niteliğindedir. Kalitesiz, kopya, canonical dışı veya teknik olarak sorunlu sayfalar sitemap'te olsa bile indekslenmeyebilir.
Dördüncü hata, robots.txt ile hassas alanların güvenliğe alındığını sanmaktır. robots.txt dosyası herkese açıktır ve gizli URL desenlerini ifşa bile edebilir. Güvenlik için kimlik doğrulama, erişim kontrolü ve sunucu yapılandırmaları gerekir.
Hangi durumda hangisini kullanmalısınız?
Doğru seçim için URL'nin işlevini ve SEO hedefini birlikte değerlendirmelisiniz. Eğer bir URL'nin taranmasının sisteme gereksiz yük bindirdiğini düşünüyorsanız robots.txt tarafını incelemelisiniz. Eğer sayfa erişilebilir ama arama sonuçlarında görünmesini istemiyorsanız meta robots veya X-Robots-Tag tercih etmelisiniz.
Yeni, değerli ve indekslenmesini istediğiniz URL'ler içinse XML sitemap vazgeçilmezdir. Özellikle büyük sitelerde sadece sitemap'e güvenmek de yeterli olmaz. İç linkleme, canonical tutarlılığı, yanıt kodları, sayfa kalitesi ve sunucu performansı sitemap kadar önemlidir.
Hızlı karar vermek için şu rehberi kullanabilirsiniz:
- Tarama kontrolü istiyorsanız: robots.txt
- Sayfanın indekslenmesini istemiyorsanız: meta robots noindex
- HTML dışı dosyada index kontrolü istiyorsanız: X-Robots-Tag
- URL'lerin daha kolay bulunmasını istiyorsanız: XML sitemap
- Düşük kaliteli URL çoğalmasını önlemek istiyorsanız: yalnızca tek araç değil, URL mimarisi + canonical + robots stratejisi birlikte
Uygulama, test ve doğrulama süreci
Teknik kararları yalnızca dosya ekleyerek bırakmamak gerekir. Uygulamanın gerçekten beklenen sonucu üretip üretmediği test edilmelidir. Search Console, sunucu logları, canlı URL testi ve HTTP header kontrolleri burada büyük önem taşır.
robots.txt değişikliklerinden sonra robots test araçları ve canlı bot davranışları incelenmelidir. Meta robots uygulamalarında sayfanın kaynak kodunda etiketin gerçekten çıktığı, JavaScript sonrası kaybolmadığı ve bot tarafından görülebildiği doğrulanmalıdır. X-Robots-Tag için ise
curl -IÖrnek bir header kontrolü:
BASHcurl -I https://www.ornekdomain.com/dokumanlar/katalog.pdf
Sitemap tarafında ise şu kontroller önemlidir:
- Yalnızca kanonik ve indekslenmesi istenen URL'ler yer almalı
- 200 dönen URL'ler bulunmalı, 3xx, 4xx ve 5xx sayfalar mümkün olduğunca çıkarılmalı
- noindex verilen URL'ler sitemap'te tutulmamalı
- robots.txt ile bloklanan URL'ler sitemap'te bulunsa bile neden bulunduğu sorgulanmalı
Özellikle hazır web sitesi altyapısı kullanan işletmelerde bu kontrollerin panel seviyesinde kolay yapılabilmesi ciddi avantaj sağlar. Pratikweb benzeri yönetilebilir sistemlerde içerik, URL yapısı ve teknik yönlendirmeler düzenli takip edildiğinde SEO operasyonları daha sürdürülebilir hale gelir.
Sonuç: Üç farklı araç, üç farklı görev
robots.txt, meta robots ve XML sitemap aynı SEO problemini çözmez. robots.txt tarama erişimini yönetir, meta robots indexleme davranışını yönlendirir, XML sitemap ise URL keşfini kolaylaştırır. Bu farkı netleştirdiğiniz anda hem teknik hataları azaltır hem de arama motorlarına daha tutarlı sinyaller gönderirsiniz.
Sitenizde hangi URL'nin taranması, hangisinin dizine girmesi ve hangisinin daha hızlı keşfedilmesi gerektiğini ayrı ayrı planlayın. Kararları tek araçla çözmeye çalışmak yerine doğru aracı doğru amaç için kullanın. Eğer büyük bir site yönetiyor, ölçeklenebilir bir yapı kuruyor ya da hazır bir web altyapısını SEO açısından doğru yapılandırmak istiyorsanız bu üç mekanizmayı birlikte ama karıştırmadan ele almanız gerekir.