Robots.txt Stratejileri ile E-Ticaret Optimizasyonu|Ekstra SEO Gücü

E-Ticaret siteleri için robots.txt kullanımı özelinde teknik bazı ipuçları ve bu bilgilerin SEO tarafında olan avantajları

Robots.txt dosyası bu konumda arama motoru botlarına yönlendirmeler iletmesi konusunda kritik bir araçtır. Bu dosya bir e-ticaret sitesi için doğru ve stratejik bir kurgu ile yapılandırıldığında, gereksiz indekslemeleri önleyerek e-ticaret sitemizde tarama bütçesinin çok daha etkili kullanılmasında önemli görevler üstlenecektir.

Bu blog yazısının içeriğinde; E-Ticaret siteleri için robots.txt kullanımı özelinde teknik bazı ipuçlarını ve bu bilgilerin SEO tarafında olan avantajlarını detaylandırılmış bir şekilde örnek kurgular beraberinde inceleyeceğiz.

Robots.txt ile SEO yönetimi

Robots.txt dosyasının arama motorlarına etkisi

Arama motorları her web sitesi için tarama bütçeleri belirler. Robots.txt dosyası da gereksiz görülen sayfaların indekslenmesini önleyerek bu tarama bütçesini optimize etmeye yardımcı olur. Özelliklede E-Ticaret sitelerinde yüzlerce kategori, belki de binlerce ürün ve fazla sayıda dinamik URL olduğu için doğru yönlendirme yapılmazsa önemli sayfalar gerektiği şekilde taranmayabilir.

Tarama bütçesi optimizasyonu

SEO kapsamında yüksek önem içeren sayfaların daha sık taranması sağlanırken, önemsiz, gereksiz veya geçici web sayfaları için Disallow komutu kullanılmalıdır.

Örneğin:

User-agent: *
Disallow: /checkout/
Disallow: /cart/
Disallow: /search?
Allow: /
Sitemap: https://www.cenkorneksite.com/sitemap.xml

Robots.txt dosyasında kullanılan bu yapılandırma örneği ile e-ticaret sitelerinde sepete ekleme, ödeme sayfası ve arama (Search?) sonuçlarını sitemizde engelleyerek arama motorlarının daha önemli sayfalarımızı daha sık ve verimli taraması hedeflenir.

Kategori ve ürün sayfalarında robots.txt kullanımı

Tahmin edildiği üzere E-Ticaret sitelerinde en kritik sayfalardan ikisidir; ürün sayfaları ve diğeri ise ürünlerimizin içerisinde listelendiği ürün kategori sayfaları. Eğer bu kritik iki nokta doğru yönetilmezse önemli ürün sayfaları indekslenmez veya gereksiz sayfalara trafik yönlendirilebilir.

Ürün detay sayfalarının indekslenmesi ve engellenmesi

E-ticaret sitemizde sektörümüze göre bazı ürünler sezonluk veya geçici olarak listelenebilir. Süresi dolmuş veya stoğu bitmiş ürünleri arama motorlarının indekslemesini istemiyorsak aşağıdaki örnekte olduğu gibi bir yapıyı robots.txt dosyamızda kullanabiliriz:

User-agent: *
Disallow: /out-of-stock/

Fiyat değişimleri ve stok güncellemelerinde doğru indeksleme

E-ticaret sitelerinde gerek dönemsel, gerek kampanya süreçlerinde fiyat değişiklikleri ve stok güncellemeleri yapılması sık sık yapılan işlemler arasındadır. E-ticaret sitemizde eğer dinamik URL parametreleri çok fazla indekslenirse, SEO tarafında karmaşa oluşturabilir.

Bu durumu önlemek için ise:

Disallow: /*price=
Disallow: /*stock=

Örneğin;

Popüler yapayzeka (AI) aracı ChatGPT’ nin yeni güncellemeleri beraberinde ürün listelemeleri tarafında aktif testler gerçekleştiriyor ve bu güncellemeleri sürekli olarak geliştiriliyor. Fiyat tarafında yapılacak bir engelleme stratejisi tarama bütçesi bazında olumlu sonuç oluşturabilirken, piyasada en iyi fiyata sahip olan bir ürününüzün yapay zeka botlarına girmemesi ile alıcı potansiyelini düşürebilir. Hangi kategoriler, hangi ürünler tarafında seçici ve emin olmalıyız.

Filtreleme ve parametreli URL’lerin yönetimi

E-Ticaret siteleri kullanıcılarına yönelik filtreleme seçenekleri de sunar. Örneğin bir butik işletmecisiysek ve giyim üzerine ürünler sergiliyorsak e-ticaret sitemizde renk, beden, marka gibi filtreler dinamik URL’ler oluşturur. Fakat bu link parametreleri Google veya diğer arama motorları tarafından indekslenmemeli çünkü; bu durum yinelenen içerik sorununa sebep olabilir.

Faceted navigation ve dinamik URL’ler

E-ticaret sitemizde her bir filtre için yeni bir URL oluşturulursa, gereksiz indeksleme sorunu yaşanabilir.

Bu durumu önlemek için;

Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?brand=
Disallow: /*&sort=
Disallow: /*?filter=

Bu yapılandırma ile e-ticaret sitemizde yalnızca ana kategori sayfalarının indekslenmesi sağlanır.

Kampanya ve indirim sayfaları için Robots.txt optimizasyonu

Sezonluk kampanyalar için tarama stratejisi

E-Ticaret sitelerinde genellikle aktif kampanya dönemlerinde (Anneler günü kampanyalar, sevgililer günü kampanyaları, black friday gibi kampanya dönemleri vs.) geçici veya süreli sayfalar oluşturulması muhtemeldir. Kısa vadeli kampanyaları arama motorlarına gereksiz indekslettirmeler tarama bütçesinin yoğun şekilde kullanılmasına neden olur. Amaçlarımıza uygun olarak bazı arama motoru botlarından veya arama motorlarının tümünden bu indekslemeleri engelleyebilir veya kısıtlayabiliriz.

Eğer geçici veya süreli olan kampanyalarımızı zamanında Disallow komutu ile devre dışı bırakmıyorsak 404 hataları veya kalitesiz içerik sorunları yaşamamız olasıdır.

Tavsiye:

• Geçici veya Dönemsel e-ticaret kampanyaları için noindex meta etiketi ile birlikte robots.txt planlaması kesinikle yapılmalı.
• Kampanya URL’leri kampanya sürecinde ve sonrasında mutlaka düzenli kontrol edilmelidir.

Aşağıda konu ile ilgili bir örnek verilmiştir.

Disallow: /discounts/

Giriş, sepet, ödeme, sipariş takip, hesap ve üyelik sayfalarının yönetimi

Üyelik, sepet, ödeme, sipariş takip, hesap ve giriş sayfaları SEO tarafında SEO değeri olan önemli sayfalar değildir. Tabii ki kullanıcı deneyimi ve işlevsel olarak sorun içermeyen, hatasız sayfalar olmaları çok önemlidir. Özelliklede e-ticaret sitelerinde UX kullanıcı iyileştirmeleri SEO tarafında önem içerir. Fakat konu dahilinde bu sayfaların indekslenmesi tarama bütçesini yormaması açısından oldukça gereksizdir.

Bu sayfaları engellemek için:

Disallow: /login/
Disallow: /register/
Disallow: /sepet
Disallow: /odeme
Disallow: /siparis-takip
Disallow: /hesabim

Robots.txt dosyamızda bu komutların kullanılması arama motoru botlarının bu sayfaları taramasını engeller.

Bu sayfaların isimleri farklı e-ticaret sitelerinde farklı şekillerde isimlendirilmiş olabilir. Örneğin; giriş, kayıt vs. Mutlak surette e-ticaret sitelerimizde isimlendirdiğimiz şekli ile kullanılmasına çok dikkat etmeliyiz.

Robots.txt ve sitemap entegrasyonu

Robots.txt’nin etkin kullanılabilmesi için Sitemap etiketi ile site haritası mutlaka robots.txt dosyasında tanımlı olmalıdır. Hatalı kullanım yapılmasından kaçınılmalıdır.

Sitemap: https://www.cenkorneksite.com/sitemap.xml

Medya dosyalarının ve formatlarının yönetimi

E-Ticaret sitelerinde ürün görselleri, banner görseller ve farklı tasarım görselleri yanı sıra ürün tanıtım videoları sık olarak kullanılır. Fakat; arama motorları bazı görselleri indekslememelidir. Özellikle marka logo veya kullanıcıların yorumlar ile yüklediği yorum görselleri vs.

Bazı görsel kaynaklarımızın Google veya diğer arama motorlarının görsel listeleme alanlarında çıkmasını istemiyorsak veya sadece belirlenen görsel formatlarını botlara taratmak istemiyorsak robots.txt dosyamızı aşağıdaki örnekler dahilinde yapılandırmamız bizi amacımıza götürecektir.

Örnek:

Disallow: /uploads/
Disallow: /logos/
Disallow: /*.jpg$
Disallow: /*.webp$
Disallow: /*.mp4$
Disallow: /videolar/

Çoklu dil ve bölge varyasyonlarında dikkat edilmesi gerekenler

Farklı ülkelere veya farklı dillere hitap eden e-ticaret sitelerinde aynı ürünün farklı URL çeşitleri olabilir. Arama motorlarının botları bu URL’leri karıştırmaması için hreflang etiketleriyle birlikte doğru bir robots.txt dosya yapısı kullanılması önemlidir.

Örnek:

Disallow: /en/search
Disallow: /de/suche

Tarama gecikmesi ayarlamak (Crawl-delay)

Küçük/orta ölçekli sunucular yoğun bot trafiği altında düşük performans gösterebilirler. Robots.txt dosyasında Crawl-delay komutu; arama motoru botlarının e-ticaret sitemizi daha yavaş ve belirlenen sürede gecikmeli olarak taraması amacı ile kullanılır.

User-agent: bingbot
Crawl-delay: 15

E-ticaret siteleri için gelişmiş Robots.txt kullanımı örneği

User-agent: *
Disallow: /arama
Disallow: /giris
Disallow: /uye-ol
Disallow: /sifremi-unuttum
Disallow: /sepet
Disallow: /odeme
Disallow: /kampanya/2025-babalar-gunu
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*&sort=
Disallow: /*filter=
Allow: /uploads/
Sitemap: https://www.cenkorneksite.com/sitemap.xml

Bonus

Bazı yasal olmayan veya veri toplamasını istemediğimiz zararlı bot türlerini projelerimizden uzak tutmak isteyebiliriz. Bu şekilde e-ticaret sitemizi kötü botlardan ve gereksiz tarama bütçesi oluşturmasından uzak tutmuş olabiliriz.

Ek olarak gereksiz gördüğümüz arama botlarını da uzak tutabiliriz. Örneğin; “Baiduspider”, Çin’in en büyük arama motoru Baidu’nun botudur.

User-agent: 008  
Disallow: /
User-agent: mj12bot  
Disallow: /
User-agent: nerdybot  
Disallow: /

• User-agent: 008: Hedeflenen bot, “008” adını taşıyan tarayıcı/bot. Bu bot genellikle yasal olmayan veri toplayıcı (scraper) olarak bilinir.
• MJ12bot”, Majestic-12 adlı bir arama motorunun tarayıcısıdır. Bu bot genellikle bağlantı analizi yapar. Kullanılan komut, Majestic-12 botunun tüm siteyi taramasını engeller.
• “NerdyBot” da bir web tarayıcısıdır. Genellikle içerikleri taramak ve araştırmak niyetlidir.

Sonuç

Robots.txt ile SEO performansınızı güçlendirin

E-Ticaret sitelerimizde Robots.txt stratejileri eğer doğru bir şekilde kurgulanırsa, arama motoru botları doğru ve amaca yönelik bir şekilde yönlendirilir ve projelerimizde Eksta SEO Gücü sağlanmış olur. Tarama bütçesini optimize eden, gereksiz indekslemeleri engelleyen, kategori ve ürün sayfalarını etkili biçimde yönlendiren yapılandırmalar sayesinde SEO performansı önemli ölçüde artar.

Önemli: Robots.txt dosyasında stratejiler doğru kurgulanmazsa arama motorları sitenizi hiç taramayabilir veya önemli sayfalarınız arama sonuçlarında yer almaz. Bu sebep ile e-ticaret gibi karmaşık ve dikkat isteyen yapılarda robots.txt sadece bir metin dosyası değil, gizli bir SEO silahıdır.

E-ticaret sitenizin başarısı yalnızca ürünlerimizin kalitesiyle değil, arama motorlarına dijital varlığımızı nasıl tanıttığımız ile de ilgilidir. Profesyonel ve bilinçli bir şekilde hazırlanmış olan robots.txt dosyamız bu davranışlar bütününü yöneten görünmez ama SEO ilişkisinde tam anlamıyla aramızda zarplı bir köprüdür.