
Arama motoru sıralamanızı kaybetme riskiyle karşı karşıya mısınız? Her şey yolunda görünse bile artık Google'da sıralamada yer almıyor musunuz? – Görsel: Xpert.Digital
Arama motoru indeksleme sorununu akılcı bir şekilde çözmek – Bu sefer arkasında ne var?
Son birkaç gündür endişe verici bir şey fark ettim: Son makalelerim artık Google Haberler'de indekslenmiyordu ve Google Discover'dan gelen trafik sürekli azalıyordu. Elbette, bu tür gelişmeler sizi kayıtsız bırakmıyor. Aklımdan türlü çılgın tahminler geçiyordu, ama onları bir kenara bırakıp soruna mantıklı bir şekilde yaklaşmaya karar verdim.
Sayfalarımı Google'a manuel olarak gönderdiğimde, hemen dizine eklendi ve görüntülendi. Ancak bekledim ve hiçbir şey olmadı. Bu olayı iki gün boyunca gözlemledim. Bu yüzden nedenini kapsamlı bir şekilde araştırmanın zamanı gelmişti.
Adım 1: Son değişikliklerin gözden geçirilmesi
İlk olarak kendime şunu sordum: Web sitesinde en son ne değişti? Olası hata kaynaklarını daraltmak için son değişiklikleri belirlemek çok önemlidir. Benim durumumda, önbellekleme sistemini yakın zamanda revize etmiştim.
Adım 2: Gizli hataları veya hatalı muhakemeyi belirleyin
Önbelleğe alma işleminin beklenmedik yan etkileri olabilir. Mantıkta herhangi bir gizli hata veya kusur var mı? Yeni ayarları incelemeye ve olası çakışmaları aramaya başladım.
Adım 3: Nedeni bulun
Kapsamlı bir analizden sonra suçluyu buldum: Güvenlik yapılandırmamdaki yeni bir bot tanımı harika bir iş çıkarmıştı - ne yazık ki fazla iyi. Günümüzde internette sayısız bot dolaşıyor ve sunucu yükünü azaltmak için gereksiz botlar sıklıkla engelleniyor. Ancak Googlebot, her şeyden önce, yanlışlıkla "gereksiz botlar" kategorisine düşmüştü. Büyük sonuçları olan küçük bir dikkatsizlik.
Microsoft Bing Web Yöneticisi Araçları'ndan Notlar
Şüphelerim Bing Web Yöneticisi Araçları'ndan gelen raporlarla doğrulandı:
- "Son yayınladığınız önemli sayfaların bazıları IndexNow üzerinden gönderilmedi. Bunları IndexNow üzerinden göndermenin neden önemli olduğunu öğrenin."
- Önemli yeni sayfalarınızdan bazıları site haritalarınıza dahil edilmemiştir.**
Google Search Console ayrıca, içerik içermeyen sayfaların dizine eklendiği konusunda beni uyardı. Bu göstergeler, arama motorlarının içeriğime erişmekte sorun yaşadığını açıkça gösteriyordu.
çözüm
Bu farkındalık beni ayılttı: Google'ın görmediği sayfaları görüyorum. Arama motorlarının sayfalarımı dizine eklemesi için botlarının sınırsız erişime ihtiyacı var. Googlebot engellenirse, içeriğim görünmez kalır.
Googlebot'un ne gördüğünü nasıl kontrol edersiniz?
Googlebot'un web sitemi doğru bir şekilde tarayabilmesini sağlamak için sayfaları Googlebot'un bakış açısından görüntülemek istedim. Bir web sitesini Googlebot'un yaptığı gibi ziyaret etmenin birkaç yöntemi vardır.
1. Google Chrome Geliştirici Araçlarını Kullanma
Basit bir yöntem olarak Google Chrome'un geliştirici araçlarını kullanabilirsiniz:
- Geliştirici araçlarını açmak için: `Ctrl + Shift + I` (Windows) veya `Cmd + Shift + I` (Mac) tuşlarına basın.
- Ağ sekmesine geçin: Burada tüm ağ etkinliğini göreceksiniz.
- Kullanıcı aracısını ayarlamak için: Sağ üst köşedeki üç noktaya tıklayın, "Diğer araçlar"ı ve ardından "Ağ koşulları"nı seçin. "Kullanıcı aracısını otomatik olarak seç" seçeneğini devre dışı bırakın ve listeden "Googlebot"u seçin.
- Sayfayı yeniden yükle: Sayfayı yeniden yüklediğinizde, sayfa Googlebot'un gördüğü gibi görüntülenir.
Bu yöntem, potansiyel işleme sorunlarının veya engellenen kaynakların belirlenmesini mümkün kılar.
2. Kullanıcı Aracısı Değiştiricisinin Kullanımı
Alternatif olarak, “Kullanıcı Aracısı Değiştirici” gibi bir tarayıcı uzantısı kullanılabilir:
- Eklentiyi yüklemek için: Chrome Web Mağazası'nda "User-Agent Switcher" ifadesini arayın ve yükleyin.
- Googlebot'u kullanıcı aracısı olarak seçme: Kurulumdan sonra istediğiniz kullanıcı aracısını seçebilirsiniz.
- Web sitesini ziyaret etme: Sayfa artık Googlebot'un bakış açısından görüntüleniyor.
Bu, özellikle hızlı testler için ve farklı kullanıcı aracıları arasında sık sık geçiş yapmak istediğinizde kullanışlıdır.
3. Screaming Frog SEO Spider'ı Kullanma
Daha derinlemesine analizler için “Screaming Frog SEO Spider” uygundur:
- Kullanıcı Aracısı ayarlaması: “Yapılandırma > Kullanıcı Aracısı”na gidin ve Googlebot’u seçin.
- Tarama sürecinin başlangıcı: Araç, web sitesini arar ve Googlebot'un onu nasıl gördüğünü gösterir.
- Sonuçların analizi: Potansiyel tarama sorunlarını veya engellenen kaynakları belirleyin.
Bu araç büyük web siteleri ve detaylı SEO denetimleri için idealdir.
4. Google Search Console'u Kullanma
Google Search Console ayrıca değerli bilgiler de sunar:
- URL kontrolü: İstediğiniz URL’yi girin ve canlı testi başlatın.
- Sonuçları analiz edin: Sayfanın indekslenip indekslenmediğini ve taranmasında herhangi bir sorun olup olmadığını görebilirsiniz.
- Google'ın yaptığı gibi getir: Bu özellik, Googlebot'un sayfayı nasıl görüntülediğini görmenizi sağlar.
Bu, botun sayfayı doğru şekilde taramasını engelleyebilecek belirli sorunların belirlenmesine yardımcı olur.
Soruna çözüm
Bu araçları kullanarak Googlebot'un gerçekten engellendiğini doğrulayabildim. Sorunu çözmek için aşağıdaki adımları izledim:
1. Bot tanımlarının ayarlanması
Googlebot ve diğer önemli arama motoru botlarının artık engellenmemesi için güvenlik yapılandırmasını güncelledim.
2. Robots.txt dosyasını kontrol edin
Dosyanın erişimi kısıtlayacak herhangi bir talimat içermediğinden emin oldum.
3. Site haritalarının güncellenmesi
Site haritaları güncellendi ve Webmaster Araçlarına gönderildi.
4. İzleme
Sonraki günlerde indekslemeyi ve trafiği izleyerek her şeyin tekrar düzgün çalıştığından emin oldum.
Gelecek için önleyici tedbirler
Gelecekte bu tür sorunlarla karşılaşmamak için bazı kararlar aldım:
- Güvenlik yapılandırmalarının düzenli olarak gözden geçirilmesi: Her değişiklikten sonra web sitesi işlevselliği üzerindeki etki kontrol edilmelidir.
- Sürekli izleme: Google Search Console gibi araçların kullanılması sorunların erken tespit edilmesine yardımcı olur.
- Değişikliklerin net bir şekilde belgelenmesi: Web sitesinde yapılan tüm değişiklikler, hata durumunda daha hızlı tepki verebilmek için belgelenmelidir.
- Eğitim: Arama motorlarının ve botlarının nasıl çalıştığına dair daha iyi bir anlayış, yanlış yapılandırmaların önlenmesine yardımcı olur.
Bundan elde edilen içgörü
Önbelleği işlerken daha iyi bilmeli ve daha dikkatli olmalıydım. Ama tünel görüşüm gerçekten de tuttu. Sorun tespit edildi, çözüldü, kurtarıldı ve daha dikkatli bir şekilde devam edeceğim.
Teknik hatalar bir web sitesinin görünürlüğünü önemli ölçüde etkileyebilir. Benim durumumda, yanlış yapılandırılmış bir bot tanımı Googlebot'un engellenmesine ve içeriğimin dizine eklenmesinin engellenmesine neden oldu.
Gerçek şu ki: Küçük değişikliklerin bile büyük sonuçları olabilir.
Sistematik sorun giderme ve uygun araçların kullanımı sayesinde sorunu tespit edip çözebildim. Arama motorlarının web sitenizi nasıl algıladığını düzenli olarak kontrol etmek çok önemlidir.
Umarım deneyimlerim, diğer web yöneticilerinin benzer sorunları daha hızlı çözmelerine veya önlemelerine yardımcı olur. Arama motoru görünürlüğü bir web sitesinin başarısı için çok önemlidir, bu nedenle teknik durumu her zaman izlenmelidir.
İçin uygun:
