Apakah ada risiko kehilangan peringkat mesin pencari? Tidak ada lagi peringkat Google meskipun semuanya tampak baik-baik saja?

Selama beberapa hari terakhir, saya melihat sesuatu yang mengkhawatirkan: artikel terbaru saya tidak lagi diindeks di Google Berita, dan lalu lintas dari Google Discover terus menurun. Tentu saja, perkembangan seperti itu tidak membuat Anda acuh tak acuh. Berbagai asumsi liar terlintas di benak saya, namun saya memutuskan untuk mengesampingkannya dan mendekati masalah secara rasional.

Ketika saya mengirimkan halaman saya secara manual ke Google, halaman tersebut segera diindeks dan ditampilkan. Namun, jika saya menunggu, tidak terjadi apa-apa. Saya mengamati fenomena ini selama dua hari. Jadi sudah waktunya untuk mencari penyebabnya secara menyeluruh.

Langkah 1: Tinjau perubahan terkini

Pertama, saya bertanya pada diri sendiri: Apa hal terakhir yang diedit di situs web? Penting untuk mengidentifikasi perubahan terkini untuk mempersempit kemungkinan sumber kesalahan. Dalam kasus saya, saya baru saja mengerjakan ulang sistem caching.

Langkah 2: Identifikasi kesalahan tersembunyi atau kesalahan dalam berpikir

Perombakan cache dapat menimbulkan efek samping yang tidak diinginkan. Apakah ada kekeliruan atau kekeliruan yang tersembunyi dalam berpikir? Saya mulai memeriksa pengaturan baru dan mencari kemungkinan konflik.

Langkah 3: Temukan penyebabnya

Setelah analisis mendetail, saya menemukan pelakunya: definisi bot baru dalam konfigurasi keamanan saya telah berhasil dengan baik - sayangnya terlalu baik. Saat ini, banyak sekali bot yang berkeliaran di Internet, dan untuk mengurangi beban server, bot yang tidak diperlukan sering kali diblokir. Namun, Googlebot, secara keliru, ditempatkan dalam kategori “bot yang tidak perlu”. Kesalahan kecil yang berakibat besar.

Catatan dari Alat Webmaster Microsoft Bing

Kecurigaan saya terkonfirmasi oleh laporan dari Bing Webmaster Tools:

• “Beberapa halaman penting yang Anda terbitkan baru-baru ini tidak dikirimkan melalui IndexNow. Cari tahu mengapa penting untuk mengirimkan melalui IndexNow.”
• Beberapa halaman baru yang penting tidak disertakan dalam peta situs Anda.”**

Google Search Console juga menunjukkan kepada saya bahwa halaman tanpa konten sedang diindeks. Petunjuk ini dengan jelas menunjukkan bahwa mesin pencari mengalami kesulitan mengakses konten saya.

kesimpulan

Kesadarannya sungguh menyedihkan: Saya melihat halaman yang tidak dilihat Google. Agar mesin pencari dapat menangkap halaman saya, bot mereka harus memiliki akses tanpa hambatan. Jika Googlebot diblokir, konten saya akan tetap tidak terlihat.

Bagaimana Anda memeriksa apa yang dilihat Googlebot?

Untuk memastikan Googlebot dapat merayapi situs web saya dengan benar, saya ingin melihat laman dari sudut pandangnya. Ada beberapa metode untuk mengunjungi situs web seperti yang dilakukan Googlebot.

1. Cara menggunakan Alat Pengembang Google Chrome

Metode sederhana adalah dengan menggunakan alat pengembang Google Chrome:

• Buka alat pengembang: Tekan `Ctrl + Shift + I` (Windows) atau `Cmd + Shift + I` (Mac).
• Beralih ke tab Jaringan: Semua aktivitas jaringan ditampilkan di sini.
• Kustomisasi agen pengguna: Klik pada tiga titik di kanan atas, pilih “Alat lainnya” dan kemudian “Kondisi jaringan”. Hapus centang opsi “Pilih agen pengguna secara otomatis” dan pilih “Googlebot” dari daftar.
• Muat ulang halaman: Memuat ulang menampilkan halaman seperti yang dilihat Googlebot.

Metode ini memungkinkan untuk mengidentifikasi potensi masalah rendering atau sumber daya yang diblokir.

2. Penggunaan pengalih agen pengguna

Alternatifnya, ekstensi browser seperti “Pengalih Agen-Pengguna” dapat digunakan:

• Memasang ekstensi: Cari Pengalih Agen-Pengguna di Toko Web Chrome dan pasang.
• Memilih Googlebot sebagai agen pengguna: Setelah instalasi, Anda dapat memilih agen pengguna yang diinginkan.
• Mengunjungi situs web: Halaman ini sekarang ditampilkan dari sudut pandang Googlebot.

Hal ini sangat berguna untuk pengujian cepat dan jika Anda ingin sering beralih di antara agen pengguna yang berbeda.

3. Menggunakan Spider SEO Screaming Frog

“Screaming Frog SEO Spider” cocok untuk analisis yang lebih mendalam:

• Penyesuaian Agen Pengguna: Buka Konfigurasi > Agen Pengguna dan pilih Googlebot.
• Memulai proses perayapan: Alat ini merayapi situs web dan menampilkan cara Googlebot melihatnya.
• Analisis hasil: Identifikasi kemungkinan masalah perayapan atau sumber daya yang diblokir.

Alat ini ideal untuk situs web besar dan audit SEO terperinci.

4. Menggunakan Google Search Console

Google Search Console juga memberikan wawasan berharga:

• Pemeriksaan URL: Masukkan URL yang diinginkan dan mulai pengujian langsung.
• Analisis hasil: Anda dapat melihat apakah halaman diindeks dan apakah ada masalah perayapan.
• Ambil seperti Google: Fitur ini memungkinkan Anda melihat bagaimana Googlebot merender halaman.

Ini membantu mengidentifikasi masalah spesifik yang dapat mencegah bot menangkap halaman dengan benar.

solusi terhadap masalah tersebut

Dengan menggunakan alat ini, saya dapat mengonfirmasi bahwa Googlebot memang diblokir. Untuk memperbaiki masalah saya mengambil langkah-langkah berikut:

1. Penyesuaian definisi bot

Saya memperbarui konfigurasi keamanan agar tidak lagi memblokir Googlebot dan bot mesin pencari utama lainnya.

2. Memeriksa robots.txt

Saya memastikan file tersebut tidak berisi instruksi apa pun yang membatasi akses.

3. Pembaruan peta situs

Peta situs telah diperbarui dan dikirimkan ke Alat Webmaster.

4. Pemantauan

Selama beberapa hari berikutnya, saya memantau pengindeksan dan lalu lintas untuk memastikan semuanya berjalan lancar kembali.

Tindakan pencegahan untuk masa depan

Untuk menghindari masalah serupa di masa depan, saya telah membuat beberapa resolusi:

• Tinjau konfigurasi keamanan secara berkala: Setelah setiap perubahan, dampaknya terhadap fungsionalitas situs web harus diperiksa.
• Pemantauan berkelanjutan: Menggunakan alat seperti Google Search Console membantu mengidentifikasi masalah sejak dini.
• Dokumentasi perubahan yang jelas: Semua penyesuaian pada situs web harus didokumentasikan agar dapat bereaksi lebih cepat jika terjadi kesalahan.
• Pelatihan: Pemahaman yang lebih baik tentang cara kerja mesin telusur dan botnya membantu menghindari kesalahan konfigurasi.

Pengetahuan darinya

Saya seharusnya tahu lebih baik dan ingat untuk berhati-hati saat mengedit cache. Namun kebutaan operasional sangat parah di sini. Masalah diidentifikasi, dipecahkan, diluruskan dan dilanjutkan dengan lebih penuh perhatian.

Kesalahan teknis dapat berdampak signifikan pada visibilitas situs web. Dalam kasus saya, definisi bot yang salah dikonfigurasi menyebabkan Googlebot diblokir, sehingga berhenti mengindeks konten saya.

Realisasinya: Perubahan kecil sekalipun bisa berdampak besar.

Melalui pemecahan masalah yang sistematis dan penggunaan alat yang tepat, saya dapat mengidentifikasi dan menyelesaikan masalah. Penting untuk memeriksa secara teratur bagaimana mesin pencari memandang situs web Anda.

Saya harap pengalaman saya dapat membantu webmaster lain menghindari masalah serupa atau menyelesaikannya dengan lebih cepat. Visibilitas di mesin pencari sangat penting untuk keberhasilan sebuah situs web, oleh karena itu kondisi teknis harus selalu diperhatikan.

Cocok untuk:

• Blog untuk Pencarian Kecerdasan Buatan AIS / KIS – Pencarian AI / NEO SEO = NSEO (Optimasi Mesin Pencari Generasi Berikutnya)
• AIS (Pencarian Kecerdasan Buatan) dan SEO Generasi Berikutnya – Dalam bahasa Jerman mereka mengatakan CKKK: “Konten adalah raja, tetapi konteks adalah kaisar”