Apakah ada risiko kehilangan peringkat mesin pencari? Tidak ada lagi peringkat Google meskipun semuanya tampak baik-baik saja?

Selama beberapa hari terakhir, saya memperhatikan sesuatu yang mengkhawatirkan: artikel terbaru saya tidak lagi diindeks di Google News, dan lalu lintas dari Google Discover terus menurun. Tentu saja, perkembangan seperti itu tidak membuat saya acuh tak acuh. Berbagai dugaan liar terlintas di benak saya, tetapi saya memutuskan untuk mengesampingkannya dan mendekati masalah ini secara rasional.

Ketika saya mengirimkan halaman saya secara manual ke Google, halaman tersebut langsung diindeks dan ditampilkan. Namun, jika saya menunggu, tidak terjadi apa-apa. Saya mengamati fenomena ini selama dua hari. Jadi, sudah saatnya untuk melakukan penyelidikan menyeluruh terhadap penyebabnya.

Langkah 1: Tinjauan perubahan terkini

Pertama, saya bertanya pada diri sendiri: Apa perubahan terakhir yang dilakukan pada situs web? Mengidentifikasi perubahan terbaru sangat penting untuk mempersempit potensi sumber kesalahan. Dalam kasus saya, saya baru saja merevisi sistem caching.

Langkah 2: Mengidentifikasi kesalahan tersembunyi atau penalaran yang keliru

Perubahan besar pada sistem caching ini mungkin memiliki efek samping yang tidak diinginkan. Apakah ada bug atau kekurangan tersembunyi dalam alasannya? Saya mulai meninjau pengaturan baru dan mencari potensi konflik.

Langkah 3: Temukan penyebabnya

Setelah analisis menyeluruh, saya menemukan penyebabnya: Definisi bot baru dalam konfigurasi keamanan saya telah bekerja—sayangnya, terlalu baik. Saat ini, bot yang tak terhitung jumlahnya berkeliaran di internet, dan untuk mengurangi beban server, bot yang tidak perlu sering diblokir. Namun, Googlebot secara keliru dikategorikan sebagai "bot yang tidak perlu." Sebuah kesalahan kecil dengan konsekuensi besar.

Catatan dari Microsoft Bing Webmaster Tools

Kecurigaan saya terkonfirmasi oleh laporan dari Bing Webmaster Tools:

• “Beberapa halaman penting yang baru saja Anda publikasikan tidak dikirimkan melalui IndexNow. Cari tahu mengapa penting untuk mengirimkannya melalui IndexNow.”
• Beberapa halaman baru penting Anda tidak termasuk dalam peta situs Anda.**

Google Search Console juga memberi tahu saya bahwa halaman tanpa konten sedang diindeks. Indikator-indikator ini jelas menunjukkan bahwa mesin pencari mengalami kesulitan mengakses konten saya.

kesimpulan

Kesadaran itu menyadarkan: Saya melihat halaman-halaman yang tidak dilihat Google. Agar mesin pencari dapat mengindeks halaman saya, bot mereka membutuhkan akses tanpa batasan. Jika Googlebot diblokir, konten saya tetap tidak terlihat.

Bagaimana cara Anda memeriksa apa yang dilihat Googlebot?

Untuk memastikan Googlebot dapat merayapi situs web saya dengan benar, saya ingin melihat halaman-halaman tersebut dari perspektifnya. Ada beberapa metode untuk mengunjungi situs web seperti yang dilakukan Googlebot.

1. Menggunakan Google Chrome Developer Tools

Salah satu cara sederhana adalah dengan menggunakan alat pengembang Google Chrome:

• Untuk membuka alat pengembang: Tekan `Ctrl + Shift + I` (Windows) atau `Cmd + Shift + I` (Mac).
• Beralihlah ke tab Jaringan: Di sini Anda akan melihat semua aktivitas jaringan.
• Untuk menyesuaikan agen pengguna: Klik tiga titik di pojok kanan atas, pilih “Alat lainnya” lalu “Kondisi jaringan”. Nonaktifkan opsi “Pilih agen pengguna secara otomatis” dan pilih “Googlebot” dari daftar.
• Muat ulang halaman: Memuat ulang halaman akan menampilkannya seperti yang dilihat oleh Googlebot.

Metode ini memungkinkan untuk mengidentifikasi potensi masalah rendering atau sumber daya yang terblokir.

2. Penggunaan Pengalih Agen Pengguna

Alternatifnya, ekstensi browser seperti "User-Agent Switcher" dapat digunakan:

• Untuk memasang ekstensi: Cari "User-Agent Switcher" di Chrome Web Store dan pasang.
• Memilih Googlebot sebagai agen pengguna: Setelah instalasi, Anda dapat memilih agen pengguna yang diinginkan.
• Mengunjungi situs web: Halaman sekarang ditampilkan dari perspektif Googlebot.

Ini sangat berguna untuk pengujian cepat dan ketika Anda sering ingin beralih antara agen pengguna yang berbeda.

3. Menggunakan Screaming Frog SEO Spider

Untuk analisis yang lebih mendalam, “Screaming Frog SEO Spider” adalah pilihan yang tepat:

• Penyesuaian User-Agent: Buka “Konfigurasi > User-Agent” dan pilih Googlebot.
• Awal proses perayapan: Alat ini mencari di situs web dan menunjukkan bagaimana Googlebot melihatnya.
• Analisis hasil: Mengidentifikasi potensi masalah perayapan atau sumber daya yang terblokir.

Alat ini ideal untuk situs web besar dan audit SEO yang mendetail.

4. Menggunakan Google Search Console

Google Search Console juga menawarkan wawasan berharga:

• Pengecekan URL: Masukkan URL yang diinginkan dan mulai pengujian langsung.
• Analisis hasil: Anda dapat melihat apakah halaman tersebut telah diindeks dan apakah ada masalah dalam proses pengindeksan.
• Ambil seperti yang dilakukan Google: Fitur ini memungkinkan Anda melihat bagaimana Googlebot merender halaman.

Hal ini membantu mengidentifikasi masalah spesifik yang mungkin mencegah bot merayapi halaman dengan benar.

Solusi untuk masalah tersebut

Dengan menggunakan alat-alat ini, saya dapat memastikan bahwa Googlebot memang diblokir. Untuk mengatasi masalah ini, saya mengambil langkah-langkah berikut:

1. Menyesuaikan definisi bot

Saya telah memperbarui konfigurasi keamanan sehingga Googlebot dan bot mesin pencari penting lainnya tidak lagi diblokir.

2. Periksa file robots.txt

Saya memastikan bahwa file tersebut tidak berisi instruksi apa pun yang akan membatasi akses.

3. Memperbarui peta situs

Peta situs telah diperbarui dan dikirimkan ke Webmaster Tools.

4. Pemantauan

Pada hari-hari berikutnya, saya memantau pengindeksan dan lalu lintas untuk memastikan semuanya berjalan lancar kembali.

Langkah-langkah pencegahan untuk masa depan

Untuk menghindari masalah serupa di masa mendatang, saya telah membuat beberapa resolusi:

• Peninjauan rutin konfigurasi keamanan: Setelah setiap perubahan, dampaknya terhadap fungsionalitas situs web harus diperiksa.
• Pemantauan berkelanjutan: Menggunakan alat seperti Google Search Console membantu mengidentifikasi masalah sejak dini.
• Dokumentasi perubahan yang jelas: Semua perubahan pada situs web harus didokumentasikan agar dapat bereaksi lebih cepat jika terjadi kesalahan.
• Pelatihan: Pemahaman yang lebih baik tentang cara kerja mesin pencari dan bot-nya membantu menghindari kesalahan konfigurasi.

Wawasan dari hal ini

Seharusnya saya lebih berhati-hati saat memproses cache. Tapi saya terlalu fokus pada satu hal. Masalah teridentifikasi, terpecahkan, berhasil dipulihkan, dan saya akan terus melakukannya dengan lebih teliti.

Kesalahan teknis dapat berdampak signifikan pada visibilitas situs web. Dalam kasus saya, definisi bot yang salah konfigurasi menyebabkan Googlebot diblokir, sehingga konten saya tidak dapat diindeks.

Kesadaran: Bahkan perubahan kecil pun dapat memiliki konsekuensi besar.

Melalui pemecahan masalah yang sistematis dan penggunaan alat yang tepat, saya mampu mengidentifikasi dan menyelesaikan masalah tersebut. Sangat penting untuk secara teratur memeriksa bagaimana mesin pencari menilai situs web Anda.

Saya harap pengalaman saya dapat membantu webmaster lain menghindari atau menyelesaikan masalah serupa dengan lebih cepat. Visibilitas mesin pencari sangat penting untuk keberhasilan sebuah situs web, jadi kondisi teknisnya harus selalu dipantau.

Cocok untuk:

• Blog untuk Pencarian Kecerdasan Buatan AIS / KIS – Pencarian AI / NEO SEO = NSEO (Optimasi Mesin Pencari Generasi Berikutnya)
• AIS (Pencarian Kecerdasan Buatan) dan SEO Generasi Berikutnya – Dalam bahasa Jerman mereka mengatakan CKKK: “Konten adalah raja, tetapi konteks adalah kaisar”