Mengatasi Masalah Cakupan Peringatan Diindeks, Meski Diblokir Oleh Robot.txt

Ada suatu masalah yang tidak terlalu berat dalam sebuah blog. Namun masalah yang tidak terlalu berat pada sebuah blog bukan berarti kita harus membiarkannya begitu saja.

Kalau kita membiarkan masalah yang ada pada blog dan tidak segera diperbaiki maka itu akan berdampak buruk bagi blog di masa mendatang.

Kalau blog yang kamu miliki mempunyai sedikit masalah maka cepatlah untuk segera diperbaiki karena masalah yang sangat ringan di blog pun akan menjadi masalah yang besar di masa mendatang.

Tentunya nanti akan membuat blog kamu error dan susah ditemukan dalam mesin pencari.

Salah satu masalah yang sering muncul pada blog yaitu masalah peringatan diindeks meski diblokir oleh robot.txt bahkan saya sendiri pun pernah mengalaminya berkali-kali dalam blog saya.

Masalah peringatan diindeks meski diblokir oleh robot.txt berarti ada beberapa halaman yang error misalnya halaman arsip atau pencarian.

Jelas halaman itu tidak harus di indeks di mesin pencari, namun kalau halaman yang memiliki peringatan diblokir robot.txt adalah halaman artikel atau halaman yang menampilkan konten maka kita harus segera memperbaikinya karena akan berdampak buruk dalam mesin pencari.

Namun kalau peringatan diblokir oleh robot.txt hanya berpengaruh pada halaman arsip, label atau pencarian maka sebaiknya juga harus diperbaiki agar blog terbebas dari error.

Mengatasi Masalah Cakupan Peringatan Diindeks Meski Diblokir Oleh Robot.txt Di Blog

Untuk cara mengatasi permasalahan seperti diatas, silahkan baca langkah-langkahnya berikut ini.

1. Masuk ke blog kamu dan pilih Settings > Preferensi Penelusuran.

2. Dalam menu preferensi penelusuran aktifkan robot.txt di bagian perayap dan pengindeksan dan berikan tanda centang untuk pengaktifkan robot.txt tersebut.

3. Terkadang ada beberapa template yang sudah memiliki kode robot.txt secara otomatis, namun kalau tidak ada kamu bisa menambahkan kode robot.txt seperti berikut

User-agent: *
Allow: /
Allow: /search
Sitemap: https://www.nama-blog-kamu.com/sitemap.xml

4. Kemudian kalau kode robot.txt yang kamu temukan memiliki kode Disallow: /search maka hapus saja kode itu dan ikuti penulisan kode robot.txt diatas karena kode Disallow: /search berarti tidak mengizinkan untuk mengindeks pencarian.

5. Selanjutnya jangan lupa kamu tulis sitemap blog kamu seperti yang sudah saya tulis dalam nomor 3 diatas, kemudian simpan perubahan.

Menghapus Tag HTML Noindex

Peringatan tersebut bukan hanya dikarenakan perintah Disallow pada file robot.txt saja, namun tag html pada template juga bisa menjadi penyebabnya.

Dalam beberapa template memang terdapat tag Noindex. Tapi akan lebih baik lagi kalau tag tersebut dihapus saja karena tag tersebut bisa memblokir halaman blog dengan peringatan diindeks meski diblokir oleh robot.txt.

Untuk menghapus tag Noindex dalam template html, silahkan ikuti cara-caranya berikut ini.

1. Masuk ke blog dan edit HTML template blog kamu.

2. Kemudian cari dan hapus kode seperti dibawah ini

<meta content='noindex,nofollow' name='robots'/>

Dalam template html blog terdapat tag Noindex seperti diatas. Pastikan kamu menghapus semua tag noindex seperti diatas.

Masuk Search Console

Setelah kamu melakukan cara-cara seperti diatas maka selanjutnya kamu pergi ke search console dan memvalidasi perbaikan bahwa kamu sudah memperbaiki peringatan diindeks meski diblokir robot.txt. Validasi search console dengan cara sebagai berikut.

1. Masuk ke search console > liputan > klik peringatan masalah yang muncul.

2. Kemudian kamu tekan tombol validasi dan search console akan mulai memvalidasi ulang pada halaman yang memiliki peringatan.

Kalau perbaikan peringatan sudah berhasil atau selesai, maka kamu akan mendapat pemberitahuan melalui gmail atau di search console.

Saya tidak tahu berapa lama waktu untuk validasi ulang dalam search console namun lebih baik tetap bersabar menunggu.

Itulah cara mengatasi masalah cakupan peringatan dindeks meski diblokir oleh robot.txt, saya yakin diantara kalian pasti ada yang sudah pernah mengalami masalah tersebut.

Buat kamu yang sedang memiliki masalah peringatan tersebut bisa mencobanya sendiri dengan cara yang sudah saya tulis diatas.