Kali ini saya akan membagikan tips Cara Mengatasi Masalah Peringatan Diindeks Meski Diblokir Oleh Robots.txt. Akhir-akhir ini tidak sedikit para Blogger yang mengeluh Mengatasi di index di blokir robot.txt, meski diblokir oleh robots.txt khususnya untuk blog-blog yang menggunakan platform Blogger.
Biasanya URL yang diindeks, meski diblokir oleh robots.txt ini adalah semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.
Baca juga : Perbedaan Template Blog Gratis dan Berbayar
Secara default robot.txt di Blogger menggunakan format seperti ini jika dinonaktifkan.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.domain-anda.com/sitemap.xml
Pada robots.txt di atas menunjukan bahwa semua halaman Search tidak diizinkan untuk dirayapi bot.
Namun, karena halaman-halaman search tersebut ditautkan di blog seperti pada breadcrumb, menu, atau widget label atau pada navigasi next prev, maka halaman-halaman tersebut tetap dirayapi bot.
Nah, untuk mengatasi masalah ini, sebaiknya anda memperbolehkan halaman-halaman tersebut untuk dirayapi bot dan ditampilkan di hasil pencarian.
Silahkan ganti robots.txt dengan kode berikut ini jika Anda menggunakan robots.txt seperti di atas.
Mengatasi di index di blokir robot.txt
Caranya Mengatasi di index di blokir robot.txt yaitu buka Blogger >> Setelan >> Preferensi Penelusuran >> Perayap dan Pengindeksan >> robots.txt khusus.
Kemudian ganti atau aktifkan fungsi robot.txt sebelumnya dengan format dibawah ini.
User-agent: *
Disallow:
Sitemap: https://www.domain-anda.com/sitemap.xml
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.domain-anda.com/feeds/posts/default
Sitemap: https://www.domain-anda.com/sitemap-pages.xml
Silahkan ganti kode yang ditandai dengan domain blog anda. Tambahkan baris baru jika blog anda sudah memiliki lebih dari 500 atau 1500 postingan, contohnya seperti ini
User-agent: *
Disallow:
Sitemap: https://www.domain-anda.com/sitemap.xml
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=501&max-results=500
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1001&max-results=500
Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1501&max-results=500
Sitemap: https://www.domain-anda.com/feeds/posts/default
Sitemap: https://www.domain-anda.com/sitemap-pages.xml
Kemudian klik tombol Simpan perubahan.
Lalu sekarang silahkan simpan kode meta tag noindex berikut di bagian <head> blog untuk memblokir bot pada halaman arsip, search, label dan tidak menampilkannya di halaman hasil percarian Google.
<b:if cond=’data:view.isArchive’>
<meta content=’noindex,noarchive’ name=’robots’/>
</b:if>
<b:if cond=’data:blog.searchQuery’>
<meta content=’noindex,noarchive’ name=’robots’/>
</b:if>
<b:if cond=’data:blog.searchLabel’>
<meta content=’noindex,noarchive’ name=’robots’/>
</b:if>
Dan pastikan anda tidak menggunakan widget arsip blogger.
Jika sudah, klik tombol Simpan tema dan submit robot.txt baru di Robot Testing Tools.
Pilih blognya, kemudian isi kolom yang ada di halaman tersebut dengan format robot.txt yang baru dan klik tombol Kirim untuk mempercepat perubahan robot.txt dari blog anda.
Kemudian masuk ke Google Search Console dan lakukan validasi pada peringatan diindeks, meski diblokir oleh robots.txt dan silahkan pantau terus Search Console nya.
Demikian Mengatasi di index di blokir robot.txt. Semoga bermanfaat dan terima kasih sudah berkunjung
