Ini Cara Mengatasi di index di blokir robot.txt Mudah

Ini Cara Mengatasi di index di blokir robot.txt Mudah

Kali ini saya akan membagikan tips Cara Mengatasi Masalah Peringatan Diindeks Meski Diblokir Oleh Robots.txt. Akhir-akhir ini tidak sedikit para Blogger yang mengeluh Mengatasi di index di blokir robot.txt, meski diblokir oleh robots.txt khususnya untuk blog-blog yang menggunakan platform Blogger.

Biasanya URL yang diindeks, meski diblokir oleh robots.txt ini adalah semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.

Baca juga : Perbedaan Template Blog Gratis dan Berbayar

Secara default robot.txt di Blogger menggunakan format seperti ini jika dinonaktifkan.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.domain-anda.com/sitemap.xml

Pada robots.txt di atas menunjukan bahwa semua halaman Search tidak diizinkan untuk dirayapi bot.

Namun, karena halaman-halaman search tersebut ditautkan di blog seperti pada breadcrumb, menu, atau widget label atau pada navigasi next prev, maka halaman-halaman tersebut tetap dirayapi bot.

Nah, untuk mengatasi masalah ini, sebaiknya anda memperbolehkan halaman-halaman tersebut untuk dirayapi bot dan ditampilkan di hasil pencarian.

Silahkan ganti robots.txt dengan kode berikut ini jika Anda menggunakan robots.txt seperti di atas.

Mengatasi di index di blokir robot.txt

Caranya Mengatasi di index di blokir robot.txt yaitu buka Blogger >> Setelan >> Preferensi Penelusuran >> Perayap dan Pengindeksan >> robots.txt khusus.

Kemudian ganti atau aktifkan fungsi robot.txt sebelumnya dengan format dibawah ini.

User-agent: *

Disallow:

Sitemap: https://www.domain-anda.com/sitemap.xml

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: https://www.domain-anda.com/feeds/posts/default

Sitemap: https://www.domain-anda.com/sitemap-pages.xml

Silahkan ganti kode yang ditandai dengan domain blog anda. Tambahkan baris baru jika blog anda sudah memiliki lebih dari 500 atau 1500 postingan, contohnya seperti ini

User-agent: *

Disallow:

Sitemap: https://www.domain-anda.com/sitemap.xml

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=501&max-results=500

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1001&max-results=500

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1501&max-results=500

Sitemap: https://www.domain-anda.com/feeds/posts/default

Sitemap: https://www.domain-anda.com/sitemap-pages.xml

Kemudian klik tombol Simpan perubahan.

Lalu sekarang silahkan simpan kode meta tag noindex berikut di bagian <head> blog untuk memblokir bot pada halaman arsip, search, label dan tidak menampilkannya di halaman hasil percarian Google.

<b:if cond=’data:view.isArchive’>

<meta content=’noindex,noarchive’ name=’robots’/>

</b:if>

<b:if cond=’data:blog.searchQuery’>

<meta content=’noindex,noarchive’ name=’robots’/>

</b:if>

<b:if cond=’data:blog.searchLabel’>

<meta content=’noindex,noarchive’ name=’robots’/>

</b:if>

Dan pastikan anda tidak menggunakan widget arsip blogger.

Jika sudah, klik tombol Simpan tema dan submit robot.txt baru di Robot Testing Tools.

Pilih blognya, kemudian isi kolom yang ada di halaman tersebut dengan format robot.txt yang baru dan klik tombol Kirim untuk mempercepat perubahan robot.txt dari blog anda.

Kemudian masuk ke Google Search Console dan lakukan validasi pada peringatan diindeks, meski diblokir oleh robots.txt dan silahkan pantau terus Search Console nya.

Demikian Mengatasi di index di blokir robot.txt. Semoga bermanfaat dan terima kasih sudah berkunjung

Kami ingin menunjukkan kepada Anda pemberitahuan untuk informasi dan pembaruan terbaru.
Dismiss
Allow Notifications