Ini Cara Mengatasi di index di blokir robot.txt Mudah

Ini Cara Mengatasi di index di blokir robot.txt Mudah

Kali ini saya akan membagikan tips Cara Mengatasi Masalah Peringatan Diindeks Meski Diblokir Oleh Robots.txt. Akhir-akhir ini tidak sedikit para Blogger yang mengeluh Mengatasi di index di blokir robot.txt, meski diblokir oleh robots.txt khususnya untuk blog-blog yang menggunakan platform Blogger.

Biasanya URL yang diindeks, meski diblokir oleh robots.txt ini adalah semua halaman Search yaitu untuk halaman Search Label dan untuk halaman navigasi postingan lama.

Baca juga : Perbedaan Template Blog Gratis dan Berbayar

Secara default robot.txt di Blogger menggunakan format seperti ini jika dinonaktifkan.

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.domain-anda.com/sitemap.xml

Pada robots.txt di atas menunjukan bahwa semua halaman Search tidak diizinkan untuk dirayapi bot.

Namun, karena halaman-halaman search tersebut ditautkan di blog seperti pada breadcrumb, menu, atau widget label atau pada navigasi next prev, maka halaman-halaman tersebut tetap dirayapi bot.

Nah, untuk mengatasi masalah ini, sebaiknya anda memperbolehkan halaman-halaman tersebut untuk dirayapi bot dan ditampilkan di hasil pencarian.

Silahkan ganti robots.txt dengan kode berikut ini jika Anda menggunakan robots.txt seperti di atas.

Mengatasi di index di blokir robot.txt

Caranya Mengatasi di index di blokir robot.txt yaitu buka Blogger >> Setelan >> Preferensi Penelusuran >> Perayap dan Pengindeksan >> robots.txt khusus.

Kemudian ganti atau aktifkan fungsi robot.txt sebelumnya dengan format dibawah ini.

User-agent: *

Disallow:

Sitemap: https://www.domain-anda.com/sitemap.xml

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: https://www.domain-anda.com/feeds/posts/default

Sitemap: https://www.domain-anda.com/sitemap-pages.xml

Silahkan ganti kode yang ditandai dengan domain blog anda. Tambahkan baris baru jika blog anda sudah memiliki lebih dari 500 atau 1500 postingan, contohnya seperti ini

User-agent: *

Disallow:

Sitemap: https://www.domain-anda.com/sitemap.xml

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=501&max-results=500

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1001&max-results=500

Sitemap: https://www.domain-anda.com/atom.xml?redirect=false&start-index=1501&max-results=500

Sitemap: https://www.domain-anda.com/feeds/posts/default

Sitemap: https://www.domain-anda.com/sitemap-pages.xml

Kemudian klik tombol Simpan perubahan.

Lalu sekarang silahkan simpan kode meta tag noindex berikut di bagian <head> blog untuk memblokir bot pada halaman arsip, search, label dan tidak menampilkannya di halaman hasil percarian Google.

<b:if cond=’data:view.isArchive’>

<meta content=’noindex,noarchive’ name=’robots’/>

</b:if>

<b:if cond=’data:blog.searchQuery’>

<meta content=’noindex,noarchive’ name=’robots’/>

</b:if>

<b:if cond=’data:blog.searchLabel’>

<meta content=’noindex,noarchive’ name=’robots’/>

</b:if>

Dan pastikan anda tidak menggunakan widget arsip blogger.

Jika sudah, klik tombol Simpan tema dan submit robot.txt baru di Robot Testing Tools.

Pilih blognya, kemudian isi kolom yang ada di halaman tersebut dengan format robot.txt yang baru dan klik tombol Kirim untuk mempercepat perubahan robot.txt dari blog anda.

Kemudian masuk ke Google Search Console dan lakukan validasi pada peringatan diindeks, meski diblokir oleh robots.txt dan silahkan pantau terus Search Console nya.

Demikian Mengatasi di index di blokir robot.txt. Semoga bermanfaat dan terima kasih sudah berkunjung

Related Posts

4 Cara Cek Valid Blog AMP di Halaman Mobile Lengkap

4 Cara Cek Valid Blog AMP di Halaman Mobile Lengkap

BYSNIS.COM - pengguna internet saat ini ini sudah didominasi oleh smartphone dari pada komputer. Memakai blog valid AMP seakan-akan hukumnya wajib. Untuk mengecek valid blog AMP bisa memakai 4 tools di halaman ini. Mari kita bahas 4 Cara Cek Valid Blog AMP Pakai...

Perbedaan Blog Valid AMP dan Non AMP Lengkap

Perbedaan Blog Valid AMP dan Non AMP Lengkap

BYSNIS.COM - Sudah tahu apa Perbedaan Blog AMP dan Non AMP? Blog valid AMP saat ini dibutuhkan guna memudahkan pengunjung dari HP. Begini cara perbandingan Blog yang Support AMP dan non AMP. Apa Itu Blog AMP AMP (Accerelated Mobile Page) adalah website yang memiliiki...

Review Template Blogspot Templateify Update 2021

Review Template Blogspot Templateify Update 2021

BYSNIS.COM - Templateify v4.8.0 adalah tata letak blogger majalah responsif yang bersih dan gesit. Segera miliki template blog dengan Download Template Blogspot Templateify. Dengan kombinasi warna yang menarik dan pakar yang terpesona dan memiliki banyak sorotan....

Download Template Blog Blanter Orbit Gratis dan Premium

Download Template Blog Blanter Orbit Gratis dan Premium

BYSNIS.COM - Pakai template blog Blanter Orbit bisa dimanfaatkan untuk menjual produk dan konten artikel blog. Mari download Template Blog Blanter Orbit gratis dan premium berikut. Template Blog Blanter Orbit Blanter Orbit merupakan template blog sederhana yang dapat...

Download Template Blogspot Mirip Kumparan V2 Untuk Berita

Download Template Blogspot Mirip Kumparan V2 Untuk Berita

BYSNIS.COM - Pingin download template blogspot untuk berita kamu bisa pakai tempat blogspot mirip kumparan V2?. Bysnis telah menyediakan template blogspot mirip kumparan V2 untuk berita. Blogger sekarang sudah bisa pakai blogspot dengan template blog mirip kumparan V2...

2 Komentar

  1. Riky

    Akhirnya, setelah ikuti cara di atas, bisa juga. Makasih min

    Balas
    • bysnis

      Semoga bermanfaat mas.

      Balas

Kirim Komentar

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *