Robots txt adalah salah satu indikator yang dimana robot bot atau spider bot bekerja merayapi isi semua konten dalam blog dan website. dengan menggunakan fungsi robots txt yang tepat dan benar akan membantu mesin pencari meng index url pada blog hingga sampai pada akhir semua isi konten. Hubungan robots txt dan webmaster sangat rekat dan tidak bisa dipandang sebelah mata. Sebab jika salah untuk konfigurasi robots txt hal yang diterima kemungkinan isi pada blog tidak akan bisa di index dengan benar,dan sebagian bahkan semua url di blog di cekal oleh robots.txt
Url yang dicekal robot.txt sangat perlu untuk segera di perbaiki, apa bila tidak segera di perbaiki, akan berdampak buruk dalam traffick blog,Banyak kasus yang di alami blogger termasuk blog ini, penurunan drastis traffick karna terlambat dalam mengatasi url yang di cekal oleh robots.txt .Untuk melihat apakah url kita di cekal oleh robots.txt kita dapat melihat status index pada webmaster tool lihat gambar
berikut ini adalah cara mudah mengatasi url yang dicekal oleh robot .txt di Google Webmasters tools.
Masuk dulu ke blogger di lanjutkan ke setelan > Preferensi penelusuran dan klik edit pada robots.txt khusus (aktifkan) pastekan tulisan di bawah ini di kotak yang di sediakan
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: https://waletjkg.blogspot.com/feeds/posts/default?orderby=UPDATED
ganti tulisan yang berwarna biru dengan url blog anda dan klik simpan perubahan
Selanjutnya aktifkan tag tajuk robot khusus dengan meng klik edit ya ,centang kolom sesuai gambar di bawah ini
Robots.txt untuk blog anda telah di update tunggu beberapa hari ke depan dan lihatlah status index blog anda pada webmaster tool google.Jika semua langkah di atas di lakukan secara benar maka url blog yang di cekal akan normal kembali.