
Sobat sudah tahukan mengenai robot txt? kalau belum coba sobat lihat beberapa settingan robot text dan settingan robot tag header yang sudah dibahas pada waktu yang lalu di ; Cara setting robot txt yang seo frendly. Bukan hanya itu jika anda benar dalam settingan robot txt maka dapat memperbaiki duplikat deskripsi di blog anda; baca; Cara memperbaiki duplikat konten.
Bagaimana cara mengetahui berapa banyak url dicekal di blog anda?, Silahkan masuk ke Webmaster tools Google untuk mengetahuinya, Kemudian pilih blog anda yang ingin anda lihat url yang di cekal, kemudian pilih perayapan > Url yang dicekal. Lihat berapa banyak url yang dicekal di blog anda. Kalau belum mendaftar ke webmaster tidak akan ketahuan berapa jumlah url yang dicekal tersebut.
Cara mengatasinya kita tinggal merubah kode robot.txt Disallow: /search menjadi Disallow: saja. Berikut ini cara mengatasi url yang dicekal atau setidaknya menguranginya.
1. Masuk dashboard > setelan > preferensi penelusuran
2. Pada Perayap dan pengindeksan pliih edit di menu robots.txt khusus
3. Aktifkan konten robots.txt khusus? jawab "Ya"
4. Isikan kode ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://wayansusandiarta.blogspot.com/feeds/post/default?orderby=UPDATED
Keterangan:
Silahkan ganti kode yang berwarna merah dengan url blogmu.

4. Simpan perubahan. dan,
5. Selesai.
6. Tunggu beberapa hari untuk melihat hasilnya.
Ok sobat sekian mengenai Cara mengatasi url di cekal robot.txt atau Cara memperbaiki url di cekal robot.txt, semoga tutorial ini bermanfaat untuk anda.
3 komentar
makasih mas untuk artikelnya, semoga dapat membantu, akan saya coba...
yunus....
ulasannya cukup membantu kawan, terimakasih
http://www.kangalip.com/
mas, saya sudah melakukan hal diatas, namun URL yang di cekal setiap x saya membuat artikel baru, malah bertambah URL yang dicekal, brapa lamakah menunggu URL yang dicekal bisa pulih?
Berkomentarlah :
1.Dengan kata-kata yang sopan
2.Tidak menaruh link aktif ataupun non aktif
3.No spam, no sara, and no porn
4.Tidak promosi blog
5.Komentar yang tidak sesuai dengan isi konten akan langsung saya hapus
6.Komentar yang bagus akan saya publish dan saya beri komentar balik