Bagaimana Mengatasi Blocked URLs di Webmaster Tool - Sudah banyak blogger yg mengeluh masalah url yg di blok oleh robot.txt, termasuk saya. Sudah mencoba berbagai cara namun jumlah url yg di blocked oleh robot.txt bukannya berkurang malah makin bertambah banyak. Bingung juga harus di apain. Hingga saat ini masih ada di google webmaster.
Untuk itu di sini saya selaku admin lepas-lagi blog meminta bantuan bagi pembaca yg dapat mengatasi masalah tersebut. Tolong beri tahu cara mengatasinya. Mungkin dari pembaca ada yg memiliki link rujukan buat saya mengatasi masalah ini. Capek sudah muter muter mencari cara bagaimana memperbaiki hal tersebut tapi belum juga mendapat informasi yg melegahkan.
Menurut saya terciptanya blocked url yg ada di google webmaster tool sangat misteri. Mungkin kita berfikir kalau itu tercipta karena adanya duplikat title atau duplicate content. Wajar jika postingan kita banyak lalu muncul masalah blocked url tersebut atau artikel kita ada yg copas dari website/blog orang lain. Namun sehubungan hal tersebut saya melakukan percobaan dengan membuat blog baru yg fresh content.
Lalu apa yg terjadi? tidak ada duplicate title , duplicate meta description, bahkan tidak ada duplicate content, bloked url di webmaster tool tetap saja tercipta dengan sendirinya. aneh sekali bukan? Padahal postingan dari blog percobaan yg saya lakukan baru beberapa saja, sekitar 10 buah artikel. Dan semua artikel tersebut original / asli cuap - cuap saya sendiri namun tetap saja ada beberapa yg di blocked by robot.txt
Jadi kesimpulannya blocked by robot.txt menurut saya bukanlah berasal dari duplikat konten atau duplikat judul dan meta deskripsi, melainkan ..... apa ya...? misteri sekali...
Sekali lagi jika pembaca ada yg dapat membantu permasalahan ini mohon beri informasi dengan berkomentar. Setiap info akan sangat membantu & saya hargai. Sebelumnya saya ucapkan terima kasih.