Sebelum kita memasang robots.txt , setidaknya agan harus tau pengertia robots.txt ini .
ang dimaksud dengan Robots.txt adalah Sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari seperti google , search engine yang akan membuka website agan .
sesudah membuka blog agan , Search engine ini membuka robots.txt terdahulu supaya mereka mengetahui apa yang bisa mereka akses dan tidak mereka akses.
Sekarang , untuk pemasang robots.txt bisa agan lihat dibawah ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.dumaicodes.blogspot.com/feeds/posts/default?orderby=UPDATED
Jika blog anda menggunakan domain perbayar makan agan tinggal merubahkannya seperti ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.namabloganda.com/feeds/posts/default?orderby=UPDATED
Jika anda kurang yakin , anda bisa bisa check robots.txt blog saya melalui screnshoot disini
http://tool.motoricerca.info/robots-checker.phtml
Sekian tutorial Saya semoga berguna buat temen2 blogger :)