Cara Setting Robot.txt Blogger
Setting robot.txt blogger ini digunakan untuk mengatur halaman mana saja yang diijinkan untuk ditelusuri/di-index oleh google
bot. Pada umumnya platform blogger telah mempunyai default robot.txt,
hanya saja perlu penambahan untuk mengoptimalkan kinerja blog kita. Hal
tersebut dikarena setiap halaman suatu blog berbeda-beda, sehingga kita
harus menambahkan beberapa code untuk mem-filter google bot agar tidak
menelusuri halaman yang tidak penting atau halaman non public. Sedikit
berbeda dengan robot header tags, robot.txt ini lebih dikhususkan untuk filterisasi content, dan robot header tags lebih dikhususkan untuk link filter link. Silakan baca artikel tentang "costum robot tag header blogger terbaik" untuk mengetahui perbedaan keduanya.
Apa robots.txt itu?
Pada umumnya Robots.txt
adalah sebuah text file yang berisi perintah untuk robot penelusur (ex:
googlebot, mediapatrner, bingbot, dll) untuk menelusuri atau tidak
menelusuri halaman pada sebuah blog.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://nama-blog/feeds/posts/default?orderby=UPDATED
Keterangan kode robot.txt diatas
- User-agent: Mediapartners-Google
Kode ini berfungsi digunakan untuk mengijinkan / tidak mengijinkan adsense bot merayapi situs anda. - User-agent: *
Kode ini berfungsi digunakan untuk mengijinkan / tidak mengijinkan semua robot mesin pencarian merayapi situs anda. - Disallow: *
Kode ini adalah kode yang berfungsi untuk tidak mengijinkan robot merayapi halaman situs anda. - Allow:/
Kode ini adalah kode yang berfungsi untuk mengijinkan robot merayapi halaman situs anda. - Sitemap:
Kode ini adalah kode yang berfungsi untuk memberitahukan Acuan Peta Situs/Sitemap valid telah terdeteksi blog kita ke googlebot
Apakah setiap blog mempunyai robots.txt?
Pada umumnya setiap blog/situs mempunyai robot.txt. Pada Platform blog
yang menggunakan self hosting, robot.txt ini bisanya hanya sebuah text
file yang kita upload untuk kepentingan filter search engine, Akan
tetapi pada platform blogger robot.txt sudah terdapat dalam menu dashboard sehingga setting bisa dilakukan dengan lebih mudah.
Apakah ada hubungan robot.txt dengan SEO?
Ketika webcrawler datang untuk merayapi blog kita, webcrawler akan
merayapi semua konten di blog kita untuk mencari informasi apa saja yang
akan ditampilkan pada mesin pencarinya. Robot.txt ini dibuat untuk
memfilter/memblokir halaman - halaman yang tidak seharusnya dirayapi
oleh mesin pencari. Dengan begitu kinerja situs kita bisa lebih optimal
pada mesin pencarian.
Apa saja manfaat dan kegunaan robot.txt?
Robot.txt sangat banyak manfaatnya, berikut manfaat dan kegunaan robot.txt :
- Memblokir halaman - halaman duplikat, halaman low content, dan halaman error 404. Dengan begitu situs/blog kita akan dinilai sebagai halaman high content oleh mesin pencari.
- Membantu untuk penghapusan halaman error, kesalahan perayapan pada webmaster tools.
- Memblokir konten yang tidak layak untuk iklan adsense
- Memblokir gambar yang tidak layak untuk ditayangkan pada mesin pencarian gambar.
- dll
Bagaimana Cara Setting Robot.txt Blogger Terbaru?
Berikut cara setting robot.txt pada Dashboard blogger :
Bahasa Indonesia
Bahasa Indonesia
Setelan > Preferensi Penelusuran > Perayap dan pengindeksan >
pada menu Robots.txt silahkan klik Edit dan setting sesuai dengan
preferensi yang diinginkan, kemudian klik Ya, kemudian tulis kode
robots.txt yang diinginkan > Simpan Perubahan
English
Setting > Search preferences > Crawlers and indexing > Click
"edit" on the menu robots.txt and adjust as needed > Save
Nah, Selesai sudah Cara Setting Robot.txt Blogger Terbaru di blog kita.... |