Cara Setting Robot.txt Agar Terindex di Webmaster

Mungkin kalian sudah sering mendengar istilah robots.txt. Sebenernya apa sih robots.txt? apa perlu di setting? bagaimana kalau dibiarin aja? mungkin masih banyak pertanyaan lain.


Apa itu robots.txt?

Robots.txt adalah perintah bagi robot mesin pencari untuk menelusuri atau memblokir halaman pada blog kita. Boleh dikatakan robots.txt adalah filter blog kita pada mesin pencari.


Apakah setiap blog mempunyai robots.txt?

Semua blog sudah mempunyai robots.txt yang diberikan oleh blogger. Secara default robots.txt pada blog seperti ini :
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://blogkalian/feeds/posts/default?orderby=UPDATED
Keterangan :


  • User-agent: Mediapartners-Google

Robot Google merayapi blog

  • Disallow:
Yang tidak diperbolehkan tidak ada

  • User-agent: *
Semua robot Search Engine / mesin pencari
  • Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti..../search/label dan ... search/search?updated...
  • Allow: /
Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
  • Sitemap:http://blogkalian/feeds/posts/default?orderby=UPDATED
sitemap atau alamat feed blog kita. 

Kenapa label tidak dimasukan ke pencarian?

Dengan penulisan kode default Disallow: /search, artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju satu halaman tertentu.


Bagaimana cara mencegah robot pada halaman tertentu?

Untuk mencegah google merayapi halaman tertentu di blog sobat, katakan sobat tidak ingin halaman about me diindex oleh mesin pencari. Untuk URL about me pada blog sobat misal : http://namablogsobat.blogspot.com/p/about.html

Maka untuk robots.txt, silahkan copy kode defaut di atas, tambahakan halaman yang tidak diperbolehkan, hasilnya seperti ini :

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /

Sitemap: http://blogkalian/feeds/posts/default?orderby=UPDATED



Dimana cara edit robots.txt?


  • Masuk ke Setelan/Settings
  • Klik Preferensi Penelusuran
  • Scroll kebawah lalu ada tulisan Robot.txt
  • Klik edit dan klik 'Ya'
  • Masukan kode robot txt yang telah kalian siapkan

0 Response to "Cara Setting Robot.txt Agar Terindex di Webmaster"

Post a Comment

Berkomentarlah menggunakan bahasa yang sopan.