Pengertian Dan Cara Penggunaan Robots.txt

Pengertian Dan Cara Penggunaan Robots.txt

Robot.txt merupakan suatu file yang diperuntukan sebagai pembatas website kita agar tidak terindex oleh google atau untuk menganjurkan para pencari melalui jalur yang dibuat robot,

Seperti perumpamaan,
Pak budiman telah membuat website dan ia mengupload file kedalam websitenya.
beliau mempunyai 2 folder didalamnya yaitu,
/Member/
dan, /Data Pribadi/

Pak budiman ingin menjadikan folder member sebagai acuan para pencari websitenya agar melalui folder /Member/
dan mentiadakan dalam pencarian google merujuk kedalam /Data Pribadi/

Maka yang dilakukan pak budiman pada file robots.txt websitenya adalah :

User-agent: *
Disallow: /Data Pribadi/
Allow: /
Allow: /Member/

Maka apabila saat ada seseorang yang sedang mencari website pak budimana, google akan memberikan data yang diperbolehkan oleh robots.txt website bpk budiman tersebut

Yaitu akan keluar pada search engine :

1. http://website.web/
2. http://website.web/Member/

Lalu apa yang terjadi pada Disallow Data pribadi ?
Google akan mentiadakan /Data Pribadi/ dari pencarian sehingga tidak akan pernah muncul. kalaupun muncul harapan untuk jadi yang pertama adalah sulit.
semakin banyak konten selain di folder Dissalow maka banyak yang menduduki ranking pertama dalam search engine dan google pun menggeser / meletakan fungsi dissalow untuk google letakan ke bagian bawah search engine agar atau bahkan bisa juga tidak terindex dalam jangka waktu yang lama.

Keterangan :
Allow adalah mengizinkan google untuk menelusuri
Disallow adalah untuk melarang penelusuran google ke website
User-agent: * adalah fungsi root/tubuh dari si robots.


itulah beberapa penjelasan dari fungsi dan kinerja robots.
sebenarnya masih banyak fungsi dari robots contohnya adalah redirect, penanganan bagian website error/forbiden, pendeteksian, dll sebagainya yang belum kita ketahui.

namun itulah yang saya ketahui.
dan akan disambung pada lain waktu

semoga dengan adanya artikel ini semua orang dapat terpecahkan masalahnya dan merasa terbantu mengatasi masalah tersebut.

PERLU DIKETAHUI

Iklan yang tampil pada halaman situs ini sepenuhnya sudah diatur oleh Pihak Google, kami hanya menyediakan tempat kosong khusus untuk iklan dari Google. Maka, apabila ada iklan yang dirasa kurang baik bagi anda sehingga tidak seharusnya ditampilkan, harap segera menginformasikan hal tersebut kepada kami dengan melalui Formulir Kontak yang ada di bagian bawah sendiri pada situs ini. Kemudian, kami akan segera menyampaikannya pada pihak Google terkait masalah tersebut.
Laporan dapat anda sertakan lampiran :

• Nama Iklan
• Alamat Screenshoot(Gambar) Iklan