File robots.txt ialah merupakan sebuah file teks berisikan syntax sederhana
seperti ekstensi file yang menunjukkan penelusuran suatu aplikasi yg kita jalankan,..contoh aplikasi yg kita pakai seperti blog/ wordpress/druppal/ atau semacamnya. diciptakan dengan menggunakan editor teks sederhana seperti notepad atau editplus. begitulah robot diciptakan, tidak hanya untuk mendeteksi keberadaan suatu site tertentu, melainkan banyak pihak yg tidak bertanggung jawab memberikan pelayanan menginput Bot kepada Agan2 sekalian. beberapa pihak "terutama bloggermania pun banyak sekali yg menggunakan Bot tertentu agar blog'a dapat menghasilkan investor tertentu, dan ada pula yg merugikan kita sendiri, alias jebakan betmen......hehehehee!!!!!!!
oke, daripada basa-basi melulu tidak jelas permasalahannya, ane akan menjelaskan fungsi syntax si robot.
contoh listing Sintaks untuk file robots.txt:
User-Agent: (nama peramban)
Disallow: (nama file)
Disallow: (nama file)
Untuk mengecualikan semua robot,
file robots.txt akan terlihat seperti ini:
User-agent: *
Disallow: /
Disallow: /
Untuk mengecualikan hanya satu direktori (dan subdirektori),
mengatakan, / images / direktori, file tersebut akan terlihat seperti ini:
User-Agent: *
Disallow: /images/
Disallow: /images/
Berikut
ini contoh mesin penelusuran terbesar yg tersedia, yg merupakan sebuah pelayanan untuk memudahkan agar situs yg sudah kita buat dapat terindeks dan ditelusuri.
#
Google - Googlebot
#
Altavista - Scooter
#
Lycos - Lycos_Spider_(T-Rex)
#
Alltheweb - FAST-WebCrawler/
#
INKTOMI - Slurp
#
Yahoo - Yahoo Slurp
#
MSN- Msnbot
Berikut ini script robot yg harus diperhatikan untuk mencegah terjadinya sesuatu yg tidak sobat inginkan semua. sebuah daftar kecil useragents yg berjalan dan sudah betebaran kaya semut tomcat . Silahkan memblokir BOT tersebut, karena bot tersebut dapat mencuri sesuatu yg penting didalam website sobat sekalian...." mungkin ini hanya beberapa yg saya temukan, sisanya pelajari sendiri.
