Wednesday, May 10, 2017
Penjelasan Cara Membuat file robots txt
Penjelasan Cara Membuat file robots txt
Apa yang dimaksud dengan robot.txt...?
Apa gunanya robot.txt...?
Bagai mana cara membuat robot.txt...?
Pengaruh apa yang dapat ditimbulkan oleh robot.txt pada suatu situs..?
Itulah beberapa pertanyaan yang saya terima dari teman saya beberapa waktu yang lalu., mungkin pertanyaan yang sama akan anda ajukan apabila anda adalah orang baru yang terjun ke dunia blog. Kali ini saya akan sedikit membahas tentang apa itu robot.txt, manfaat, cara membuatnya, dan juga pengaruh apa saja yang ditimbulan oleh robot.txt apabila anda menerapkannya pada blog anda secara benar ataupun salah.
Anda dapat membuat atau mengedit file robots.txt yang sudah ada menggunakan alat Penguji robots.txt. Tindakan ini memungkinkan Anda menguji perubahan saat menyesuaikan robots.txt. Untuk membuat file robots.txt, Anda memerlukan akses ke akar domain. Apabila tidak yakin tentang cara mengakses akar, Anda dapat menghubungi penyedia layanan hosting web. Selain itu, jika tidak dapat mengakses akar domain, Anda dapat menggunakan metode pemblokiran alternatif, seperti file yang dilindungi sandi di server, dan menyisipkan tag meta ke HTML.
Pelajari sintaksis robots.txt
File
robots.txt yang paling sederhana menggunakan dua kata kunci yaitu User-agent dan Disallow. User-agents (agen pengguna) adalah robot mesin telusur (atau perangkat lunak perayap web) sebagian besar agen pengguna tercantum dalam Basis Data Robot Web. Disallow (larang) merupakan perintah bagi agen pengguna yang memberitahukannya agar tidak mengakses URL tertentu.Di sisi lain, agar Google dapat mengakses URL tertentu yang merupakan direktori turunan dalam direktori induk yang dilarang, Anda dapat menggunakan kata kunci ketiga,
Allow.Google menggunakan beberapa agen pengguna, seperti Googlebot untuk Google Penelusuran dan Googlebot-Image untuk Google Penelusuran Gambar. Sebagian besar agen pengguna Google mengikuti aturan yang Anda siapkan untuk Googlebot, namun Anda dapat mengganti opsi ini dan membuat aturan khusus hanya untuk agen pengguna Google tertentu.
Sintaksis untuk menggunakan kata kunci adalah sebagai berikut:
User-agent
: [the name of the robot the following rule applies to]Disallow
: [the URL path you want to block]Allow:
[the URL path in of a subdirectory, within a blocked parent directory, that you want to unblock]Dua baris ini dianggap sebagai satu entri di file, tempat aturan
Disallow hanya berlaku untuk agen pengguna yang ditentukan di atasnya. Anda dapat menyertakan sebanyak mungkin entri, dan beberapa baris Disallow dapat berlaku untuk beberapa agen pengguna, semua dalam satu entri. Anda dapat menyetel perintah User-agent untuk diterapkan ke semua perayap web dengan mencantumkan tanda bintang (*) seperti contoh di bawah:User-agent:
*Perintah pemblokiran URL untuk digunakan di file robots.txt
Blokir... | Contoh |
Seluruh situs dengan garis miring ke depan ( /): | Disallow: / |
Direktori dan kontennya dengan mengikuti nama direktori dengan garis miring ke depan: | Disallow: /sample-directory/ |
Laman web dengan mencantumkan laman setelah garis miring: | Disallow: /private_file.html |
Gambar khusus dari Google Gambar: | User-agent: Googlebot-ImageDisallow: /images/dogs.jpg |
Semua gambar di situs Anda dari Google Gambar: | User-agent: Googlebot-ImageDisallow: / |
File dari jenis file khusus (misalnya, .gif): | User-agent: GooglebotDisallow: /*.gif$ |
Laman di situs Anda, namun menampilkan iklan AdSense di laman tersebut, larang semua perayap web selain Mediapartners-Google. Penerapan ini menyembunyikan laman Anda dari hasil penelusuran, namun perayap web Mediapartners-Google tetap dapat menganalisisnya untuk menentukan iklan yang akan ditampilkan kepada pengunjung di situs Anda. | User-agent: *Disallow: /User-agent: Mediapartners-GoogleAllow: / |
Ingat bahwa perintah peka huruf besar kecil. Misalnya, Disallow: /file.asp
