Penelusuran (Perayapan) Website oleh Googlebot (Crawl Rate)

Penelusuran (Perayapan) Website oleh Googlebot (Crawl Rate)

Penelusuran (Perayapan) Website oleh Googlebot atau lebih dikenal dengan Crawl Rate adalah tetapan nilai yang digunakan sebagai patokan Mbah Google dalam menelusuri website anda. Crawl Rate menentukan seberapa lama waktu yang akan dihabiskan Googlebot setiap kali mengunjungi website anda.

Semakin rendah nilai Crawl Rate, maka semakin sedikit resource bandwidth website anda yang dikonsumsi oleh Googlebot. Namun, karena waktu kunjungannya semakin singkat, maka kemungkinan jumlah halaman baru dan update halaman lama yang bisa di indeks  menjadi semakin kecil. 

Namun sebaliknya, semakin tinggi nilai Crawl Rate, semakin Besar pula Resource Bandwidth yang dikonsumsi Googlebot. Sayangnya Mbah Google tidak menjamin jumlah halaman yang bisa diindeks menjadi semakin banyak. Sebagai catatan, Crawl Rate bukan untuk menentukan seberapa seringkah Mbah Google mengirimkan Googlebot ke website anda. Google memiliki algoritma tersendiri untuk memutuskan seberapa sering website anda akan dikunjungi Googlebot. 

Jadi dengan mengatur Crawl Rate, ibaratnya anda menetapkan berapa lama “waktu apel” si Googlebot ke website anda, tetapi tidak menetapkan kapan dan seberapa sering Googlebot harus apel. “silahkan datang apel kapan saja, tapi kalo apel jangan sampai lewat sekian jam ya Bot!”, begitu kira”.

Secara default, Mbah Google menetapkan nilai Crawl Rate-nya berdasarkan jumlah halaman pada website anda. Mbah Google menyarankan agar anda membiarkan Mbah google menentukan sendiri nilai Crawl Rate yang tepat untuk website anda. 

Bagaimana untuk website-website skala besar (coba bayangkan facebook atau detik atau kompas), traffic pengunjung begitu padat. Kalau Googlebot terlalu lama ikutan nimbrung, nanti bisa jadi masalah karena kecepatan akses para pengunjung menjadi berkurang – karena di saat yang bersamaan Googlebot “ nyerobot jalan “. Karena sudah ramai pengunjung, toh website sudah tidak begitu tergantung pada jumlah halaman web baru yang diindex Googlebot. Begitu filosofinya.

Jadi. Kalau suatu ketika website anda ramai dan akses nya mulai terasa lambat, silahkan coba kurangi nilai Crawl Rate-nya. Tapi sebaliknya, jangan terlalu berharap dengan memperbesar crawl rate maka jumlah halaman yang bisa diindeks menjadi semakin banyak. “ kalo ganti piring kecil, jatah nasi anda boleh saya kurangi. Tapi klo ganti piring besar, ya jangan harap nasinya saya tambah, enak aja…”, begitu kata Mbah Google

Semoga Bermanfaat ...