Setting Robot.txt dan Tag Header Robot di Blogger Yang Benar

Banyak yang bertanya kepada kami, Benarkah dengan setting Robot.txt dan tag header robot kustom di blogger bisa mempengaruhi terhadap SEO blog? Secara umum banyak para pakar seo blogger menggunakan teknik seperti ini dengan tujuan supaya lebih mudah dan cepat blog artikel Anda di rayapi (crawling) oleh robot Google untuk pengindeksan. Apabila artikel yang Anda publish mudah ditemukan oleh robot Google, maka secara otomatis kualitas SEO blog Anda akan meningkat pesat. Meningkatnya kualitas SEO blog akan berpengaruh terhadap peningkatan traffic atau pengunjung ke blog Anda.

Sebaliknya, apabila Anda saat melakukan setting Robot.txt dan tag header robot kustom di blogger kurang tepat apalagi sampai mengabaikan permasalahan settingan yang Anda kustom sendiri, maka dampak negatif pada blog Anda yaitu akan mengalami penurunan kualitas SEO blog dan rawan artikel blog Anda tidak di index oleh robot Google. Maka dari itu mulai sekarang silahkan perhatikan betul bagaimana setting Robot.txt yang benar dan tag header robot kustom di blogger Anda dengan benar terutama bagi kalian blogger pemula yang baru pertama kali ingin belajar blog.

Sebenarnya jika Anda tidak setting pada bagian ini tidak terjadi masalah karena settingan Robot.txt secara otomatis sudah aktif dengan sendirinya mulai awal Anda membuat blog. Jika ingin aman dari kesalahan mengatur Robot.txt, lebih baik gunakan default bawaan blogger saja. Tetapi jika kalian ingin kustom Robot.txt, silahkan simak artikel ini sampai selesai, akan kami jelaskan step by step apa yang perlu di setting pada akun Blogger Anda yang berhubungan dengan Robot.txt maupun tag header robot kustom.

Apa Yang Dimaksud Robot.txt?

Merupakan kumpulan beberapa barisan kode sederhana yang berisikan tulisan teks dimana tulisan tersebut menginstruksikan untuk melakukan crawling dan cara robot Google mengindeks blog Anda. Dengan melakukan kustom di Robot.txt tersebut maka Anda membatasi ruang gerak robot Google saat melakukan perayapan (crawling) di halaman blog. Jika Anda belum paham yang dimaksud dengan kumpulan kode berupa tulisan teks yang terdapat pada setting Robot.txt, saya berikan bayangan sedikit untuk setting default Robot.txt apabila melakukan kustom seperti ini:

Setting Default Robot.txt di Blogger

Itulah settingan defaultnya, nanti akan kami berikan settingan robot yang kami kustom. Simak terus ya.

Penjelasan Mengenai Kumpulan Kode Pada Menu Robot.txt

Kumpulan kode di atas kami bagi menjadi enam bagian penjelasan. Mari kita pahami terlebih dahulu kumpulan kode diatas sebelum melanjutkan materi berikutnya.

1. User-agent: Mediapartners-Google
   Anda pasti tahu kan dengan Google AdSense. Kode inilah yang membantu Google untuk menampilkan iklan pada blog Anda agar lebih baik. Jika Anda tidak menggunakan Google AdSense untuk menampilkan iklan di blog Anda, silahkan biarkan saja begitu.
   
   
2. Disallow:
   Merupakan kode tulisan berupa teks untuk menginstruksikan bahwa tidak ada yang tidak di perbolehkan untuk di rayapi (crawling). 
   
   
3. Disallow: /search
   Merupakan kode tulisan teks untuk menginstruksikan agar mengabaikan semuanya setelah /search seperti label bernama Blogger.
   

   https://www.belajarblog.my.id/search/label/Blogger

   Bagaimana jadinya jika Anda menghapus kode itu dari setting Robot.txt? Secara otomatis Anda mensetujui bahwa mesin pencarian Google bebas merayapi seluruh blog Anda untuk dilakukan pengindeksan untuk semua artikel yang sudah Anda publish.
   
   
4. User-agent: *
   Menginstruksikan bahwa semua robots yang sudah diberikan tanda bintang(*), maka secara default membatasi semua tautan label pada blog Anda agar tidak melakukan perayapan dan membatasi untuk di indeks sehingga pihak blog tidak menginginkan dilakukan indeks pada halaman label.
   
   
5. Allow:/
   Menginstruksikan dan di izinkan mesin pencarian Google untuk merayapi blog Anda dengan tanda garis miring (/).
   
   
6. Sitemap:
   Kalau untuk kode yang terakhir ini merupakan kode yang berhubungan dengan sitemap pada blog Anda. Dengan kode tersebut, maka mesin pencarian Google lebih mudah crawling semua postingan yang ada pada blog Anda.

Setelah selesai memahami semua kode diatas, maka sudah waktunya kami melanjutkan materi inti dari pembahasan kali ini yaitu setting Robot.txt sampai ke pembahasan bagaimana mengatur bagian menu tag header robot. Kalau Anda pahami pada struktur urutan bawaan akun Blogger terutama pada bagian “Setelan atau Setting” jika Anda amati kebawah pasti ada menu bagian yang namanya “Crawler dan Pengindeksan”. Menu Setelah ini terdapat dua bagian yang harus diperhatikan seperti Robot.txt Kustom dan Tag Header Robot Kustom karena jika Anda abaikan saat melakukan kustom dapat berakibat terhadap kualitas SEO blog Anda. Simak penjelasannya berikut ini.

Penjelasan Mengenai Robot.txt Kustom dan Tag Header Robot Kustom

1. Robot.txt Kustom
   Kegunaan fungsi utama dari pengaktifan menu Robot.txt Kustom yaitu kode berisikan perintah untuk merayapi keseluruhan dari isi homepage.
   
   
2. Tag Header Robot
   Fungsi menu ini digunakan memilih bagian blog mana saja yang mendapat izin untuk di telusuri oleh mesin pencari seperti Google, Bing, dan mesin pencari lainnya.

Settings Robot.txt Kustom

Berikut kami sertakan lengkap urutan ketika mengatur Robot.txt di akun blogger.

1. Silahkan Log-in ke Akun Blogger.
   
   
2. Setelah itu masuk ke “Setelan/Setting” lalu scroll kebawah sampai ketemu bagian “Crawler dan pengindeksan”.
   
   
3. Silahkan Aktifkan bagian menu Robot.txt.
   
   
4. Setelah aktif, klik menu “Robot.txt” silahkan isi ikuti seperti yang kami sertakan dibawah ini.
   

   

   Setting Robot.txt Yang Sudah Di Kustom

5. Silahkan ganti alamat URL di atas dengan alamat blog Anda. Dengan kustom di atas, secara otomatis memberikan intruksi untuk tidak mengindeks halaman tersebut diatas seperti contact dan about.

Menguji Robot.txt

Ketika Anda merasa yakin telah selesai mengatur Robot.txt Kustom tersebut, silahkan Anda uji sendiri apakah settingan tersebut sudah benar dengan cara menuliskan alamat URL sebagai berikut:

https://www.belajarblog.my.id/robot.txt

Silahkan ganti alamat URL diatas dengan alamat blog Anda.
Setelah itu Anda akan dilihatkan keseluruhan kode yang sudah Anda setting ke dalam Robot.txt.
Sebagai contoh gambar hasil penelusuran blog kami.

Setting Tag Header

Pengaturan yang terakhir yang berhubungan dengan Robot.txt yaitu Setting Tag Header. Pada bagian ini, terbagi menjadi 3 bagian:

1. Tag Halaman Beranda
   
   
2. Tag Arsip dan Penelusuran
   
   
3. Tag Posting dan Halaman

Silahkan ikuti step by step cara mengatur yang sudah kami sertakan pada images dibawah ini. Setiap mengikuti step by step images yang kami sertakan ini, jangan lupa untuk melakukan “simpan”.

Pengaturan Tag halaman Beranda

Pengaturan Tag arsip dan halaman penelusuran

Pengaturan Tag postingan dan halaman

Sampai disini semua mengenai belajar setting Robot.txt sampai setting Tag Header Kustom di blogger sudah selesai ya. Tinggal selanjutnya Settings di Google Search Console supaya segera di index. Riquest ini biasanya membutuhkan waktu yang cukup lama oleh mesin pencarian Google. Silahkan simak Bagaimana Menambahkan Situs di Google Search Console Lengkap dan Jelas. Semoga artikel ini dapat bermanfaat untuk Anda dan para Blogger Pemula yang sudah setia dengan Belajar Blog. Terimakasih dan sampai jumpa di artikel selanjutnya.

Share :