Cara Seting Robots.txt Pada Blogger
- robots.txt
adalah sebuah file teks sederhana yang ditempatkan di direktori root situs web yang digunakan untuk memberikan instruksi kepada web crawlers (robot perayap) atau spiders (robot pencari) mesin pencari tentang bagaimana mereka harus mengindeks dan merayapi halaman-halaman di situs web tersebut. File ini merupakan bagian dari protokol pengecualian robot (REP), yang merupakan standar yang diterapkan untuk mengelola perilaku robot perayap.Bagaimana Cara Seting di Blogger?
Menyetel file robots.txt
di Blogspot (Blogger) adalah cara yang efektif untuk mengontrol bagaimana mesin pencari mengindeks blog Anda. Berikut adalah langkah-langkah untuk mengatur robots.txt
di Blogspot:
Masuk ke Akun Blogger:
- Buka Blogger dan masuk dengan akun Google Anda.
Pilih Blog:
- Pilih blog yang ingin Anda atur dari daftar blog yang Anda kelola.
Akses Pengaturan:
- Di panel sebelah kiri, klik pada menu "Settings" (Pengaturan).
Custom robots.txt:
- Gulir ke bawah hingga Anda menemukan bagian "Crawlers and indexing" (Perayap dan pengindeksan).
- Temukan opsi "Enable custom robots.txt" (Aktifkan robots.txt khusus) dan aktifkan.
Edit Robots.txt:
- Setelah mengaktifkan opsi tersebut, akan muncul sebuah tombol atau area teks untuk mengedit file
robots.txt
. - Klik pada "Custom robots.txt" untuk membuka editor.
- Setelah mengaktifkan opsi tersebut, akan muncul sebuah tombol atau area teks untuk mengedit file
Tambahkan Isi Robots.txt:
- Anda sekarang bisa memasukkan aturan
robots.txt
sesuai kebutuhan Anda. Berikut adalah contoh dasarrobots.txt
:
GantilahplaintextUser-agent: * Disallow: /search Allow: / Sitemap: http://yourblog.blogspot.com/sitemap.xml
http://yourblog.blogspot.com
dengan URL blog Anda.
- Anda sekarang bisa memasukkan aturan
Simpan Pengaturan:
- Setelah selesai mengedit, klik "Save" (Simpan).
Contoh Isi Robots.txt:
Mengizinkan Semua Konten Kecuali Halaman Pencarian:
plaintextUser-agent: * Disallow: /search Allow: / Sitemap: http://yourblog.blogspot.com/sitemap.xml
Melarang Semua Konten:
plaintextUser-agent: * Disallow: /
Mengizinkan Semua Konten:
plaintextUser-agent: * Allow: / Sitemap: http://yourblog.blogspot.com/sitemap.xml
Tips Tambahan:
- Sitemap: Menyertakan peta situs (sitemap) dalam file
robots.txt
membantu mesin pencari menemukan dan mengindeks konten Anda dengan lebih efisien. - Testing: Setelah mengatur file
robots.txt
, Anda bisa menguji aturan tersebut menggunakan alat pengujian robots.txt yang tersedia di Google Search Console.
Dengan mengikuti langkah-langkah di atas, Anda dapat dengan mudah mengatur file robots.txt
di Blogspot untuk mengontrol bagaimana mesin pencari mengindeks blog Anda.
Posting Komentar untuk "Cara Seting Robots.txt Pada Blogger"