Apa itu Robots.txt dan Cara Membuatnya
Boostrindo News - robots.txt adalah sebuah file teks yang diletakkan di akar direktori situs web yang memberikan instruksi kepada mesin pencari tentang bagian-bagian situs mana yang boleh atau tidak boleh diindeks. File ini membantu mengontrol bagaimana robot mesin pencari seperti Googlebot memproses halaman-halaman situs Anda.
Struktur dan Penggunaan robots.txt
Penyusunan File robots.txt
- File robots.txt harus diletakkan di direktori utama (root) situs web Anda. Sebagai contoh, jika alamat situs web Anda adalah
https://www.contoh.com/
, maka file robots.txt dapat diakses dihttps://www.contoh.com/robots.txt
.
- File robots.txt harus diletakkan di direktori utama (root) situs web Anda. Sebagai contoh, jika alamat situs web Anda adalah
Struktur Dasar
- File robots.txt terdiri dari beberapa aturan yang disusun dalam format sederhana. Setiap aturan memiliki dua bagian utama:
User-agent
danDisallow
. User-agent
: Menentukan robot mesin pencari mana yang terpengaruh oleh aturan tersebut. Misalnya,User-agent: *
berlaku untuk semua robot.Disallow
: Menentukan halaman atau direktori mana yang tidak boleh diindeks oleh robot tersebut. Contoh:Disallow: /private/
akan menghalangi robot untuk mengindeks halaman di dalam direktori/private/
.
- File robots.txt terdiri dari beberapa aturan yang disusun dalam format sederhana. Setiap aturan memiliki dua bagian utama:
Contoh File robots.txt
plaintextUser-agent: * Disallow: /private/ Disallow: /admin/
Dalam contoh di atas, semua robot (ditunjukkan dengan
User-agent: *
) dilarang untuk mengindeks halaman-halaman di dalam direktori/private/
dan/admin/
.Peraturan Lainnya
- Selain
Disallow
, Anda juga dapat menggunakan:Allow
: Untuk mengizinkan pengindeksan pada halaman atau direktori tertentu yang seharusnya diizinkan.Crawl-delay
: Untuk mengatur jeda waktu antara permintaan crawling yang diberikan kepada robot.Sitemap
: Untuk menunjukkan lokasi sitemap XML situs Anda kepada mesin pencari.
- Selain
Cara Membuat robots.txt
Buka Editor Teks
- Gunakan editor teks sederhana seperti Notepad (di Windows) atau TextEdit (di macOS) untuk membuat atau mengedit file robots.txt.
Susun Aturan
- Tentukan aturan-aturan yang Anda inginkan sesuai dengan kebutuhan situs web Anda, seperti mana yang boleh dan tidak boleh diindeks oleh mesin pencari.
Simpan dengan Nama robots.txt
- Setelah Anda menulis aturan-aturan yang sesuai, simpan file tersebut sebagai
robots.txt
.
- Setelah Anda menulis aturan-aturan yang sesuai, simpan file tersebut sebagai
Uji dan Verifikasi
- Pastikan untuk memverifikasi file robots.txt yang telah Anda buat dengan membuka URL
https://www.contoh.com/robots.txt
dan memeriksa apakah aturan-aturan yang ditetapkan sesuai dengan yang Anda inginkan.
- Pastikan untuk memverifikasi file robots.txt yang telah Anda buat dengan membuka URL
Catatan Penting
- Verifikasi dan Pembaruan: Periksa secara berkala robots.txt untuk memastikan aturan-aturan masih relevan dengan struktur situs web Anda yang terbaru.
- Perhatikan Pengaruhnya: Meskipun robots.txt dapat memberikan instruksi kepada robot mesin pencari, bukan berarti halaman atau direktori yang dilarang di sana benar-benar tidak dapat diakses atau ditemukan oleh pengguna atau robot lainnya.
Dengan memahami cara membuat dan menggunakan file robots.txt dengan benar, Anda dapat mengontrol dan mengarahkan bagaimana mesin pencari memproses situs web Anda, meningkatkan pengalaman pengguna, dan mengelola indeksasi konten situs dengan lebih baik.
Posting Komentar untuk "Apa itu Robots.txt dan Cara Membuatnya"