User-agent
Menentukan bot yang dituju oleh satu grup aturan. Tanda * berlaku sebagai grup umum untuk crawler yang tidak memiliki grup khusus.
EASY TOOLS · SEO & WEBSITE
Robots.txt Generator – Buat File Robots.txt Online Gratis
Buat file robots.txt untuk mengatur akses crawler mesin pencari ke website Anda. Atur Allow, Disallow, Sitemap, dan rule bot secara mudah.
Mode sederhana & lanjutanPeringatan aturan berisikoTanpa login
Buat robots.txt 01
Pilih preset atau modeMulai dari aturan yang mudah dipahami
02
Tinjau aturanLihat peringatan sebelum dipasang
03
Salin atau unduhUnggah ke root domain website
BUAT ATURAN CRAWLER
Atur akses dengan jelas.
Pilih preset, sesuaikan aturan, lalu periksa hasil sebelum dipublikasikan.
Preset cepat
Preset mengganti aturan aktif; daftar Sitemap tetap disimpan.
PAHAMI ATURANNYA
Apa itu robots.txt?
Robots.txt adalah file teks di root website yang memberi petunjuk URL mana yang boleh atau tidak boleh dirayapi crawler yang mematuhinya.
Disallow
Meminta crawler tidak mengakses path tertentu. Disallow: / berisiko memblokir seluruh website bagi bot dalam grup tersebut.
Allow
Membuka akses ke path tertentu, misalnya file yang berada di folder yang diblokir. Uji kombinasi Allow dan Disallow sebelum dipasang.
Sitemap
Menunjukkan URL lengkap file sitemap. Baris ini tidak terikat pada satu User-agent dan dapat muncul lebih dari sekali.
Crawl-delay
Permintaan jeda antar-akses untuk bot yang mendukungnya. Google tidak mendukung direktif ini; bot lain dapat memiliki perilaku berbeda.
Lokasi file
Letakkan file sebagai https://domain.com/robots.txt di root domain. Nama file harus huruf kecil.
SETELAH MENGUNDUH
Unggah ke root domain, lalu periksa.
Pasang hasil sebagai file teks UTF-8 bernama robots.txt pada root website. Buka URL file itu di browser untuk memastikan isinya sesuai. Jika CMS Anda membuat robots.txt sendiri, atur melalui pengaturan CMS agar tidak ada file yang saling bertentangan.
1Buat dan tinjau aturan.
2Download robots.txt.
3Unggah ke root, lalu buka URL file.
Untuk mengendalikan indeks: robots.txt bukan cara yang tepat untuk menghapus halaman web dari hasil pencarian. Gunakan noindex pada halaman yang dapat dirayapi atau lindungi konten privat dengan autentikasi.
Untuk data sensitif: jangan mencantumkan path rahasia dengan harapan tersembunyi. Robots.txt bersifat publik dan malah dapat menunjukkan lokasinya.
PERTANYAAN UMUM
Tentang robots.txt.
Jawaban singkat untuk memasang aturan crawler dengan benar.
Apa itu robots.txt?
Robots.txt adalah file teks di root website yang berisi petunjuk akses URL untuk crawler yang mematuhi protokol. File ini mengatur crawling, bukan perlindungan konten.
Apakah robots.txt wajib?
Tidak. Tanpa file robots.txt, crawler yang mematuhi protokol umumnya menganggap URL boleh dirayapi. Gunakan file ini bila memang perlu mengatur akses crawler.
Apakah robots.txt memengaruhi SEO?
Ya, aturan dapat memengaruhi halaman atau aset yang bisa dirayapi. Aturan yang salah, terutama Disallow: /, dapat menghalangi crawler mengakses seluruh website.
Bagaimana cara memblokir folder tertentu?
Pilih mode Sederhana lalu opsi Blokir folder tertentu, masukkan path seperti /admin/, periksa preview, dan pasang file yang diunduh di root domain.
Bagaimana cara mengizinkan semua crawler?
Gunakan preset Izinkan Semua. Hasilnya User-agent: * diikuti Disallow: kosong, yang tidak memblokir path.
Bagaimana cara memblokir semua crawler?
Preset Blokir Semua menghasilkan User-agent: * dan Disallow: /. Periksa dengan sangat hati-hati karena dapat mencegah bot mengakses seluruh website.
Apakah robots.txt bisa menyembunyikan halaman sensitif?
Tidak. Robots.txt dapat dibaca publik dan bukan mekanisme keamanan. Gunakan autentikasi atau kontrol akses yang sesuai untuk konten sensitif.
Di mana robots.txt dipasang?
Di root domain, misalnya https://example.com/robots.txt. Pastikan file yang disajikan adalah teks UTF-8 dan URL-nya dapat diakses.
Apakah Sitemap perlu dimasukkan?
Tidak wajib, tetapi baris Sitemap dapat membantu crawler mengetahui lokasi file sitemap. URL harus lengkap dengan protokol dan host.
Apakah Crawl-delay didukung semua crawler?
Tidak. Google tidak mendukung direktif Crawl-delay. Perilaku crawler lain dapat berbeda, jadi jangan mengandalkan direktif ini sebagai pembatas akses universal.
WEBSITE & SISTEM BISNIS
Butuh Website yang SEO Friendly?
EASYSTEM membantu pengembangan website dengan struktur teknis, performa, dan konfigurasi SEO yang lebih baik.