ID

robots.txt generator

Robots.txt generator ini membuat file dalam beberapa klik: pilih templat, tambahkan path yang diblokir dan sitemap Anda, lalu bila perlu keluarkan crawler AI. File jadi muncul seketika dan diperiksa dari kesalahan yang umum.

Sumber: IETF RFC 9309 – Robots Exclusion Protocol (grup, Allow/Disallow, wildcard * dan $). Diperbarui: .

satu path per baris, mis. /privat/ atau /*.pdf$
satu path per baris; mengizinkan sub-path dari area yang diblokir
URL lengkap dengan https://; kosong = dihilangkan
detik
jeda antarpermintaan; Google mengabaikannya, crawler lain menghormatinya
Kotak Alat SayaInput Anda hanya disimpan di browser ini.

Hasil

robots.txt Anda
User-agent: * Disallow: /privat/ Disallow: /tmp/ Sitemap: https://www.example.com/sitemap.xml
Pemeriksaan
  • Tidak ada masalah.
Ditaruh di mana?
Simpan sebagai file teks bernama robots.txt (UTF-8) di direktori utama domain, dapat dibuka di https://domain-anda.com/robots.txt – setiap subdomain memerlukan file sendiri.
robots.txt hanya mengatur perayapan, bukan pengindeksan: halaman yang diblokir masih bisa muncul di indeks. Untuk menyingkirkannya dari hasil pencarian, gunakan noindex. File ini dapat dibaca publik – jangan menulis path rahasia.

Cara menghitung

robots.txt adalah file teks kecil di direktori utama situs yang memberi tahu crawler area mana yang boleh diambil. File ini mengikuti Robots Exclusion Protocol (RFC 9309): setiap grup diawali User-agent dan berisi aturan Allow dan Disallow.

Apa yang ditulis generator

Perlu diketahui

File harus dapat dibuka di /robots.txt pada domain dan bersifat publik; ini bukan kontrol akses. Agar halaman tidak muncul di Google, gunakan noindex, bukan blokir, karena halaman yang diblokir masih dapat terdaftar tanpa konten. Setelah diunggah, validator robots.txt menguji apakah crawler membaca aturan sesuai maksud Anda, dan SERP preview menunjukkan tampilan judul dan deskripsi di hasil pencarian.

Pertanyaan umum

Bagaimana cara membuat robots.txt?

Pilih templat, tambahkan path yang diblokir dan sitemap, salin teksnya, lalu simpan sebagai robots.txt di direktori utama domain Anda. Setelah itu buka domain-anda.com/robots.txt dan periksa.

Di mana robots.txt harus diletakkan?

Di direktori utama domain, yaitu di https://domain-anda.com/robots.txt. File di subfolder diabaikan. Setiap subdomain memerlukan file sendiri.

Apakah robots.txt menyingkirkan halaman dari Google?

Tidak dengan andal. Ia hanya melarang pengambilan. Halaman yang diblokir bisa muncul di indeks dengan alamatnya tetapi tanpa konten jika halaman lain menautkannya. Untuk menyingkirkannya, gunakan noindex.

Bagaimana memblokir crawler AI?

Dengan grup tersendiri untuk tiap crawler dan Disallow: /. Alat ini menambahkan crawler pelatihan AI yang dikenal. Tidak mengikat secara hukum, tetapi penyedia yang bereputasi mematuhi file ini.

Apakah saya benar-benar memerlukan robots.txt?

Tidak harus: tanpa file, crawler boleh mengambil semuanya. Berguna untuk mengeluarkan area yang tidak penting seperti keranjang atau pencarian internal dari perayapan dan untuk memberi tahu sitemap.

Sumber dan dasar hukum

Diperbarui: · Kebijakan editorial

Alat terkait