Generator Robots.txt

Generator robots.txt gratis yang berjalan di browser Anda

Generator robots.txt ini mengubah formulir sederhana menjadi file robots.txt yang valid — tanpa sintaks yang harus dihafal dan tidak ada yang perlu diinstal. Pilih preset atau buat aturan crawl Anda sendiri, lihat file tersusun secara langsung, lalu salin atau unduh dan taruh di root situs Anda. Semuanya terjadi secara lokal di browser Anda, sehingga aturan yang Anda tulis tidak pernah diunggah ke server.

Baik Anda membutuhkan contoh robots.txt cepat untuk memulai, robots.txt kustom untuk crawler tertentu, atau file yang disesuaikan untuk WordPress, Blogger, atau pemblokiran bot pelatihan AI, Anda bisa menyiapkannya dalam hitungan detik. Path tester bawaan memvalidasi aturan Anda sebelum dipublikasikan — sesuatu yang tidak dimiliki sebagian besar generator pesaing.

Buat aturan crawl tanpa harus menghafal sintaksnya

Setiap grup aturan memasangkan User-agent dengan path yang ingin Anda Allow atau Disallow, ditambah Crawl-delay opsional. Gunakan * untuk menargetkan semua crawler, atau sebutkan bot tertentu seperti Googlebot atau Bingbot — mulai mengetik dan kolomnya menyarankan crawler umum untuk Anda. Tambahkan sebanyak mungkin grup yang Anda butuhkan untuk memberikan aturan berbeda kepada bot yang berbeda.

Daftarkan satu path per baris; alat ini memformat masing-masing menjadi direktif Disallow: atau Allow: yang benar dan merangkai grup Anda dalam urutan yang tepat. Tambahkan URL Sitemap Anda dan itu akan ditambahkan sebagai baris Sitemap: absolut yang mengarahkan crawler ke setiap halaman yang ingin Anda temukan. Crawler Google mengambil ini dan menggunakannya bersamaan dengan sitemap apa pun yang dikirimkan langsung di Search Console.

Preset untuk WordPress, Blogger, dan pemblokiran bot AI

Satu klik memuat titik awal yang siap pakai. Allow all dan Block all mencakup dua ekstrem. WordPress memuat default yang direkomendasikan: blokir /wp-admin/ tetapi tetap membiarkan /wp-admin/admin-ajax.php terbuka untuk panggilan AJAX yang dibutuhkan plugin. Blogger memuat setelan Blogger yang disarankan Google: izinkan semuanya kecuali /search untuk menghindari masalah konten duplikat.

Preset Block AI bots berguna jika Anda ingin konten Anda tetap ada di Google dan Bing tanpa digunakan untuk pelatihan model AI. Ini men-disallow GPTBot (OpenAI), CCBot (Common Crawl), Google-Extended (Gemini), ClaudeBot (Anthropic), PerplexityBot, dan lainnya — sambil membiarkan crawler pencarian standar tidak tersentuh. The New York Times, The Guardian, dan banyak penerbit besar lainnya menambahkan pemblokiran serupa pada 2023.

Uji sebuah URL sebelum Anda mempublikasikan

Generator yang tidak bisa menguji dirinya sendiri hanya melakukan setengah pekerjaan. Path tester bawaan memungkinkan Anda memasukkan URL atau path apa pun beserta nama crawler, lalu memberi tahu apakah aturan Anda saat ini mengizinkan atau memblokirnya — dan aturan Allow atau Disallow mana persisnya yang menentukan, menggunakan logika longest-match yang sama seperti yang dipakai Google (aturan paling spesifik menang, dan Allow memutus seri jika panjangnya sama).

Saat Anda mengetik, alat ini juga menampilkan peringatan langsung untuk kesalahan yang diam-diam merusak file robots.txt sungguhan: path yang kehilangan slash awal, URL sitemap relatif, atau Crawl-delay yang ditujukan ke Googlebot (yang mengabaikannya dan memerlukan setelan terpisah di Search Console). Memperbaiki ini sebelum Anda rilis menghemat proses debugging bolak-balik lewat Google Search Console.

Crawling vs pengindeksan — dan kesalahan umum lainnya

Kesalahpahaman robots.txt terbesar: Disallow menghapus halaman dari Google. Padahal tidak. Ia menghentikan crawling, tetapi URL yang diblokir tetap bisa muncul di hasil pencarian jika halaman lain menautkannya. Google bahkan bisa mengindeksnya tanpa cuplikan — hanya URL tanpa deskripsi. Untuk menjaga halaman keluar dari pencarian, biarkan tetap bisa di-crawl dan tambahkan noindex pada halaman itu sendiri. Jika Anda memblokirnya di robots.txt, Google tidak akan pernah bisa meng-crawl halaman untuk melihat noindex itu, dan URL-nya bisa tetap ada di indeks selamanya.

Ingat juga bahwa robots.txt bersifat publik dan hanya bersifat imbauan. File ini berada di URL tetap yang bisa dibaca, bukan penghalang keamanan, dan hanya bot yang berperilaku baik yang mematuhinya. Gunakan untuk mengarahkan crawl budget dan merapikan halaman duplikat atau berkonten tipis — bukan untuk menyembunyikan apa pun yang benar-benar perlu dilindungi. Untuk itu, gunakan autentikasi. Generator ini berjalan sepenuhnya di browser Anda, sehingga path internal situs Anda tidak pernah keluar dari perangkat Anda.

Protokol robots.txt: dari mailing list 1994 hingga RFC 9309

Robots Exclusion Standard tidak lahir dari badan standar — ia berasal dari sebuah email tunggal. Pada Juni 1994, Martijn Koster memposting sebuah proposal ke mailing list www-talk yang menjelaskan konvensi agar robot web memeriksa keinginan sebuah situs sebelum meng-crawl-nya. Idenya menyebar dengan cepat karena ia menyelesaikan masalah nyata: crawler web awal membombardir server tanpa mekanisme apa pun bagi pemilik situs untuk memilih keluar. Dalam hitungan bulan, mesin pencari besar pada masa itu telah mengadopsi konvensi ini, dan file robots.txt yang sederhana telah bertengger di root web sejak saat itu.

Meski begitu luas dipakai, Robots Exclusion Protocol tetap menjadi konvensi de facto selama hampir tiga dekade — ia tidak pernah diratifikasi sebagai standar resmi W3C atau IETF. Itu berubah pada 2019 ketika Google, dengan dukungan mesin pencari lain, mengajukan proposal ke IETF untuk mengodifikasi protokol ini. Hasilnya, RFC 9309, dipublikasikan pada September 2022. RFC ini memformalkan direktif inti (User-agent, Allow, Disallow), mendefinisikan aturan longest-match untuk direktif yang bertentangan, dan menetapkan bagaimana crawler harus menangani kode status HTTP saat mengambil file. Ia sengaja tidak menstandardisasi Crawl-delay atau Sitemap — keduanya tetap menjadi ekstensi yang didukung luas di luar spesifikasi resmi.

Memahami sejarah ini penting dalam praktik. Karena standar ini berkembang dari konsensus informal, crawler yang berbeda secara historis menafsirkan kasus tepi secara berbeda pula — wildcard trailing, sensitivitas huruf besar/kecil pada path, atau perilaku ketika server mengembalikan error 5xx. RFC 9309 menyelesaikan sebagian besar ambiguitas tersebut, tetapi situs yang menargetkan crawler lama atau yang kurang umum mungkin masih menemui perilaku yang berbeda. Pendekatan amannya: tetap gunakan direktif yang didokumentasikan dalam RFC dan uji aturan Anda terhadap bot spesifik yang Anda pedulikan.

Sintaks direktif secara mendalam: User-agent, Allow, Disallow, Crawl-delay, Sitemap

Setiap file robots.txt dibangun dari sekumpulan kecil direktif. User-agent: membuka grup aturan dan menamai crawler yang menjadi sasarannya. Nilai * cocok dengan semua bot; nama tertentu seperti Googlebot, Bingbot, GPTBot, anthropic-ai, atau CCBot hanya menargetkan crawler itu. Satu crawler mematuhi grup paling spesifik yang cocok dengan namanya — grup untuk Googlebot memiliki prioritas di atas grup * untuk crawler web Google. Disallow: memberi tahu crawler untuk tidak mengambil path yang cocok. Nilai kosong (Disallow:) berarti izinkan semuanya; satu garis miring (Disallow: /) memblokir seluruh situs. Allow: bukan bagian dari spesifikasi asli 1994 tetapi didukung oleh Google, Bing, dan sebagian besar crawler utama; ia membuat pengecualian di dalam disallow yang lebih luas, dan ketika sebuah path cocok dengan keduanya, aturan yang paling panjang (paling spesifik) yang menang — dengan Allow memutus seri jika panjangnya sama.

Crawl-delay: meminta crawler untuk berhenti sejenak sejumlah detik tertentu di antara permintaan — berguna ketika crawling yang agresif membebani server Anda. Bing dan Yandex mematuhinya; Googlebot mengabaikannya sepenuhnya. Untuk membatasi tingkat crawl Google, gunakan laporan Crawl Stats di Google Search Console sebagai gantinya. Direktif Sitemap: menerima URL absolut lengkap dan memberi tahu crawler di mana menemukan sitemap XML Anda. Ia bisa muncul di mana saja dalam file, tidak terikat pada grup User-agent mana pun, dan Anda bisa menyertakan beberapa baris Sitemap: untuk file indeks sitemap terpisah. Google, Bing, dan Yandex semuanya memprosesnya; ini pelengkap praktis untuk pengiriman sitemap langsung di Search Console karena membuat lokasinya bisa ditemukan oleh crawler mana pun yang membaca robots.txt Anda.

Pencocokan path mengikuti logika prefix secara default: Disallow: /private/ memblokir /private/, /private/page, dan /private/docs/file.pdf. Wildcard * di dalam path cocok dengan urutan karakter apa pun, dan penjangkar $ di akhir mematok kecocokan ke akhir persis dari URL — misalnya, Disallow: /*.pdf$ memblokir URL yang berakhir dengan .pdf. Google mendukung baik wildcard maupun penjangkar dolar; tidak semua crawler mendukungnya, jadi andalkan penjangkar ini hanya saat menargetkan Google atau bot dengan dukungan yang terdokumentasi untuknya.

Apa yang tidak dilakukan robots.txt — batasan yang harus Anda ketahui

robots.txt tidak mencegah pengindeksan. Ini adalah aspek protokol yang paling sering disalahpahami. Jika Anda menambahkan Disallow: /secret-page/, Google tidak akan meng-crawl URL itu — tetapi jika situs lain menautkannya, Google tetap bisa menemukan URL tersebut dan menyertakannya di hasil pencarian, biasanya dengan cuplikan yang terpotong atau tidak ada sama sekali. Satu-satunya cara yang andal untuk mengecualikan halaman dari indeks adalah direktif noindex pada halaman itu sendiri (lewat tag <meta name="robots" content="noindex"> atau header HTTP X-Robots-Tag), dan yang krusial, halaman itu harus tetap bisa di-crawl agar Google bisa membaca direktif tersebut. Memblokir URL di robots.txt sambil mengharapkannya keluar dari indeks adalah jebakan SEO yang sudah lama terdokumentasi.

robots.txt tidak memberikan keamanan. File ini bisa dibaca publik di yoursite.com/robots.txt, jadi mendaftarkan path yang ingin Anda sembunyikan di bawah Disallow justru mengiklankan path tersebut kepada siapa pun yang membuka filenya — termasuk penyerang yang mencari panel admin, lingkungan staging, atau API internal. Mendaftarkan Disallow: /admin-login-backup/ adalah undangan, bukan kunci. Sumber daya sensitif harus dilindungi dengan kontrol akses sungguhan: autentikasi sisi server, allowlist IP, atau aturan firewall. Robots.txt adalah instruksi untuk crawler yang kooperatif, bukan mekanisme yang menegakkan apa pun.

robots.txt bersifat sukarela. Crawler yang etis dan berperilaku baik — Googlebot, Bingbot, Applebot milik Apple, dan bot riset yang sah — mematuhi protokol ini karena mereka memiliki reputasi dan hubungan bisnis yang harus dijaga. Scraper jahat, pencuri konten, dan pemindai kerentanan secara rutin mengabaikannya. Bahkan di antara crawler yang patuh, protokol ini memiliki celah kasus tepi: Google telah mendokumentasikan bahwa ia bisa mengindeks URL yang di-disallow di robots.txt jika URL yang sama itu muncul di sitemap yang Anda kirimkan — sitemap bertindak sebagai sinyal yang bersaing. Kesimpulan praktisnya: gunakan robots.txt untuk mengelola crawl budget dan mengarahkan bot yang berperilaku baik, bukan untuk menegakkan pembatasan sungguhan apa pun.

Crawler AI dan lanskap robots.txt yang terus berkembang

Dua tahun terakhir memperkenalkan kelas baru pertimbangan robots.txt: crawler pelatihan AI. Perusahaan AI generatif melakukan scraping web terbuka untuk membangun dataset pelatihan model bahasa besar. Crawler utama di ranah ini adalah GPTBot (OpenAI, dipakai untuk GPT-4 dan model setelahnya), Google-Extended (Google, dipakai untuk pelatihan Bard dan Gemini — terpisah dari Googlebot), anthropic-ai (Anthropic, dipakai untuk Claude), CCBot (Common Crawl, organisasi nirlaba yang datasetnya banyak dipakai baik oleh riset akademik maupun komersial AI), PerplexityBot, Applebot-Extended, dan meta-externalagent (Meta, dipakai untuk Llama). Masing-masing memiliki string User-agent sendiri khusus agar pemilik situs bisa memilih keluar lewat robots.txt.

Adopsi pemblokiran crawler AI telah tumbuh pesat. Studi yang melacak sampel domain berperingkat teratas menemukan bahwa dalam setahun setelah OpenAI mempublikasikan string user-agent GPTBot (Agustus 2023), sebagian besar penerbit besar telah memblokirnya — termasuk New York Times, Reuters, dan sebagian besar industri berita. Salah satu analisis menempatkan angka tersebut di lebih dari 25% dari 1.000 situs teratas pada akhir 2024. Penerbit mengutip kekhawatiran hak cipta, tidak adanya kompensasi, dan potensi melatih produk pesaing sebagai alasan mereka. Apakah memblokir crawler AI adalah keputusan yang tepat tergantung pada prioritas Anda: ini menghapus konten Anda dari pelatihan di masa depan tetapi tidak berpengaruh langsung pada peringkat pencarian Anda.

Pertanyaan yang sering muncul: apakah memblokir Google-Extended merugikan posisi Anda di Google Search? Google secara eksplisit menyatakan bahwa Google-Extended dan Googlebot adalah crawler terpisah dengan kontrol masing-masing. Men-disallow Google-Extended di robots.txt memberi tahu Google untuk tidak menggunakan konten Anda melatih Gemini, tetapi tidak berpengaruh pada crawling Googlebot atau pengindeksan pencarian organik Anda. Anda bisa memblokir semua crawler pelatihan AI yang disebutkan di atas sambil membiarkan Googlebot dan Bingbot tetap aktif sepenuhnya, dan visibilitas pencarian Anda tidak terpengaruh. Preset Block AI bots di generator ini melakukan persis itu.