Lompat ke konten
Ngobrol Yuk
Alat gratis

Robots.txt Generator Gratis: Buat File robots.txt Tanpa Salah Sintaks

Susun aturan crawling untuk Googlebot, crawler AI, dan crawler lain lewat formulir, lihat hasilnya langsung, lalu salin atau unduh sebagai robots.txt. Tanpa daftar, dan kamu tidak perlu menghafal sintaksnya.

Pakai sekarangSemua alat gratis
  • Aturan Allow dan Disallow per crawler, termasuk crawler AI
  • Baris Sitemap bisa ditambahkan dalam satu langkah
  • Hasil bisa disalin atau diunduh sebagai file robots.txt




Cara pakai

Empat langkah membuat robots.txt

  1. Pilih titik awal

    Mulai dari aturan dasar yang mengizinkan semua crawler, lalu tambahkan batasan hanya untuk bagian yang memang tidak perlu dirayapi.

  2. Atur aturan per crawler

    Tentukan path yang boleh dan tidak boleh dirayapi. Kamu bisa membuat aturan terpisah untuk crawler tertentu, termasuk crawler AI.

  3. Tambahkan URL sitemap

    Masukkan alamat lengkap sitemap kamu supaya muncul sebagai baris Sitemap di file.

  4. Salin, unggah, lalu uji

    Unggah file ke akar domain sehingga bisa dibuka di domain-kamu.com/robots.txt, lalu cek di Google Search Console.

Penjelasan

Apa itu robots.txt dan apa fungsinya

robots.txt adalah file teks biasa yang diletakkan di akar domain. Crawler yang patuh membacanya lebih dulu untuk tahu bagian mana dari situs yang boleh dirayapi. File ini terdiri dari kelompok aturan: satu atau lebih baris User-agent yang menyebut crawler, diikuti baris Allow dan Disallow untuk path tertentu.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

Sitemap: https://contoh.com/sitemap.xml

Contoh di atas mengizinkan semua crawler merayapi situs kecuali folder admin WordPress, memblokir GPTBot dari seluruh situs, dan menunjuk lokasi sitemap.

Yang perlu kamu pahami sebelum memasang

  • robots.txt mengatur crawling, bukan keamanan. File ini bisa dibaca siapa saja, dan crawler yang tidak patuh bisa mengabaikannya. Jangan menyembunyikan data sensitif dengan cara ini.
  • robots.txt bukan cara menghapus halaman dari indeks. Halaman yang diblokir tetap bisa terindeks tanpa konten kalau ada tautan ke halaman itu. Untuk mengeluarkan halaman dari hasil pencarian, pakai noindex atau fitur penghapusan di Search Console.
  • File harus ada di akar domain, berformat teks UTF-8, dan berlaku hanya untuk host, protokol, dan port tempat file itu berada. Subdomain butuh file sendiri.
  • Path bersifat case-sensitive: /Foto/ dan /foto/ dianggap berbeda.
  • Googlebot mengabaikan Crawl-delay. Sebagian crawler lain mungkin membacanya.

Token crawler AI yang umum

Kalau kamu ingin mengatur akses crawler AI, ini token yang paling sering dipakai. Pedoman tiap perusahaan bisa berubah, jadi cek dokumentasi resminya sebelum memutuskan.

GPTBotOpenAI
OAI-SearchBotOpenAI
ChatGPT-UserOpenAI
ClaudeBotAnthropic
Claude-UserAnthropic
Claude-SearchBotAnthropic
PerplexityBotPerplexity
Google-ExtendedGoogle, token kontrol (bukan crawler terpisah)
CCBotCommon Crawl
Applebot-ExtendedApple, token kontrol
BytespiderByteDance

Memblokir crawler untuk pelatihan model tidak sama dengan memblokir crawler untuk pencarian AI. Kalau kamu ingin tetap bisa ditemukan di jawaban pencarian AI, pikirkan dulu crawler mana yang kamu blokir.

Praktik terbaik

Cara menyusun robots.txt yang aman

Lakukan

  • Mulai dari aturan sempit: blokir hanya folder yang memang tidak berguna untuk pencarian, misalnya admin dan hasil pencarian internal
  • Tambahkan baris Sitemap dengan URL lengkap
  • Biarkan CSS dan JavaScript yang dipakai untuk menampilkan halaman tetap bisa dirayapi
  • Uji file setelah diunggah dan setiap kali mengubahnya
  • Pakai noindex pada halaman yang harus keluar dari hasil pencarian, dan biarkan halaman itu bisa dirayapi supaya noindex terbaca
  • Catat alasan setiap aturan supaya mudah ditinjau ulang

Hindari

  • Menulis Disallow: / untuk semua crawler di situs yang sudah live
  • Menganggap robots.txt sebagai pengaman untuk halaman pribadi
  • Memblokir folder CSS, JavaScript, atau gambar yang dibutuhkan untuk merender halaman
  • Memasang noindex dan Disallow sekaligus pada halaman yang sama
  • Menyalin robots.txt dari situs lain tanpa membaca isinya
  • Mengandalkan Crawl-delay untuk membatasi Googlebot
Kesalahan yang sering terjadi

Kesalahan robots.txt yang sering terjadi

Blokir semua bawaan staging

Situs dipindah dari staging ke live dengan robots.txt yang masih berisi Disallow: /. Akibatnya crawler berhenti merayapi situs. Selalu periksa file ini setelah peluncuran.

Mengira Disallow sama dengan noindex

Halaman yang diblokir masih bisa muncul di hasil pencarian tanpa deskripsi kalau ditautkan dari tempat lain. Untuk mengeluarkannya dari indeks, pakai noindex.

noindex tidak terbaca

Kalau halaman diblokir lewat robots.txt, crawler tidak membuka halamannya, jadi tag noindex di dalamnya tidak pernah terbaca.

Memblokir CSS dan JS

Mesin pencari perlu merender halaman seperti pengunjung. Memblokir file tampilan bisa membuat halaman dinilai tidak lengkap.

File di tempat yang salah

robots.txt di subfolder tidak dibaca. File harus ada di akar domain, dan tiap subdomain butuh file sendiri.

Salah huruf besar kecil

Nama path bersifat case-sensitive. Aturan untuk /Produk/ tidak berlaku untuk /produk/.

Alat lain

Alat gratis lainnya

Semua alat bisa dipakai tanpa daftar.

Sitemap XML Generator

Susun sitemap.xml dari daftar URL kanonis, siap diunggah dan didaftarkan.

Pakai alat

Generator llms.txt

Buat berkas llms.txt berformat Markdown yang merangkum isi situs.

Pakai alat

Schema Generator JSON-LD

Buat markup JSON-LD untuk berbagai jenis schema tanpa menulis kode.

Pakai alat

Audit SEO Website

Periksa satu halaman dan berkas pendukung domain, lalu unduh laporan PDF atau JSON.

Pakai alat

Mau paham SEO lebih dalam?

Robots.txt hanya satu bagian dari technical SEO. Kursus SEO dari nol membahas crawl, index, dan cara membaca laporan Search Console secara berurutan.

Lihat kursus SEO
Pertanyaan umum

FAQ robots.txt generator

Apa itu robots.txt?

robots.txt adalah file teks di akar domain yang memberi tahu crawler bagian mana dari situs yang boleh atau tidak boleh dirayapi. Crawler yang patuh membacanya sebelum merayapi situs.

Apakah robots.txt bisa menyembunyikan halaman dari Google?

Tidak sepenuhnya. robots.txt mengatur crawling, bukan indeks. Halaman yang diblokir tetap bisa terindeks tanpa konten kalau ada tautan ke halaman itu. Untuk mengeluarkan halaman dari hasil pencarian, pakai noindex atau fitur penghapusan di Search Console.

Apakah robots.txt aman untuk melindungi data sensitif?

Tidak. File ini bisa dibaca siapa saja dan hanya dipatuhi oleh crawler yang mau patuh. Data sensitif harus dilindungi dengan login atau pengaturan akses di server.

Di mana robots.txt harus diletakkan?

Di akar domain, sehingga bisa dibuka di alamat-kamu.com/robots.txt. File di subfolder tidak dibaca. Subdomain butuh file robots.txt sendiri.

Bagaimana cara memblokir crawler AI?

Tambahkan kelompok aturan dengan User-agent berisi token crawler, misalnya GPTBot atau ClaudeBot, lalu Disallow: /. Alat ini menyediakan daftar token umum. Pedoman tiap perusahaan bisa berubah, jadi cek dokumentasinya.

Apakah memblokir crawler AI membuat situs hilang dari pencarian AI?

Tergantung crawler yang diblokir. Crawler untuk pelatihan model dan crawler untuk pencarian biasanya memakai token berbeda, jadi memblokir yang satu tidak otomatis memblokir yang lain. Cek dokumentasi masing-masing perusahaan.

Apakah Googlebot membaca Crawl-delay?

Tidak, Googlebot mengabaikan Crawl-delay. Sebagian crawler lain mungkin membacanya, tetapi jangan mengandalkannya untuk Googlebot.

Bagaimana cara mengujinya setelah diunggah?

Buka alamat-kamu.com/robots.txt di browser untuk memastikan file tampil, lalu periksa di Google Search Console. Setelah itu uji beberapa URL penting untuk memastikan tidak terblokir tanpa sengaja.

Buat robots.txt yang rapi hari ini

Susun aturannya, salin hasilnya, lalu unggah ke akar domain dan uji di Search Console.

Pakai alat sekarangHubungi kami