Jawaban singkat: robots.txt adalah file di root website yang memberi petunjuk kepada crawler tentang bagian situs yang boleh atau tidak boleh mereka crawl. Untuk website bisnis, fungsinya terutama mengelola akses crawler dan efisiensi crawling—bukan menjadi alat utama untuk menghapus halaman dari Google. Salah konfigurasi justru dapat menghambat Google memahami halaman penting.
Apa itu robots.txt dan kenapa pemilik bisnis perlu peduli?
Website bisnis biasanya berkembang pelan-pelan. Awalnya hanya Home, About, Services, dan Contact. Setelah beberapa bulan bisa muncul blog, landing page kampanye, area pencarian internal, filter, parameter URL, halaman akun, staging, atau file yang sebenarnya tidak perlu terus-menerus dikunjungi crawler.
Di titik itu, robots.txt website bisnis mulai relevan.
File robots.txt berada di root sebuah host, misalnya https://example.com/robots.txt. Isinya dapat memberikan aturan kepada crawler tertentu mengenai jalur yang boleh atau tidak boleh mereka crawl.
Namun ada satu hal yang sering keliru: robots.txt bukan tombol “hapus dari Google”. Google Search Central menjelaskan bahwa memblokir crawling sebuah URL tidak selalu mencegah URL tersebut muncul di hasil pencarian. Jika Google mengetahui URL dari link lain, URL masih dapat terindeks tanpa konten halaman yang berhasil di-crawl.
Karena itu, robots.txt sebaiknya dipahami sebagai crawl-control layer, bukan sebagai privacy layer atau universal deindexing tool.
Sumber primer: Google Search Central — Introduction to robots.txt.
Bedakan crawling, indexing, dan ranking
Tiga istilah ini sering dicampur, padahal dampaknya berbeda.
| Proses | Pertanyaan sederhananya | Peran robots.txt |
|---|---|---|
| Crawling | Bolehkah bot mengambil halaman/file ini? | Sangat relevan |
| Indexing | Apakah konten layak disimpan dalam indeks mesin pencari? | Bukan kontrol utama |
| Ranking | Di posisi mana halaman muncul untuk sebuah query? | Tidak mengatur ranking secara langsung |
Bayangkan Googlebot seperti petugas yang datang untuk membaca dokumen. Robots.txt dapat mengatakan, “jangan masuk ke ruangan ini.” Tetapi larangan masuk tidak otomatis membuat alamat ruangan tersebut tidak diketahui.
Itulah sebabnya strategi technical SEO perlu melihat robots.txt bersama canonical, meta robots, sitemap XML, status HTTP, internal linking, dan arsitektur website.
Jika Anda sedang merapikan discovery halaman, baca juga panduan Sitemap XML untuk Website Bisnis dan Structured Data untuk Website Bisnis.
Kapan robots.txt berguna untuk website bisnis?
1. Mengurangi crawling pada area yang tidak berguna untuk pencarian
Beberapa website menghasilkan banyak URL dari pencarian internal, filter, sorting, parameter, atau sistem aplikasi. Tidak semua URL tersebut memiliki nilai sebagai landing page organik.
Dalam kondisi tertentu, aturan crawling dapat membantu bot memusatkan aktivitas pada bagian website yang lebih penting. Tetapi keputusan ini perlu melihat platform dan struktur URL secara spesifik; jangan memblokir pola URL hanya karena terlihat teknis.
2. Mengelola crawler tertentu
Robots.txt mendukung aturan berdasarkan User-agent. Artinya, webmaster dapat memberikan instruksi berbeda untuk crawler yang berbeda selama crawler tersebut menghormati Robots Exclusion Protocol.
Ini makin relevan ketika website menerima kunjungan dari search crawler, SEO tools, archive crawler, dan berbagai bot lain. Tetap ingat: robots.txt bukan sistem keamanan. Bot yang tidak patuh dapat mengabaikannya.
3. Menunjukkan lokasi sitemap
Robots.txt juga dapat mencantumkan URL sitemap. Ini bukan pengganti submit sitemap melalui Google Search Console, tetapi membantu crawler menemukan file sitemap.
Contoh sederhana:
```text
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
```
Untuk website bisnis normal yang ingin seluruh halaman publik dapat di-crawl, konfigurasi sederhana sering lebih aman daripada aturan panjang yang sulit dipelihara.
Kesalahan robots.txt yang paling berisiko
Memblokir seluruh website setelah staging
Konfigurasi staging sering menggunakan:
```text
User-agent: *
Disallow: /
```
Aturan tersebut masuk akal untuk membatasi crawler pada lingkungan tertentu, tetapi sangat berbahaya jika terbawa ke website production. Setelah website diluncurkan, lakukan checklist launch yang secara eksplisit memeriksa robots.txt.
Memblokir CSS atau JavaScript penting
Google perlu merender halaman untuk memahami pengalaman dan kontennya. Jika resource penting diblokir, crawler bisa memperoleh gambaran yang tidak lengkap tentang halaman.
Jangan membuat aturan seperti /assets/, /css/, atau /js/ hanya karena folder tersebut bukan halaman konten. Periksa dulu resource apa yang berada di dalamnya.
Menggunakan robots.txt untuk menyembunyikan informasi rahasia
Jangan taruh informasi sensitif di URL publik lalu berharap Disallow menjadikannya aman. File robots.txt sendiri dapat diakses publik dan dapat mengungkap nama path yang ingin disembunyikan.
Data sensitif perlu dilindungi melalui autentikasi, authorization, dan kontrol server yang benar.
Menganggap Disallow sama dengan noindex
Jika tujuan Anda adalah agar sebuah halaman yang dapat diakses publik tidak muncul di Google, pelajari metode removal/indexing yang sesuai. Google menyarankan penggunaan noindex untuk halaman yang tidak ingin muncul di Search, tetapi crawler perlu dapat mengakses halaman agar aturan tersebut dapat dibaca.
Lihat dokumentasi resmi Google tentang noindex.
Cara mengaudit robots.txt website bisnis
Langkah 1: Petakan halaman yang menghasilkan nilai bisnis
Mulai dari URL yang benar-benar dibutuhkan pelanggan dan mesin pencari:
- halaman layanan;
- kategori atau solusi utama;
- portfolio atau case study;
- artikel edukasi;
- lokasi bisnis yang valid;
- halaman kontak atau conversion page yang relevan.
URL penting ini seharusnya tidak terblokir tanpa alasan teknis yang jelas.
Langkah 2: Buka file robots.txt secara langsung
Kunjungi /robots.txt pada domain. Periksa apakah file tersedia dan baca setiap User-agent, Allow, Disallow, serta deklarasi Sitemap.
Jangan hanya melihat apakah file “ada”. Pertanyaannya adalah apakah aturan yang ada masih sesuai dengan struktur website hari ini.
Langkah 3: Cocokkan aturan dengan struktur URL aktual
Satu baris Disallow dapat berdampak pada banyak URL. Cari pola folder, parameter, atau prefix yang sama dengan halaman bisnis penting.
Perubahan CMS, redesign, atau migrasi website dapat membuat aturan lama tiba-tiba mengenai URL baru.
Langkah 4: Periksa Search Console
Gunakan Google Search Console untuk melihat masalah crawling dan indexing pada URL penting. Jangan menyimpulkan penyebab hanya dari satu metrik; cek status URL, internal linking, canonical, sitemap, response server, dan robots rules secara bersama-sama.
Panduan Google Search Console untuk Pemilik Bisnis dapat membantu menerjemahkan data pencarian menjadi prioritas yang lebih praktis.
Langkah 5: Dokumentasikan alasan setiap blokir
Untuk tim kecil sekalipun, tuliskan alasan di balik aturan penting. Misalnya: “blokir internal search results karena halaman ini bukan landing page organik.”
Dokumentasi sederhana mencegah developer, marketer, atau vendor berikutnya menghapus aturan yang masih diperlukan—atau mempertahankan aturan yang sebenarnya sudah usang.
Robots.txt dalam strategi SEO, AEO, dan GEO
SEO modern bukan sekadar memasukkan keyword. Search engine dan sistem AI perlu dapat menemukan, mengambil, dan memahami informasi yang jelas tentang sebuah bisnis.
Jika halaman layanan utama tidak dapat di-crawl, kualitas copywriting atau structured data di halaman tersebut tidak banyak membantu crawler yang terblokir.
Untuk AEO dan GEO, prinsip dasarnya tetap sama: bangun sumber informasi yang jelas, dapat diakses, konsisten, memiliki entity yang tegas, dan menjawab pertanyaan pengguna secara eksplisit. Robots.txt berperan di lapisan akses—bukan menggantikan kualitas informasi.
Karena itu, urutannya lebih sehat:
- tentukan halaman yang memang perlu ditemukan;
- bangun arsitektur dan internal linking yang logis;
- pastikan crawling tidak terhambat;
- gunakan sitemap dan canonical secara konsisten;
- buat konten yang menjawab intent;
- ukur hasil melalui Search Console dan analytics.
Checklist sebelum mengubah robots.txt
- Apakah URL yang akan diblokir benar-benar tidak perlu di-crawl?
- Apakah aturan tersebut mengenai folder atau pola URL lain secara tidak sengaja?
- Apakah CSS, JavaScript, gambar, atau resource penting ikut terblokir?
- Apakah tujuan sebenarnya crawling control, deindexing, atau security?
- Apakah sitemap yang dicantumkan menggunakan URL canonical dan valid?
- Apakah perubahan sudah diuji pada URL layanan, artikel, portfolio, dan halaman conversion?
- Apakah ada orang yang bertanggung jawab mengecek dampaknya setelah deployment?
Jika jawabannya belum jelas, jangan buru-buru menambahkan Disallow.
Kapan bisnis perlu bantuan teknis?
Website kecil dengan struktur sederhana mungkin hanya membutuhkan robots.txt minimal. Tetapi audit menjadi lebih penting ketika website memiliki ribuan URL, e-commerce filters, multilingual pages, aplikasi web, migrasi domain, subdomain, atau CMS yang menghasilkan banyak parameter.
Pada kondisi tersebut, robots.txt bukan pekerjaan terpisah. Ia perlu diperiksa bersama information architecture, sitemap, canonical, redirect, performance, structured data, dan conversion journey.
Jika Anda sedang mengevaluasi website dari sisi strategi dan pertumbuhan, lihat layanan Website Strategy & Design. Untuk implementasi atau pembangunan website bisnis yang lebih menyeluruh, CTA komersial sebaiknya diarahkan ke Wirasena Digital, sehingga samjaya.com tetap menjadi ruang insight dan strategic authority.
FAQ
Apakah setiap website wajib memiliki robots.txt?
Tidak selalu. Website dapat di-crawl tanpa aturan khusus bila tidak ada file robots.txt. File ini berguna ketika Anda memang perlu memberikan instruksi crawling atau menunjukkan lokasi sitemap.
Apakah Disallow membuat halaman hilang dari Google?
Tidak selalu. Google menjelaskan bahwa URL yang diblokir dari crawling masih dapat muncul di hasil pencarian jika URL tersebut ditemukan melalui sumber lain. Gunakan mekanisme indexing/removal yang sesuai dengan tujuan Anda.
Apakah robots.txt bisa melindungi halaman admin?
Bukan sebagai mekanisme keamanan. Halaman admin atau data sensitif harus dilindungi dengan autentikasi dan kontrol akses server. Robots.txt bersifat publik dan crawler yang tidak patuh dapat mengabaikannya.
Apakah sitemap sebaiknya dicantumkan di robots.txt?
Boleh dan umum dilakukan. Gunakan URL sitemap yang lengkap. Anda juga dapat mengirim sitemap melalui Google Search Console untuk monitoring yang lebih baik.
Seberapa sering robots.txt perlu diaudit?
Tidak ada interval universal. Audit terutama setelah redesign, migrasi, perubahan CMS, perubahan struktur URL, atau ketika muncul masalah crawling/indexing pada halaman penting.