Panduan

Pelajaran SEO dari SiapPergi: Situs Tiba-tiba Tidak Terindeks Google karena Aturan Keamanan Cloudflare

Oleh Tim siappergi.com · Terbit · 6 menit baca

Kartu SiapPergi: Pelajaran SEO — situs tidak terindeks Google karena aturan Cloudflare
Kartu SiapPergi: Pelajaran SEO — situs tidak terindeks Google karena aturan Cloudflare · Infografis: © SiapPergi (siappergi.com) · lisensi

Kami menulis ini apa adanya. Pada 10–11 November 2026, saat sibuk merapikan SEO siappergi.com, Search Console justru menunjukkan bahwa Google tidak bisa mengambil halaman kami sama sekali. Kesalahannya ada di pihak kami sendiri. Semoga cerita ini membantu pemilik usaha lain yang memakai Cloudflare.

Gejalanya

Dari HP dan laptop, siappergi.com terbuka normal (kode 200, cepat). Tetapi di Google Search Console, Inspeksi URL → Uji Langsung untuk halaman utama menulis: *URL tidak tersedia untuk Google. Halaman tidak dapat diindeks: Tidak tersedia karena masalah di seluruh situs.* Pesan ini berarti robot Google gagal mengambil situs secara keseluruhan — bukan soal kata kunci, judul, atau isi artikel.

Yang bukan penyebabnya

  • Kanibalisasi kata kunci (beberapa halaman membahas topik yang sama) paling jauh membuat peringkat naik-turun — tidak membuat situs hilang dari indeks.
  • Memakai kata kunci yang sama dengan pesaing itu wajar dan tidak dihukum.
  • llms.txt tidak dipakai Google untuk menentukan indeks atau peringkat.
  • Sitemap dengan `changefreq` mingguan tidak memblokir apa pun — hanya diabaikan Google.

Penyebab yang kami temukan: keamanan Cloudflare terlalu ketat

Kami memasang beberapa pengaman di Cloudflare: aturan "blokir bot palsu" (memblokir permintaan yang mengaku Googlebot tapi tidak dikenali sebagai bot resmi), Security Level medium, Browser Integrity Check, dan di satu domain Bot Fight Mode. Niatnya melindungi situs, tetapi pengaman seperti ini bisa ikut menahan alat Google (misalnya alat inspeksi atau pengambil robots.txt) bila alat itu tidak dikenali dengan benar. Bila robots.txt gagal diambil, Google menganggap seluruh situs bermasalah.

Yang kami ubah

  1. Blokir hanya serangan nyata — aturan yang tersisa hanya menolak robot yang mencari celah (.env, .git, wp-login, phpmyadmin, file .php, file backup). Situs kami memang tidak punya file seperti itu, jadi pengunjung dan robot mesin pencari tidak terkena.
  2. Aturan "bot palsu" dimatikan, Bot Fight Mode dimatikan, Security Level diturunkan ke *essentially off*, Browser Integrity Check dimatikan. Perlindungan DDoS bawaan Cloudflare tetap aktif.
  3. Jaringan Google (ASN 15169) & Microsoft/Bing (ASN 8075) serta /robots.txt dikecualikan dari semua aturan blokir.
  4. Sitemap dirapikan — `changefreq` & `priority` dihapus, `lastmod` hanya untuk halaman yang tanggal pembaruannya pasti.
  5. Semua alamat dikirim ulang lewat IndexNow (Bing, Yandex, Seznam, Naver), lalu Google diminta merayapi ulang lewat Search Console (kirim ulang sitemap & Minta pengindeksan).

Daftar cek untuk pemilik website yang memakai Cloudflare

  1. Buka Search Console → Inspeksi URL → Uji Langsung untuk beranda. Hijau = aman; merah "masalah di seluruh situs" = periksa keamanan & robots.txt.
  2. Buka Setelan → Statistik crawling → Status host: lihat apakah *pengambilan robots.txt*, *DNS* atau *konektivitas server* bermasalah.
  3. Di Cloudflare, jangan memblokir berdasarkan nama robot (User-Agent) saja. Bila perlu, kecualikan jaringan resmi mesin pencari dan robots.txt.
  4. Matikan Bot Fight Mode bila situs Anda bergantung pada pencarian Google — fitur ini bisa ikut menghadang robot yang baik.
  5. Setiap kali mengubah aturan keamanan, ulangi Uji Langsung sebelum menganggap semuanya aman.

Uji dari HP sendiri tidak cukup: Anda bukan Googlebot. Satu-satunya cara memastikan Google bisa masuk adalah Uji Langsung di Search Console.

Status sekarang

Perubahan sudah dipasang di semua domain kami. Pemulihan di Google kami pantau lewat Search Console; artikel ini akan diperbarui bila ada perkembangan. Layanan kami tetap berjalan seperti biasa: sewa motor Bali, rental motor Bali dan mobil dengan sopir Jogja.

Pertanyaan atau koreksi: email resmi halo@siappergi.com.

Siap sewa motor atau mobil?

Harga katalog pasti, diantar ke hotel atau villa. Pesan lewat WhatsApp dan bayar saat kendaraan tiba.

Semua area & model motor

Pertanyaan yang sering diajukan

Apa arti "Tidak tersedia karena masalah di seluruh situs"?

Robot Google gagal mengambil situs Anda secara keseluruhan — biasanya karena robots.txt tidak bisa diambil, server/DNS bermasalah, atau robot Google terblokir aturan keamanan.

Apakah kanibalisasi kata kunci bisa membuat situs tidak terindeks?

Tidak. Kanibalisasi paling jauh membuat Google bingung memilih halaman sehingga peringkat naik-turun; situs tetap terindeks.

Apakah Cloudflare bisa memblokir Googlebot?

Bisa, bila aturan keamanan terlalu ketat (aturan berdasarkan nama robot, Bot Fight Mode, tingkat keamanan tinggi). Uji dengan Inspeksi URL → Uji Langsung di Search Console.

Bagaimana meminta Google datang lagi?

Kirim ulang sitemap di Search Console dan tekan Minta pengindeksan di Inspeksi URL. Fasilitas "ping sitemap" Google sudah tidak tersedia sejak 2023.

Artikel ini mengikuti kebijakan redaksi SiapPergi: fakta diperiksa, harga pasar ditulis sebagai kisaran, dan kesalahan dikoreksi. Menemukan informasi yang keliru? Laporkan koreksi.

Baca juga

Semua panduan
0818-0800-1102