Mesin pencari tidak memiliki waktu tanpa batas untuk mengunjungi setiap mili-sudut website Anda. Mereka membatasi kunjungan harian berdasarkan 'Budget Crawling'. Robots.txt dan XML Sitemap adalah alat kemudi agar bot menghabiskan energinya hanya pada halaman berharga.
Format File Robots.txt yang Direkomendasikan
Letakkan file robots.txt di root direktori website Anda. Berikan aturan larangan yang mencegah perayap membuang-buang bandwidth seperti jalur dashboard admin atau parameter filter pencarian:
text
User-agent: *
Disallow: /admin/
Disallow: /checkout/
Disallow: /*?search=
Sitemap: https://yourdomain.com/sitemap.xmlKriteria XML Sitemap yang Sempurna
Sitemap bukanlah daftar biasa, ia adalah peta jalan rahasia. Pastikan Anda memenuhi standar sitemap berikut:
- Hanya Berisi Halaman 200 OK: Jangan pernah memasukkan tautan bermuatan status 404 (rusak) atau 301 (pengalihan).
- Ter-update Otomatis (Dynamic): Sitemap wajib diperbarui setiap kali postingan baru ditayangkan.
- Ukuran Terkendali: Batas maksimum adalah 50MB atau bersisi 50.000 URL per file sitemap tunggal.
“Mengabaikan optimalisasi robots.txt dapat memicu penurunan efisiensi indeksasi hingga 60% disebabkan oleh perayapan membabi-buta pada URL duplikat.”