Cara audit sitemap dan robots.txt di IDZ SEO adalah dengan memeriksa jalur discovery URL, status sitemap, response, robots directives, canonical, dan indexability berdasarkan evidence yang berhasil diambil. Audit ini membantu menemukan konflik teknis tanpa menganggap setiap URL yang tidak ada di sitemap sebagai error.
Apa fungsi sitemap dalam audit?
Sitemap membantu mesin pencari dan crawler menemukan URL yang ingin Anda deklarasikan. Di IDZ SEO, sitemap juga dapat menjadi discovery source. Namun keberadaan URL di sitemap tidak membuktikan halaman memiliki internal link, dan tidak membuat Link Depth otomatis menjadi 1.
Apa yang perlu diperiksa pada sitemap?
Periksa apakah sitemap dapat diakses, apakah URL menggunakan versi canonical yang benar, apakah terdapat URL redirect, 404, noindex, atau halaman yang sebenarnya tidak ingin diindeks. Sitemap sebaiknya berisi URL canonical yang memang layak diproses, bukan sekadar seluruh URL yang pernah dibuat CMS.
Bagaimana membaca robots.txt?
Robots.txt mengatur akses crawler tertentu terhadap path, bukan jaminan indeks. Periksa directive yang benar-benar ditemukan dan hindari membuat rule terlalu luas. Jika halaman harus dihapus dari indeks, jangan mengandalkan robots.txt saja karena crawler yang diblokir dapat kesulitan membaca directive noindex pada halaman.
Meta robots dan X-Robots-Tag
IDZ SEO perlu membedakan directive dari HTML dan header HTTP. Sebuah URL dapat terlihat normal di source HTML tetapi menerima X-Robots-Tag: noindex dari server atau plugin. Buka evidence raw/header jika tersedia sebelum menentukan sumber masalah.
Canonical dan sitemap harus konsisten
Jika sitemap berisi URL A tetapi canonical halaman menunjuk ke URL B, periksa apakah konfigurasi tersebut memang disengaja. Konflik seperti ini dapat mengurangi kejelasan sinyal. Idealnya sitemap memprioritaskan URL canonical yang benar-benar ingin dipertahankan.
Discovery source dan internal link
URL yang ditemukan dari sitemap tetapi tidak memiliki inbound source dapat menjadi Orphan Candidate, bergantung pada coverage. Gunakan Internal Link Audit untuk memeriksa evidence source, Link Depth, dan confidence sebelum menyimpulkan struktur link bermasalah.
Setelah memperbaiki sitemap atau robots
Publikasikan perubahan, bersihkan cache bila sistem website menggunakannya, lalu jalankan crawl baru ketika siap. Perubahan robots, canonical, HTTP status, dan issue teknis lain dapat muncul pada Changes & Health jika snapshot baru dibandingkan dengan crawl sebelumnya.
Pertanyaan umum tentang Sitemap & Robots Audit
Apakah semua halaman indexable harus ada di sitemap?
Tidak selalu secara mutlak, tetapi sitemap sebaiknya memuat URL canonical penting yang ingin diproses mesin pencari. URL tetap dapat ditemukan melalui internal link meskipun tidak ada di sitemap.
Apakah robots.txt bisa digunakan untuk noindex?
Robots.txt mengontrol crawling, bukan directive index secara langsung. Untuk keputusan indeks gunakan mekanisme yang sesuai seperti meta robots atau X-Robots-Tag dan pastikan crawler dapat membacanya.
Mengapa URL sitemap bisa memiliki Link Depth kosong?
Karena sitemap adalah sumber discovery, sedangkan Link Depth dihitung dari jalur hyperlink. Jika tidak ada jalur link yang ditemukan dari start URL, Link Depth dapat tetap kosong.
Apa yang dilakukan jika sitemap berisi URL redirect atau 404?
Periksa apakah URL tersebut masih dibutuhkan. Umumnya sitemap yang sehat sebaiknya memprioritaskan URL final canonical yang merespons sesuai tujuan, kemudian generate atau perbarui sitemap dari sumber CMS yang benar.