Cara crawl website di IDZ SEO dimulai dari Project. Crawler menemukan URL, mengambil halaman yang dapat diakses, menyimpan evidence teknis, membangun graph internal link, dan menjadi salah satu sumber utama Project SEO Dashboard. Crawl bukan sekadar menghitung jumlah halaman.
Apa fungsi crawl website?
Crawl membantu IDZ SEO melihat website sebagaimana URL ditemukan dari start URL, sitemap, dan hyperlink internal. Dari hasil ini sistem dapat menyimpan status HTTP, title, H1, canonical, robots/indexability, internal links, serta issue yang relevan. Data crawl berikutnya juga dapat dibandingkan untuk mendeteksi perubahan dan issue baru atau selesai.
Langkah menjalankan crawl
- Masuk ke Member Area dan pilih Project.
- Buka bagian Crawl & Issues atau Full Site Audit.
- Pastikan URL Project benar.
- Mulai crawl. Limit crawl ditentukan server berdasarkan entitlement paket, bukan angka yang dikirim browser.
- Biarkan background crawl berjalan.
- Kembali beberapa menit kemudian dan periksa status run, jumlah URL baru, refresh, serta halaman yang belum dianalisis.
Memahami URL baru dan refresh
IDZ SEO membedakan URL yang belum pernah berhasil dianalisis dengan URL yang sudah pernah berhasil dicrawl pada Project yang sama. URL yang pernah sukses dengan HTTP 2xx atau 3xx diperlakukan sebagai refresh dan tidak memakan kuota URL baru. URL yang belum pernah berhasil dianalisis dapat menggunakan kuota URL baru sesuai paket.
Kuota crawl per paket
Entitlement crawl disimpan server-side. Free memiliki satu manual crawl per hari dengan sampai 20 URL baru, Pro tiga manual crawl per hari dengan sampai 100 URL baru, dan Agency sampai 20 manual crawl per hari dengan sampai 5.000 URL baru. Selain batas akun, satu Project dibatasi satu manual crawl per hari agar crawl berulang tidak digunakan untuk melewati model quota.
Apa arti crawl coverage?
Coverage membantu memahami seberapa lengkap bagian website yang berhasil dianalisis pada sebuah run. Ini penting ketika membaca label seperti Orphan Candidate. Inbound 0 pada crawl dengan coverage rendah tidak boleh dianggap bukti absolut bahwa halaman benar-benar orphan di seluruh website. Confidence internal-link analysis meningkat ketika coverage lebih lengkap.
Link Depth berbeda dari discovery depth
Link Depth dihitung sebagai jalur hyperlink terpendek dari start URL melalui graph halaman yang benar-benar dicrawl. URL yang ditemukan hanya dari sitemap dapat memiliki Link Depth kosong atau tanda “—”. Dengan definisi ini, URL dengan inbound 0 tidak secara logis diberi Link Depth 1 hanya karena masuk lebih awal ke antrean crawler.
Bagaimana membaca halaman yang belum dianalisis?
Gunakan istilah Belum dianalisis secara literal. Sebuah URL dapat ditemukan tetapi belum berhasil diproses dalam run tersebut karena kuota URL baru, batas waktu worker, response website, atau kondisi lain. IDZ SEO tidak boleh menyebut URL sebagai “locked” jika evidence hanya menunjukkan URL belum dianalisis.
Kapan crawl perlu dijalankan ulang?
Jalankan crawl baru setelah perubahan teknis atau struktur internal link yang cukup berarti, atau ketika Anda membutuhkan snapshot baru untuk Changes & Health. Jangan melakukan crawl berulang hanya untuk mendapatkan angka berbeda. Gunakan hasil sebelumnya sebagai evidence, lakukan perbaikan, lalu gunakan crawl berikutnya untuk verifikasi.
Setelah crawl selesai
Buka Project SEO Dashboard untuk membaca issue berdasarkan kategori dan melihat Action Center. Jika URL penting memiliki issue tertentu, CTA dapat membawa Anda ke Audit workspace dengan Project dan URL context tetap dipertahankan.
Pertanyaan umum tentang crawler IDZ SEO
Apakah URL yang pernah dicrawl selalu menghabiskan kuota URL baru lagi?
Tidak. URL yang pernah berhasil dicrawl untuk Project tersebut diklasifikasikan sebagai refresh pada run berikutnya dan tidak menggunakan kuota URL baru.
Mengapa URL ditemukan tetapi belum dianalisis?
Crawler dapat menemukan lebih banyak URL daripada yang dapat dianalisis dalam satu run. Penyebabnya dapat berupa kuota URL baru, worker time budget, response website, atau URL belum mencapai tahap fetch. UI harus membedakan ditemukan dari berhasil dianalisis.
Apakah Inbound 0 berarti halaman pasti orphan?
Tidak selalu. Inbound 0 berarti tidak ditemukan inbound source dari halaman yang berhasil dicrawl pada run tersebut. Label yang lebih aman adalah Orphan Candidate, terutama ketika crawl coverage belum tinggi.
Apakah sitemap membuat Link Depth menjadi 1?
Tidak. Link Depth menggunakan jalur hyperlink, bukan urutan discovery crawler. URL yang hanya ditemukan melalui sitemap dapat tidak memiliki Link Depth sampai ada jalur internal link yang benar-benar ditemukan.