- Mata Kuliah : Search Engine Optimization (SEO)
- Topik: Analisis dan Penanganan Crawl Errors
- Alokasi Waktu: 1 x Pertemuan ( 1 x 50 menit)
Standar Kompetensi
Peserta Perkuliahan mampu memahami, mengidentifikasi, dan mengatasi berbagai jenis crawl error (kesalahan perayapan) untuk memastikan sebuah situs web dapat diindeks secara optimal oleh mesin pencari, sehingga meningkatkan performa SEO teknis secara keseluruhan.
Kompetensi Dasar
- Menjelaskan konsep perayapan (crawling), pengindeksan (indexing), dan pentingnya bagi visibilitas situs di mesin pencari.
- Mendefinisikan crawl error dan menjelaskan dampaknya terhadap peringkat SEO dan lalu lintas organik.
- Membedakan antara Site Errors (kesalahan tingkat situs) dan URL Errors (kesalahan tingkat halaman spesifik).
- Mengidentifikasi jenis, penyebab, dan solusi untuk Server Errors (5xx), DNS Errors, dan masalah robots.txt.
- Mengidentifikasi jenis, penyebab, dan solusi untuk URL Errors seperti 404, Soft 404, Redirect Errors, 403, dan Access Denied.
- Menjelaskan cara menggunakan alat bantu seperti Google Search Console untuk menemukan dan mendiagnosis crawl errors.
Indikator Pencapaian
- Peserta Perkuliahan dapat mendefinisikan istilah crawl error dengan tepat.
- Peserta Perkuliahan dapat menjelaskan mengapa crawl error dapat menurunkan peringkat SEO.
- Peserta Perkuliahan dapat memberikan contoh konkret untuk Site Error dan URL Error.
- Peserta Perkuliahan mampu menjelaskan perbedaan antara error 500, 502, 503, dan 504.
- Peserta Perkuliahan mampu menjelaskan fungsi file robots.txt dan potensi error yang terkait dengannya.
- Peserta Perkuliahan dapat menguraikan langkah-langkah untuk memperbaiki error 404.
- Peserta Perkuliahan dapat menjelaskan konsep soft 404 dan mengapa hal itu merugikan crawl budget.
- Peserta Perkuliahan dapat mendemonstrasikan alur kerja dasar untuk menemukan laporan error di Google Search Console.
Tujuan Perkuliahan
Setelah mengikuti perkuliahan ini, mahasiswa diharapkan mampu:
- Mendefinisikan konsep crawl error dan mengartikulasikan signifikansinya dalam konteks SEO.
- Menganalisis berbagai jenis crawl error untuk menentukan akar penyebab masalahnya.
- Membedakan secara akurat antara masalah yang memengaruhi seluruh situs dan masalah yang hanya memengaruhi URL tertentu.
- Merumuskan strategi perbaikan yang efektif untuk setiap jenis error yang umum terjadi.
- Mengaplikasikan pengetahuan untuk menggunakan Google Search Console sebagai alat diagnostik utama untuk kesehatan teknis situs web.
Materi Perkuliahan
Pengantar: Mengapa Perayapan (Crawling) Penting?
Namun, bagaimana jika crawler tidak dapat mengakses halaman Anda? Di sinilah Crawl Error (Kesalahan Perayapan) terjadi.
Crawl Error adalah masalah yang ditemui oleh bot mesin pencari saat mencoba mengakses dan mengindeks konten sebuah situs web. Kesalahan ini dapat secara langsung menghambat kemampuan situs Anda untuk mendapatkan peringkat di hasil pencarian, yang pada akhirnya menurunkan lalu lintas organik dan performa SEO secara keseluruhan.
Untuk memonitor kesalahan ini, kita dapat menggunakan laporan di Google Search Console (GSC) atau alat audit SEO teknis lainnya.
Jenis-Jenis Crawl Error
Google mengategorikan crawl error menjadi dua jenis utama:
- Site Errors: Masalah yang memengaruhi aksesibilitas seluruh situs web Anda.
- URL Errors: Masalah yang hanya memengaruhi halaman web (URL) spesifik.
1. Site Errors (Kesalahan Tingkat Situs)
Kesalahan ini bersifat fatal karena dapat menghalangi bot untuk mengakses halaman manapun di situs Anda, yang berpotensi menyebabkan penurunan peringkat secara drastis.
a. Server Errors (Kesalahan Server)
Terjadi ketika server web Anda gagal memproses permintaan dari crawler atau peramban (browser). Penyebabnya bisa karena masalah hosting, plugin yang rusak, atau miskonfigurasi server.
- 500 Internal Server Error: Menandakan ada sesuatu yang rusak di sisi server, seperti plugin yang bermasalah atau memori tidak cukup. Situs menjadi tidak dapat diakses sementara.
- Solusi: Periksa log kesalahan server, nonaktifkan plugin yang baru diinstal/diperbarui, atau tingkatkan sumber daya server (misalnya, RAM atau CPU).
- 502 Bad Gateway: Terjadi saat sebuah server bergantung pada server lain yang gagal merespons. Sering disebabkan oleh lalu lintas tinggi atau gangguan teknis.
- Solusi: Verifikasi bahwa layanan upstream (misalnya, hosting atau CDN) berfungsi normal. Konfigurasi ulang server untuk menangani lonjakan lalu lintas.
- 503 Service Unavailable: Server tidak dapat menangani permintaan saat ini, biasanya karena kelebihan beban sementara atau sedang dalam pemeliharaan.
- Solusi: Optimalkan sumber daya untuk mengurangi beban server atau jadwalkan pemeliharaan pada jam-jam sepi.
- 504 Gateway Timeout: Server membutuhkan waktu terlalu lama untuk merespons, sering kali karena masalah jaringan atau kueri database yang berat.
- Solusi: Periksa performa server dan koneksi jaringan. Optimalkan skrip atau kueri database yang lambat.
b. DNS Errors (Kesalahan DNS)
DNS (Domain Name System) adalah sistem yang menerjemahkan nama domain (contoh.com) menjadi alamat IP. Kesalahan DNS terjadi ketika mesin pencari tidak dapat menyelesaikan domain Anda.
- DNS Timeout: Server DNS terlalu lama merespons.
- Solusi: Hubungi penyedia hosting Anda untuk memastikan pengaturan DNS sudah benar dan server DNS responsif.
- DNS Lookup: Server DNS tidak dapat menemukan domain Anda. Sering disebabkan oleh salah konfigurasi atau registrasi domain yang sudah kedaluwarsa.
- Solusi: Pastikan status registrasi domain Anda aktif dan catatan (record) DNS sudah benar.
c. Robots.txt Errors
File robots.txt memberi tahu bot halaman mana yang boleh dan tidak boleh dirayapi. Error terjadi jika bot tidak dapat mengakses file ini karena sintaks yang salah, file tidak ditemukan, atau masalah izin.
- Solusi:
- Pastikan file robots.txt berada di direktori utama situs (yourdomain.com/robots.txt).
- Periksa izin file untuk memastikan dapat dibaca oleh bot.
- Validasi sintaks file menggunakan alat penguji robots.txt.
2. URL Errors (Kesalahan Tingkat URL)
Kesalahan ini memengaruhi halaman tertentu, bukan seluruh situs. Meskipun halaman lain mungkin masih bisa dirayapi, URL error yang menumpuk bisa dianggap sebagai sinyal situs yang tidak terawat baik, sehingga dapat menurunkan kepercayaan dan peringkat.
- 404 Not Found: Halaman yang diminta tidak ada di URL yang ditentukan. Biasanya karena konten dihapus atau salah ketik URL.
- Solusi: Jika halaman telah pindah, siapkan 301 redirect ke URL baru. Jika sengaja dihapus, biarkan tetap 404. Perbaiki semua tautan internal yang mengarah ke URL rusak tersebut.
- Soft 404: Sebuah halaman menampilkan pesan “tidak ditemukan” kepada pengguna, tetapi mengirimkan kode status 200 OK (yang berarti ‘berhasil’) ke bot. Ini sering terjadi pada halaman dengan konten sangat tipis atau halaman placeholder. Soft 404 membuang-buang crawl budget (jatah perayapan).
- Solusi: Jika halaman benar-benar tidak ada, konfigurasikan server untuk mengembalikan kode 404 atau 410 (Gone). Jika halaman seharusnya ada, tambahkan konten yang bermakna.
- Redirect Errors: Terjadi ketika sebuah URL dialihkan ke URL lain secara berulang tanpa pernah mencapai tujuan akhir (redirect loop) atau melalui terlalu banyak perantara (redirect chain).
- Solusi: Sederhanakan pengalihan. Pastikan setiap pengalihan langsung menunjuk ke URL tujuan akhir.
- 403 Forbidden: Server memahami permintaan tetapi menolak untuk mengizinkan akses. Sering kali karena izin file yang salah, pembatasan berbasis IP, atau pengaturan keamanan.
- Solusi: Perbarui izin file/folder di server. Pastikan alamat IP crawler mesin pencari tidak diblokir.
- Access Denied: Server atau plugin keamanan secara eksplisit memblokir permintaan bot. Ini bisa disebabkan oleh aturan firewall atau plugin anti-bot.
- Solusi: Sesuaikan pengaturan firewall atau plugin keamanan untuk mengizinkan bot mesin pencari yang dikenal (whitelist rentang IP mereka jika perlu).
Cara Menemukan Crawl Errors
1. Google Search Console (GSC)
GSC adalah alat gratis dari Google yang menunjukkan bagaimana Google melihat situs Anda.
- Buka GSC, pada menu navigasi kiri, klik “Pages” di bawah bagian “Indexing”.
- Lihat daftar halaman di bawah status “Not Indexed”.
- Klik pada salah satu jenis alasan (misalnya, “Not found (404)” atau “Server error (5xx)”) untuk melihat daftar URL yang terpengaruh.
2. Alat Audit SEO (Contoh: Semrush, Ahrefs, Screaming Frog)
Alat-alat ini dapat merayapi seluruh situs Anda seperti yang dilakukan Googlebot dan menghasilkan laporan komprehensif tentang masalah teknis, termasuk crawl errors dan masalah crawl budget.
Kesimpulan: Perbaiki Error, Tingkatkan SEO
Memperbaiki crawl errors, tautan rusak, dan masalah teknis lainnya sangat penting. Ini membantu mesin pencari mengakses, memahami, dan mengindeks konten situs Anda dengan benar, sehingga situs Anda dapat muncul di hasil pencarian yang relevan dan bersaing secara efektif.
Evaluasi
A. Isian Pendek
Jawablah pertanyaan berikut dengan singkat dan jelas.
- Masalah yang ditemui bot mesin pencari saat mencoba mengakses konten situs web disebut …
- Error yang memengaruhi seluruh situs web, seperti masalah server, dikategorikan sebagai …
- Kode status server yang menandakan “Service Unavailable” karena kelebihan beban atau pemeliharaan adalah …
- Jika mesin pencari tidak dapat menerjemahkan nama domain Anda menjadi alamat IP, ini disebut …
- File yang digunakan untuk memberikan instruksi kepada crawler tentang halaman mana yang boleh dan tidak boleh diakses adalah …
- Kode status untuk halaman yang “tidak ditemukan” karena telah dihapus atau URL-nya salah adalah …
- Halaman yang tampak kosong bagi pengguna tetapi mengembalikan kode status 200 OK ke bot disebut …
- Ketika sebuah URL dialihkan ke URL lain secara berulang tanpa henti, ini disebut …
- Alat gratis dari Google untuk memantau status perayapan dan pengindeksan situs adalah …
- Kode status yang berarti server menolak akses meskipun memahami permintaan adalah …
B. Esai Pendek
Jawablah pertanyaan berikut untuk menunjukkan pemahaman dan kemampuan analisis Anda.
- Sebuah situs web e-commerce mengalami penurunan lalu lintas organik yang signifikan secara tiba-tiba. Jelaskan langkah-langkah yang akan Anda ambil menggunakan Google Search Console untuk menyelidiki apakah crawl errors adalah penyebab utamanya.
- Jika sebuah situs web memiliki 10 server error (503), 50 URL error (404), dan 5 redirect loop, jelaskan urutan prioritas Anda dalam memperbaiki masalah-masalah tersebut dan berikan alasan untuk setiap keputusan Anda.
- Selain untuk kepentingan SEO, jelaskan bagaimana tindakan memperbaiki crawl errors (seperti 404 Not Found dan 503 Service Unavailable) dapat secara langsung meningkatkan pengalaman pengguna (User Experience – UX) di situs web tersebut.
Download Slide: https://drive.google.com/file/d/1fDSBQi_0jskKE5XVhvBWgeShMFee-dYX/view?usp=drive_link