Web scraping nedir?
Web scraping, web sayfalarındaki bilgilerin yazılım aracılığıyla otomatik olarak toplanıp yapılandırılmış bir veriye (tablo, veritabanı) dönüştürülmesidir. Bir kişinin yüzlerce sayfayı tek tek açıp bilgileri Excel'e kopyalaması yerine, bot bu işi düzenli aralıklarla ve hatasız yapar.
Yaygın kullanım alanları: rakip ürün ve fiyatlarının izlenmesi, ilan sitelerinden pazar verisi toplanması, tedarikçi kataloglarının güncel tutulması, kamuya açık ihale ve duyuruların takibi, haber ve içerik izleme.
Yasal ve etik sınırlar
Veri toplama projelerinde yalnızca herkese açık verilerle çalışıyoruz. Giriş yapılması gereken alanlardan, ödeme duvarlarının arkasından veya güvenlik doğrulamalarını (CAPTCHA) aşarak veri toplamıyoruz. Kaynak sitenin kullanım koşullarını ve robots.txt kurallarını inceliyor, siteyi yormayacak makul hızlarda çalışıyoruz.
Kişisel veri içeren toplama işlemleri KVKK kapsamında ayrıca değerlendirilmelidir; kişisel verilerin toplanmasını gerektiren projeleri hukuki dayanağı netleşmeden başlatmıyoruz. Toplanan verinin nasıl kullanılacağına ilişkin hukuki değerlendirme için kendi danışmanınızla görüşmenizi öneriyoruz.
Verinin değeri temizlikte
Toplanan ham veri genellikle doğrudan kullanılamaz: aynı ürün farklı sitelerde farklı isimlerle geçer, fiyatlar farklı formatlarda yazılır, bazı alanlar eksiktir. Bu yüzden veri toplama kadar önemli olan adım eşleştirme ve standartlaştırmadır. Ürünleri barkod, model kodu veya benzerlik kurallarıyla eşleştiriyor, birimleri ve formatları tek tipe getiriyoruz.
Sürdürülebilir bir sistem
Web siteleri zamanla tasarımlarını ve yapılarını değiştirir; bu da botların bozulmasına yol açabilir. Kurduğumuz sistemlerde her çalıştırmanın sonucu kontrol edilir, beklenenden az veri geldiğinde veya yapı değiştiğinde bildirim gider. Bakım kapsamında botları güncel tutarak veri akışının kesintiye uğramamasını sağlıyoruz.