Crawlberg: Web Verilerini Yapılandırmanın Yolu
Crawlberg, web sitelerini temiz ve yapılandırılmış verilere dönüştüren bir araçtır. Kullanıcılar, belirli bir URL'yi işaretleyerek Markdown, meta veriler ve bağlantılar elde edebilirler. Bu işlem, bir sayfa veya tüm site üzerinde gerçekleştirilebilir ve mevcut programlama dilinde sonuçlar elde edilir. Crawlberg, Rust tabanlı bir çekirdek ile çalışarak, 14 farklı dilde bağlayıcılar sunar ve JavaScript yoğun sayfaları baştan sona yönetir. Ayrıca bot filtrelerini aşma yeteneği ile dikkat çeker ve istekleri domain bazında sınırlamak için ayarlamalar yapılabilir. Kullanıcılar, kendi davranışlarını ekleyerek sistemin her bölümünü özelleştirebilirler.
Crawlberg, veri çıkarımında yüksek esneklik sunarak, metin, meta veriler, bağlantılar, görseller ve daha fazlasını yapılandırılmış bir şekilde elde etmenizi sağlar. Özellikle, başlıca özellikleri arasında akıllı filtreleme, tarayıcı render'ı ve gerçek zamanlı olay akışları yer alır. Kullanıcılar, CLI üzerinden veya bir REST servisi aracılığıyla aracı kontrol edebilirler. Ayrıca, yapılandırılabilir derinlik, sayfa sınırları ve eşzamanlılık ile tarama yapma imkanı sunar.
